就在这当口，全球复现DeepSeek的一波狂潮也来了。
诚如LeCun所言：「这一次，正是开源对闭源的胜利！」
在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。
大模型比拼的不再是动辄千万亿美元的算力战。
30美金，就能看到「啊哈」时刻
更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。
这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。
在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。
在消融实验中，研究人员运行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四种参数规模）。
结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。
他们认为，在这个过程，基础模型的是性能的关键。
他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了R1-Zero的设计决策。
这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究
基础模型和指令模型两者区别：
指令模型运行速度快，但最终表现与基础模型相当
指令输出的模型更具结构性和可读性
对于Countdow任务，模型学习进行搜索和自我验证 对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决
7B模型复刻，结果令人惊讶
结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。
项目地址：https://github.com/hkust-nlp/simpleRL-reason
这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！
其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。
如果输出以指定格式提供最终答案且正确，获得+1的奖励 如果输出提供最终答案但不正确，奖励设为-0.5 如果输出未能提供最终答案，奖励设为-1
随后，生成长度开始再次增加，此时出现了自我反思机制。
自我反思机制的涌现
在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。
第二部分：SimpleRL（基于模仿预热的强化学习）
如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。
这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。
与RL训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。
此外，Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME，还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。
训练过程分析
简约，便是最终极的精致。
完全开源复刻，HuggingFace下场了
复刻完成后，所有的训练数据、训练脚本等等，将全部开源。
这个项目叫做Open R1，当前还在进行中。发布到一天，星标冲破1.9k，斩获142个fork。
步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。
步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。
从斯坦福到MIT，R1成为首选
一个副业项目，让全世界科技大厂为之惶恐。
DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store「效率」应用榜单中挤进前三。
在Hugging Face中，R1下载量直接登顶，另外3个模型也霸占着热榜。
a16z合伙人Anjney Midha称，一夜之间，从斯坦福到MIT，DeepSeek R1已经成为美国顶尖高校研究人员「首选模型」。
还有研究人员表示，DeepSeek基本上取代了我用ChatGPT的需求。
中国AI，这一次真的震撼了世界。
就在这当口，全球复现DeepSeek的一波狂潮也来了。
诚如LeCun所言：「这一次，正是开源对闭源的胜利！」
在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。
大模型比拼的不再是动辄千万亿美元的算力战。
30美金，就能看到「啊哈」时刻
更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。
这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。
在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。
在消融实验中，研究人员运行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四种参数规模）。
结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。
他们认为，在这个过程，基础模型的是性能的关键。
他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了R1-Zero的设计决策。
这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究
基础模型和指令模型两者区别：
指令模型运行速度快，但最终表现与基础模型相当
指令输出的模型更具结构性和可读性
对于Countdow任务，模型学习进行搜索和自我验证 对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决
7B模型复刻，结果令人惊讶
结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。
项目地址：https://github.com/hkust-nlp/simpleRL-reason
这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！
其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。
如果输出以指定格式提供最终答案且正确，获得+1的奖励 如果输出提供最终答案但不正确，奖励设为-0.5 如果输出未能提供最终答案，奖励设为-1
随后，生成长度开始再次增加，此时出现了自我反思机制。
自我反思机制的涌现
在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。
第二部分：SimpleRL（基于模仿预热的强化学习）
如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。
这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。
与RL训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。
此外，Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME，还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。
训练过程分析
简约，便是最终极的精致。
完全开源复刻，HuggingFace下场了
复刻完成后，所有的训练数据、训练脚本等等，将全部开源。
这个项目叫做Open R1，当前还在进行中。发布到一天，星标冲破1.9k，斩获142个fork。
步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。
步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。
从斯坦福到MIT，R1成为首选
一个副业项目，让全世界科技大厂为之惶恐。
DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store「效率」应用榜单中挤进前三。
在Hugging Face中，R1下载量直接登顶，另外3个模型也霸占着热榜。
a16z合伙人Anjney Midha称，一夜之间，从斯坦福到MIT，DeepSeek R1已经成为美国顶尖高校研究人员「首选模型」。
还有研究人员表示，DeepSeek基本上取代了我用ChatGPT的需求。
中国AI，这一次真的震撼了世界。
参与讨论
-
- 小太阳 大模型比拼的不再是动辄千万亿美元的算力战。
