这两天，DeepSeek-V3低调发布，在国际上狠狠秀了一波肌肉:只用了500多万美金的成本，带来了不输 Claude3.5的成绩，并开源!
下面，让我们以更加系统的方式，来看看这次的 DeepSeek-V3，是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解 V3，所用到的图表、数据源于技术报告:《DeepSeek-V3Technical Report》。
公众号后台回复:DSV3，获得详细报告。
DeepSeek-V3的性能优势，在各项基准测试中得到了充分验证。
如图，DeepSeek-V3在 MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces （Percentile） 和 SWE-bench Verified 等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中，DeepSeek-V3的表现尤为突出，大幅超越其他模型。
在与 DeepSeek-V2-Base、Qwen2.572B Base 和 LLaMA-3.1405B Base 等开源基础模型的对比中，DeepSeek-V3-Base 在 BBH、MMLU 系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath 等几乎所有任务上均取得最佳成绩。
经过指令微调后，DeepSeek-V3的性能进一步提升。在与包括 GPT-4o、Claude-3.5-Sonnet 在内的多个顶尖模型的对比中，DeepSeek-V3在 MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC 等任务上，均展现出与其相当甚至更优的性能。
并且，这么棒的数据，总成本只需要约550万美金:如果是租 H800来搞这个（但我们都知道，DeepSeek 背后的幻方，最不缺的就是卡）
DeepSeek-V3的这次发布，伴随三项创新:Multi-head Latent Attention （MLA）、DeepSeekMoE 架构以及无额外损耗的负载均衡策略。
MLA 通过将 Key （K） 和 Value (V) 联合映射至低维潜空间向量 (cKV)，显著降低了 KV Cache 的大小，从而提升了长文本推理的效率。DeepSeek-V3中 MLA 的 KV 压缩维度 (dc) 设置为512，Query 压缩维度 (d') 设置为1536，解耦 Key 的头维度 (dr) 设置为64。这种设计在保证模型性能的同时，大幅减少了显存占用和计算开销。
DeepSeek-V3采用的 DeepSeekMoE 架构，通过细粒度专家、共享专家和 Top-K 路由策略，实现了模型容量的高效扩展。每个 MoE 层包含1个共享专家和256个路由专家，每个 Token 选择8个路由专家，最多路由至4个节点。这种稀疏激活的机制，使得 DeepSeek-V3能够在不显著增加计算成本的情况下，拥有庞大的模型容量。
DeepSeek-V3提出了一种创新的无额外损耗负载均衡策略，通过引入并动态调整可学习的偏置项 （Bias Term） 来影响路由决策，避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度 (γ) 在预训练的前14.3T 个 Token 中设置为0.001，剩余500B 个 Token 中设置为0.0;序列级平衡损失因子 (α) 设置为0.0001。
以上图（报告第28页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了额外负载损失(Aux-Loss-Based)的模型，分工更为明确，这表明该策略能更好地释放MoE的潜力。
DeepSeek-V3的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存管理和低精度训练等多个方面。
DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线 （如1F1B） 不同，DualPipe 采用双向流水线设计，即同时从流水线的两端馈送 micro-batch。这种设计可以显著减少流水线气泡 (Pipeline Bubble)，提高 GPU 利用率。
此外，DualPipe 还将每个 micro-batch 进一步划分为更小的 chunk，并对每个 chunk 的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序，实现了两者的高度重叠。
单个 forward 和 backward chunk 的重叠策略（原报告第12页）。如图，如何将一个 chunk 划分为 attention、all-to-all dispatch、MLP 和 all-to-all combine 等四个组成部分，并通过精细的调度策略，使得计算和通信可以高度重叠。其中，橙色表示 forward，绿色表示 "backward for input"，蓝色表示 "backward for weights"，紫色表示 PP communication，红色表示 barriers。
8个 PP rank 和20个 micro-batch 的 DualPipe 调度示例（原报告第13页）。通过在8个 PP rank 上，20个 micro-batch 的 DualPipe 调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，GPU 利用率得到了极大提升。
DualPipe 在流水线气泡数量和激活内存开销方面均优于1F1B 和 ZeroBubble 等现有方法。（原报告第13页）
跨节点 MoE 训练的一大挑战是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略，有效地缓解了这一瓶颈。
DeepSeek-V3在内存管理方面也做到了极致，通过多种策略最大程度地减少了内存占用。
DeepSeek-V3通过 FP8混合精度训练，在保证模型精度的同时，大幅降低显存占用并提升训练速度。
DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多 Token 预测等多个方面。
DeepSeek-V3的预训练语料库规模达到了14.8万亿 Token，这些数据经过了严格的筛选和清洗，以确保其高质量和多样性。相比于前代模型 DeepSeek-V2，新模型的数据构建策略更加精细。首先，大幅提升了数学和编程相关数据在整体数据中的占比，这直接增强了模型在相关领域的推理能力，使其在 MATH500、AIME2024等数学基准测试和 HumanEval、LiveCodeBench 等代码基准测试中表现突出。其次，进一步扩展了多语言数据的覆盖范围，超越了传统的英语和中文，提升了模型的多语言处理能力。
为了保证数据质量，DeepSeek 开发了一套完善的数据处理流程，着重于最小化数据冗余，同时保留数据的多样性。此外，他们还借鉴了近期研究 （https://arxiv.org/abs/2404.10830，Ding et al.，2024） 中提出的文档级打包 (Document Packing)方法，将多个文档拼接成一个训练样本，避免了传统方法中由于截断导致的上下文信息丢失，确保模型能够学习到更完整的语义信息。
针对代码数据，DeepSeek-V3借鉴了 DeepSeekCoder-V2中采用的Fill-in-Middle （FIM）策略，以0.1的比例将代码数据构造成<|fim_begin|> pre<|fim_hole|> suf<|fim_end|> middle<|eos_token|>的形式。这种策略通过“填空”的方式，迫使模型学习代码的上下文关系，从而提升代码生成和补全的准确性。
DeepSeek-V3采用了基于字节级 BPE （Byte-level BPE） 的分词器，并构建了一个包含128K 个 token 的词表。为了优化多语言的压缩效率，DeepSeek 对预分词器 (Pretokenizer) 和训练数据进行了专门的调整。
与 DeepSeek-V2相比，新的预分词器引入了将标点符号和换行符组合成新 token的机制。这种方法可以提高压缩率，但也可能在处理不带换行符的多行输入 （例如 few-shot 学习的 prompt） 时引入 token 边界偏差 (Token Boundary Bias) (Lundberg，2023)。为了减轻这种偏差，DeepSeek-V3在训练过程中以一定概率随机地将这些组合 token 拆分开来，从而让模型能够适应更多样化的输入形式，提升了模型的鲁棒性。 (下图来自 Token Boundary Bias 的原文)
DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优，以最大化模型的性能和训练效率。
DeepSeek-V3的Transformer 层数设置为61层，隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA 结构中，注意力头的数量（nh） 设置为128，每个注意力头的维度(dh) 为128，KV 压缩维度(dc) 为512，Query 压缩维度(d') 为1536，解耦的 Key 头的维度(dr) 为64。除了前三层之外，其余的 FFN 层均替换为MoE 层。每个MoE 层包含1个共享专家和256个路由专家，每个专家的中间隐藏层维度为2048。每个 Token 会被路由到8个专家，并且最多会被路由到4个节点。多 Token 预测的深度(D) 设置为1，即除了预测当前 Token 之外，还会额外预测下一个 Token。此外，DeepSeek-V3还在压缩的潜变量之后添加了额外的 RMSNorm 层，并在宽度瓶颈处乘以了额外的缩放因子。
DeepSeek-V3采用了 AdamW 优化器，β1设置为0.9，β2设置为0.95，权重衰减系数 （weight_decay） 设置为0.1。最大序列长度设置为4K。学习率方面，采用了组合式的调度策略:在前2K 步，学习率从0线性增加到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T 个 Token;接下来，在4.3T 个 Token 的过程中，学习率按照余弦曲线 (Cosine Decay) 逐渐衰减至2.2×10^-5;在最后的500B 个 Token 中，学习率先保持2.2×10^-5不变 (333B 个 Token)，然后切换到一个更小的常数学习率7.3×10^-6(167B 个 Token)。梯度裁剪的范数设置为1.0。Batch Size 方面，采用了动态调整的策略，在前469B 个 Token 的训练过程中，Batch Size 从3072逐渐增加到15360，并在之后的训练中保持15360不变。
为了实现 MoE 架构中的负载均衡，DeepSeek-V3采用了无额外损耗的负载均衡策略，并将偏置项的更新速度 （γ） 在预训练的前14.3T 个 Token 中设置为0.001，在剩余的500B 个 Token 中设置为0.0。序列级平衡损失因子 (α) 设置为0.0001，以避免单个序列内的极端不平衡。多 Token 预测 (MTP)损失的权重 (λ) 在前10T 个 Token 中设置为0.3，在剩余的4.8T 个 Token 中设置为0.1。
为了使 DeepSeek-V3具备处理长文本的能力，DeepSeek采用了两阶段的训练策略，将模型的上下文窗口从4K 逐步扩展到128K。他们采用了YaRN（Peng et al.，2023a） 技术，并将其应用于解耦的共享 Key (k)。在长上下文扩展阶段，DeepSeek-V3的超参数保持不变:scale 设置为40，β 设置为1，ρ 设置为32，缩放因子设置为0.1ln n +1。
上图（报告第23页） 的 "Needle In A Haystack" (NIAH) 测试结果清晰地展示了 DeepSeek-V3在处理长文本方面的卓越能力。
此外，DeepSeek-V3还采用了多 Token 预测 （MTP） 策略(2.2节，第10页)，要求模型在每个位置预测未来的多个 Token，而不仅仅是下一个 Token。图3(第10页) 详细展示了 MTP 的实现方式。
这种策略增强了模型的预见能力，并提供了更丰富的训练信号，从而提升了训练效率。表4（第26页） 的消融实验结果证明了 MTP 策略的有效性。
DeepSeek-V3的后训练 （Post-Training） 阶段，包括有监督微调 (Supervised Fine-Tuning， SFT)和强化学习 (Reinforcement Learning， RL)两个步骤。
SFT 阶段，DeepSeek-V3在一个包含1.5M 指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域，并采用了不同的数据构建策略，以最大程度地激发模型的潜能。
数据构建策略
训练细节
为了使 DeepSeek-V3更好地对齐人类偏好，DeepSeek 采用了强化学习 （RL） 技术，并构建了基于规则的奖励模型 (Rule-Based RM) 和基于模型的奖励模型 (Model-Based RM) 相结合的奖励机制。
作为奖励模型，在 RewardBench 上的表现上，DeepSeek 多个方面超越或持平 GPT-4o 和 Claude-3.5-sonnet。
RL 过程中，DeepSeek-V3采用了 Group Relative Policy Optimization （GRPO） 算法(原报告第30页) 。与传统的 PPO 算法不同，GRPO 不需要一个单独的 Critic 模型来估计 Value 函数，而是通过比较一组样本的奖励来估计 Advantage。具体流程如下:
在后训练过程中，DeepSeek-V3整合了多种类型的数据，数据来源和配比如下:
（举报）
这两天，DeepSeek-V3低调发布，在国际上狠狠秀了一波肌肉:只用了500多万美金的成本，带来了不输 Claude3.5的成绩，并开源!
下面，让我们以更加系统的方式，来看看这次的 DeepSeek-V3，是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解 V3，所用到的图表、数据源于技术报告:《DeepSeek-V3Technical Report》。
公众号后台回复:DSV3，获得详细报告。
DeepSeek-V3的性能优势，在各项基准测试中得到了充分验证。
如图，DeepSeek-V3在 MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces （Percentile） 和 SWE-bench Verified 等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中，DeepSeek-V3的表现尤为突出，大幅超越其他模型。
在与 DeepSeek-V2-Base、Qwen2.572B Base 和 LLaMA-3.1405B Base 等开源基础模型的对比中，DeepSeek-V3-Base 在 BBH、MMLU 系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath 等几乎所有任务上均取得最佳成绩。
经过指令微调后，DeepSeek-V3的性能进一步提升。在与包括 GPT-4o、Claude-3.5-Sonnet 在内的多个顶尖模型的对比中，DeepSeek-V3在 MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC 等任务上，均展现出与其相当甚至更优的性能。
并且，这么棒的数据，总成本只需要约550万美金:如果是租 H800来搞这个（但我们都知道，DeepSeek 背后的幻方，最不缺的就是卡）
DeepSeek-V3的这次发布，伴随三项创新:Multi-head Latent Attention （MLA）、DeepSeekMoE 架构以及无额外损耗的负载均衡策略。
MLA 通过将 Key （K） 和 Value (V) 联合映射至低维潜空间向量 (cKV)，显著降低了 KV Cache 的大小，从而提升了长文本推理的效率。DeepSeek-V3中 MLA 的 KV 压缩维度 (dc) 设置为512，Query 压缩维度 (d') 设置为1536，解耦 Key 的头维度 (dr) 设置为64。这种设计在保证模型性能的同时，大幅减少了显存占用和计算开销。
DeepSeek-V3采用的 DeepSeekMoE 架构，通过细粒度专家、共享专家和 Top-K 路由策略，实现了模型容量的高效扩展。每个 MoE 层包含1个共享专家和256个路由专家，每个 Token 选择8个路由专家，最多路由至4个节点。这种稀疏激活的机制，使得 DeepSeek-V3能够在不显著增加计算成本的情况下，拥有庞大的模型容量。
DeepSeek-V3提出了一种创新的无额外损耗负载均衡策略，通过引入并动态调整可学习的偏置项 （Bias Term） 来影响路由决策，避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度 (γ) 在预训练的前14.3T 个 Token 中设置为0.001，剩余500B 个 Token 中设置为0.0;序列级平衡损失因子 (α) 设置为0.0001。
以上图（报告第28页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了额外负载损失(Aux-Loss-Based)的模型，分工更为明确，这表明该策略能更好地释放MoE的潜力。
DeepSeek-V3的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存管理和低精度训练等多个方面。
DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线 （如1F1B） 不同，DualPipe 采用双向流水线设计，即同时从流水线的两端馈送 micro-batch。这种设计可以显著减少流水线气泡 (Pipeline Bubble)，提高 GPU 利用率。
此外，DualPipe 还将每个 micro-batch 进一步划分为更小的 chunk，并对每个 chunk 的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序，实现了两者的高度重叠。
单个 forward 和 backward chunk 的重叠策略（原报告第12页）。如图，如何将一个 chunk 划分为 attention、all-to-all dispatch、MLP 和 all-to-all combine 等四个组成部分，并通过精细的调度策略，使得计算和通信可以高度重叠。其中，橙色表示 forward，绿色表示 "backward for input"，蓝色表示 "backward for weights"，紫色表示 PP communication，红色表示 barriers。
8个 PP rank 和20个 micro-batch 的 DualPipe 调度示例（原报告第13页）。通过在8个 PP rank 上，20个 micro-batch 的 DualPipe 调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，GPU 利用率得到了极大提升。
DualPipe 在流水线气泡数量和激活内存开销方面均优于1F1B 和 ZeroBubble 等现有方法。（原报告第13页）
跨节点 MoE 训练的一大挑战是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略，有效地缓解了这一瓶颈。
DeepSeek-V3在内存管理方面也做到了极致，通过多种策略最大程度地减少了内存占用。
DeepSeek-V3通过 FP8混合精度训练，在保证模型精度的同时，大幅降低显存占用并提升训练速度。
DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多 Token 预测等多个方面。
DeepSeek-V3的预训练语料库规模达到了14.8万亿 Token，这些数据经过了严格的筛选和清洗，以确保其高质量和多样性。相比于前代模型 DeepSeek-V2，新模型的数据构建策略更加精细。首先，大幅提升了数学和编程相关数据在整体数据中的占比，这直接增强了模型在相关领域的推理能力，使其在 MATH500、AIME2024等数学基准测试和 HumanEval、LiveCodeBench 等代码基准测试中表现突出。其次，进一步扩展了多语言数据的覆盖范围，超越了传统的英语和中文，提升了模型的多语言处理能力。
为了保证数据质量，DeepSeek 开发了一套完善的数据处理流程，着重于最小化数据冗余，同时保留数据的多样性。此外，他们还借鉴了近期研究 （https://arxiv.org/abs/2404.10830，Ding et al.，2024） 中提出的文档级打包 (Document Packing)方法，将多个文档拼接成一个训练样本，避免了传统方法中由于截断导致的上下文信息丢失，确保模型能够学习到更完整的语义信息。
针对代码数据，DeepSeek-V3借鉴了 DeepSeekCoder-V2中采用的Fill-in-Middle （FIM）策略，以0.1的比例将代码数据构造成<|fim_begin|> pre<|fim_hole|> suf<|fim_end|> middle<|eos_token|>的形式。这种策略通过“填空”的方式，迫使模型学习代码的上下文关系，从而提升代码生成和补全的准确性。
DeepSeek-V3采用了基于字节级 BPE （Byte-level BPE） 的分词器，并构建了一个包含128K 个 token 的词表。为了优化多语言的压缩效率，DeepSeek 对预分词器 (Pretokenizer) 和训练数据进行了专门的调整。
与 DeepSeek-V2相比，新的预分词器引入了将标点符号和换行符组合成新 token的机制。这种方法可以提高压缩率，但也可能在处理不带换行符的多行输入 （例如 few-shot 学习的 prompt） 时引入 token 边界偏差 (Token Boundary Bias) (Lundberg，2023)。为了减轻这种偏差，DeepSeek-V3在训练过程中以一定概率随机地将这些组合 token 拆分开来，从而让模型能够适应更多样化的输入形式，提升了模型的鲁棒性。 (下图来自 Token Boundary Bias 的原文)
DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优，以最大化模型的性能和训练效率。
DeepSeek-V3的Transformer 层数设置为61层，隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA 结构中，注意力头的数量（nh） 设置为128，每个注意力头的维度(dh) 为128，KV 压缩维度(dc) 为512，Query 压缩维度(d') 为1536，解耦的 Key 头的维度(dr) 为64。除了前三层之外，其余的 FFN 层均替换为MoE 层。每个MoE 层包含1个共享专家和256个路由专家，每个专家的中间隐藏层维度为2048。每个 Token 会被路由到8个专家，并且最多会被路由到4个节点。多 Token 预测的深度(D) 设置为1，即除了预测当前 Token 之外，还会额外预测下一个 Token。此外，DeepSeek-V3还在压缩的潜变量之后添加了额外的 RMSNorm 层，并在宽度瓶颈处乘以了额外的缩放因子。
DeepSeek-V3采用了 AdamW 优化器，β1设置为0.9，β2设置为0.95，权重衰减系数 （weight_decay） 设置为0.1。最大序列长度设置为4K。学习率方面，采用了组合式的调度策略:在前2K 步，学习率从0线性增加到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T 个 Token;接下来，在4.3T 个 Token 的过程中，学习率按照余弦曲线 (Cosine Decay) 逐渐衰减至2.2×10^-5;在最后的500B 个 Token 中，学习率先保持2.2×10^-5不变 (333B 个 Token)，然后切换到一个更小的常数学习率7.3×10^-6(167B 个 Token)。梯度裁剪的范数设置为1.0。Batch Size 方面，采用了动态调整的策略，在前469B 个 Token 的训练过程中，Batch Size 从3072逐渐增加到15360，并在之后的训练中保持15360不变。
为了实现 MoE 架构中的负载均衡，DeepSeek-V3采用了无额外损耗的负载均衡策略，并将偏置项的更新速度 （γ） 在预训练的前14.3T 个 Token 中设置为0.001，在剩余的500B 个 Token 中设置为0.0。序列级平衡损失因子 (α) 设置为0.0001，以避免单个序列内的极端不平衡。多 Token 预测 (MTP)损失的权重 (λ) 在前10T 个 Token 中设置为0.3，在剩余的4.8T 个 Token 中设置为0.1。
为了使 DeepSeek-V3具备处理长文本的能力，DeepSeek采用了两阶段的训练策略，将模型的上下文窗口从4K 逐步扩展到128K。他们采用了YaRN（Peng et al.，2023a） 技术，并将其应用于解耦的共享 Key (k)。在长上下文扩展阶段，DeepSeek-V3的超参数保持不变:scale 设置为40，β 设置为1，ρ 设置为32，缩放因子设置为0.1ln n +1。
上图（报告第23页） 的 "Needle In A Haystack" (NIAH) 测试结果清晰地展示了 DeepSeek-V3在处理长文本方面的卓越能力。
此外，DeepSeek-V3还采用了多 Token 预测 （MTP） 策略(2.2节，第10页)，要求模型在每个位置预测未来的多个 Token，而不仅仅是下一个 Token。图3(第10页) 详细展示了 MTP 的实现方式。
这种策略增强了模型的预见能力，并提供了更丰富的训练信号，从而提升了训练效率。表4（第26页） 的消融实验结果证明了 MTP 策略的有效性。
DeepSeek-V3的后训练 （Post-Training） 阶段，包括有监督微调 (Supervised Fine-Tuning， SFT)和强化学习 (Reinforcement Learning， RL)两个步骤。
SFT 阶段，DeepSeek-V3在一个包含1.5M 指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域，并采用了不同的数据构建策略，以最大程度地激发模型的潜能。
数据构建策略
训练细节
为了使 DeepSeek-V3更好地对齐人类偏好，DeepSeek 采用了强化学习 （RL） 技术，并构建了基于规则的奖励模型 (Rule-Based RM) 和基于模型的奖励模型 (Model-Based RM) 相结合的奖励机制。
作为奖励模型，在 RewardBench 上的表现上，DeepSeek 多个方面超越或持平 GPT-4o 和 Claude-3.5-sonnet。
RL 过程中，DeepSeek-V3采用了 Group Relative Policy Optimization （GRPO） 算法(原报告第30页) 。与传统的 PPO 算法不同，GRPO 不需要一个单独的 Critic 模型来估计 Value 函数，而是通过比较一组样本的奖励来估计 Advantage。具体流程如下:
在后训练过程中，DeepSeek-V3整合了多种类型的数据，数据来源和配比如下:
（举报）
