北电数智实现DeepSeek-V3/R1全尺寸模型与国产芯片混元算力适配

来源:中国IDC圈

1周前

为全面挖掘芯片性能潜力与适配能力,北电数智推出“星火国产算力AI原生适配认证”,加强国产模型与国产算力适配,推动国产算力芯片孵化AI原生应用。

日前,北电数智基于“宝塔·模型适配平台”,完成DeepSeek V3/R1全尺寸模型与海光DCU、华为、壁仞科技、沐曦等国产芯片的混元算力适配,为开发者带来更多算力选择。用户可忽略底层硬件差异,平台基于用户调用需求自动匹配合适算力进行DeepSeek模型的推理。

1

DeepSeek采用创新的混合专家系统(DeepSeekMoE)、多头潜在注意力机制(MLA)、自研训练框架等多项工程化创新,基于较少GPU训练机时实现了R1与OpenAI o1‌相当、V3与OpenAI 4o相当的模型性能,具有高推理效率和低训练成本的特点,彰显了坚持中国原创的价值。

DeepSeek的算法创新对AI芯片通用性提出更高要求,国产芯片在底层架构、软件生态上各有不同,北电数智的高质量AI工具链“宝塔·模型适配平台”能抹平芯片架构的差异,快速实现对模型的优化支持和硬件适配。目前宝塔已完成24款基座大模型适配。

在处理推理任务层面,针对DeepSeek类超大模型,数据中心的集群化推理变得尤为重要,例如PD分离(Prefill-Decode分离)技术就可由不同芯片完成不同阶段推理任务实现。北电数智的混元推理技术路线与DeepSeek技术路线具有天然匹配性,可进一步优化推理效果,加速推理速度,降低推理成本,解决算力不够用问题。

DeepSeek的发展给行业带来了深刻启示,唯有促进、满足国产原生模型的算力需求才能真正推动国产算力发展。为全面挖掘芯片性能潜力与适配能力,北电数智推出“星火·国产算力AI原生适配认证”,加强国产模型与国产算力适配,推动国产算力芯片孵化AI原生应用。

北电数智已正式开通企业版内测,通过“北京数字经济算力中心”为广大企业和开发者提供便捷、高效的算力服务,助力用户在多芯混元算力上轻松构建和部署基于DeepSeek模型的AI应用。

为全面挖掘芯片性能潜力与适配能力,北电数智推出“星火国产算力AI原生适配认证”,加强国产模型与国产算力适配,推动国产算力芯片孵化AI原生应用。

日前,北电数智基于“宝塔·模型适配平台”,完成DeepSeek V3/R1全尺寸模型与海光DCU、华为、壁仞科技、沐曦等国产芯片的混元算力适配,为开发者带来更多算力选择。用户可忽略底层硬件差异,平台基于用户调用需求自动匹配合适算力进行DeepSeek模型的推理。

1

DeepSeek采用创新的混合专家系统(DeepSeekMoE)、多头潜在注意力机制(MLA)、自研训练框架等多项工程化创新,基于较少GPU训练机时实现了R1与OpenAI o1‌相当、V3与OpenAI 4o相当的模型性能,具有高推理效率和低训练成本的特点,彰显了坚持中国原创的价值。

DeepSeek的算法创新对AI芯片通用性提出更高要求,国产芯片在底层架构、软件生态上各有不同,北电数智的高质量AI工具链“宝塔·模型适配平台”能抹平芯片架构的差异,快速实现对模型的优化支持和硬件适配。目前宝塔已完成24款基座大模型适配。

在处理推理任务层面,针对DeepSeek类超大模型,数据中心的集群化推理变得尤为重要,例如PD分离(Prefill-Decode分离)技术就可由不同芯片完成不同阶段推理任务实现。北电数智的混元推理技术路线与DeepSeek技术路线具有天然匹配性,可进一步优化推理效果,加速推理速度,降低推理成本,解决算力不够用问题。

DeepSeek的发展给行业带来了深刻启示,唯有促进、满足国产原生模型的算力需求才能真正推动国产算力发展。为全面挖掘芯片性能潜力与适配能力,北电数智推出“星火·国产算力AI原生适配认证”,加强国产模型与国产算力适配,推动国产算力芯片孵化AI原生应用。

北电数智已正式开通企业版内测,通过“北京数字经济算力中心”为广大企业和开发者提供便捷、高效的算力服务,助力用户在多芯混元算力上轻松构建和部署基于DeepSeek模型的AI应用。

展开
打开“财经头条”阅读更多精彩资讯
APP内打开