大规模GPU集群存在算力利用率瓶颈
全球科技企业持续加码AI算力中心建设，GPU集群规模从过往数千、上万张，快速扩张至数万张甚至十万张级别。但行业普遍存在核心痛点，GPU数量扩容无法实现算力同比例提升，大规模集群中普遍存在算力闲置问题。大模型训练过程中，大量GPU时常处于等待状态，需要等待跨设备数据传输、存储数据读取、服务器间通信同步，有效计算时间被大幅压缩。
行业通过模型浮点运算利用率（MFU）衡量GPU实际算力释放水平，该指标代表硬件实际有效计算量与理论峰值算力的比值。行业标杆案例中，谷歌训练PaLM大模型时MFU仅为46.2%，采用混合专家架构的模型，因数据传输逻辑更复杂，算力利用难题更为突出。需要注意的是，不同模型架构、芯片型号、统计口径存在差异，MFU数据无法直接横向对比，且算力浪费并非全部源于网络通信，但足以证明单纯堆砌GPU硬件无法解决算力低效问题，集群协同优化、数据传输提速与硬件资源调度的重要性愈发凸显。
全球科技巨头持续加大AI基础设施资本开支，海外微软、谷歌、亚马逊、Meta持续加码算力投入，国内阿里云宣布未来三年投入3800亿元布局云计算与AI基础设施，腾讯2026年二季度资本开支同比大增176%至528亿元。算力中心建设除GPU外，还需配套CPU、存储、交换机、光模块、电力、散热等全套设施，集群规模越大，配套成本越高。在此背景下，依托技术优化提升现有GPU集群利用率，成为行业降本增效的核心路径，DPU芯片由此迎来产业爆发机遇。
DPU核心定位：卸载服务器负载、打通算力协同瓶颈
AI服务器内部有着清晰的分工体系，GPU专注大模型训练、推理的大规模并行数学运算，CPU负责操作系统运行、业务程序处理与设备统筹协调。但传统服务器架构下，网络数据收发、存储文件读取、数据加密、虚拟机管理等大量基础设施任务，均由CPU承担。普通服务器场景下该模式可正常运行，但AI算力中心数据吞吐量远超常规服务器，随着数据中心网络带宽从10G、25G迭代至100G、400G、800G，CPU的基础设施处理负荷急剧攀升。
繁重的网络、存储处理任务会占用CPU核心资源，挤压业务运算空间，甚至引发数据处理滞后，拖慢存储访问与GPU计算节奏，成为集群算力释放的关键瓶颈。DPU数据处理芯片正是为解决该痛点诞生，以专用芯片或扩展卡形态部署于服务器，专门承接网络传输、存储访问、数据加密、虚拟化管理等基础设施任务。
DPU可通过专用硬件完成数据包处理、传输规则校验、远端存储数据读取、协议解析等工作，大幅减少CPU介入，降低主机负载，同时提升网络、存储的数据处理效率。其核心价值在于缩短GPU数据等待时长，解决网络传输、存储访问、CPU负载过高带来的算力闲置问题。同时需要明确，DPU仅能优化硬件传输与调度瓶颈，无法解决模型算法、显存容量、训练软件本身导致的算力低效，实际增效效果取决于服务器配置与具体应用场景。
全功能DPU与AIDPU的产品定位差异
当前数据中心DPU产品主要分为全功能DPU与AIDPU两类，适配不同场景需求，部分厂商将AIDPU命名为高性能智能网卡或SuperNIC，行业分类标准并未完全统一，两类产品功能定位各有侧重。
全功能DPU主要服务于云计算、通用数据中心基础设施，芯片集成独立处理器、高速网络接口与专用加速模块，可独立运行管理系统，全面接管服务器的网络管理、存储访问、数据加密、虚拟化隔离等基础任务。云服务器通常搭载多租户虚拟机，不同客户的网络、存储隔离与资源管理会消耗大量CPU资源，全功能DPU可彻底卸载这类基础设施负载，让CPU资源完全聚焦于核心业务运算，同时强化多租户安全隔离能力。单台服务器增效幅度有限，但规模化部署后，可大幅降低大型云数据中心的整体运营成本。
AIDPU聚焦AI算力集群高速协同，核心解决大规模GPU集群的跨服务器数据传输难题。大模型训练依赖海量GPU分布式协作，设备间高频数据交换的延迟、拥堵、丢包问题，会直接导致GPU算力空转。AIDPU依托RDMA远程直接内存访问技术，跳过CPU与操作系统，实现服务器内存、GPU数据的直接高速传输，大幅降低数据中转开销与通信延迟。同时可配合交换机完成网络拥堵调控，减少重复传输损耗，适配400G、800G及未来更高带宽的AI网络架构，是大规模GPU集群高效协同的核心硬件。
整体来看，全功能DPU侧重服务器基础负载卸载，AIDPU侧重算力集群高速互联，大型AI算力中心通常会同时部署两类产品，实现全方位算力优化。
AI训练与推理双场景，持续打开DPU需求空间
DPU核心应用场景覆盖大模型训练、AI推理、云计算三大领域，其中AI训练与推理的场景迭代，持续催生高速数据处理需求。大模型训练依赖海量GPU分布式协作，集群规模越大，设备间数据交互频次与体量越高，网络稳定性与传输效率直接决定训练效率。Meta训练Llama34050亿参数模型时，16384张H100GPU训练54天累计出现419次非预期中断，平均每3小时一次，故障涵盖GPU、显存、软件、网络等多个维度，凸显超大算力集群的稳定性与协同难题。AIDPU可有效优化网络传输延迟、拥堵问题，降低集群中断概率，小幅的网络效率优化，即可带来可观的算力增量，对大型算力集群具备极高落地价值。
AI推理场景下，DPU的价值同样持续凸显。当前AI应用从简单问答迭代为长文本分析、多轮对话、文件解析、智能工具调用等复杂形态，产生大量KVCache对话缓存数据。为保障推理速度，缓存数据优先存储于GPU显存，但显存容量有限，海量用户并发场景下，大量缓存需迁移至服务器内存或远端大容量存储，高频的数据读取、迁移、存储访问成为推理服务的主要压力来源。
DPU可承接存储协议处理、高速数据传输、数据安全管理等任务，配合高速网络提升远端缓存、模型文件、数据库的读取效率，解决GPU算力闲置问题。随着AI智能体任务复杂度提升，数据传输与存储管理的重要性将持续提升，DPU在推理场景的渗透率有望持续走高。不过推理性能同时受显存容量、模型结构、缓存管理软件影响，并非所有推理场景都依赖DPU优化。
DPU市场规模持续高增，海内外竞争格局清晰
AI算力集群规模化建设与数据中心升级，驱动DPU行业进入高速增长周期。根据弗若斯特沙利文统计，全球DPU市场规模从2021年649.93亿元增长至2025年1964.91亿元，预计2030年将达到4362.39亿元；中国DPU市场2021年规模为150.44亿元，2025年增至497.58亿元，预计2030年有望突破1290.91亿元，行业增长空间广阔，市场规模统计受产品分类、统计范围影响存在小幅差异。
从下游需求来看，DPU核心客户为大型云服务商、电信运营商与自建数据中心企业，其中头部云厂商需求最为刚性，海量服务器集群的负载优化、高速组网、多租户隔离需求，推动DPU成为云数据中心标配硬件。
全球竞争格局方面，海外厂商占据先发优势，英伟达、英特尔、博通、美满电子、AMD深度布局DPU赛道，其中英伟达BlueField系列全功能DPU产品行业标杆，集成高速网络、独立处理器与全场景加速能力，搭配自有GPU、交换机、软件体系，形成完整算力协同方案。同时，亚马逊、微软、谷歌等头部云厂商持续自研专用DPU与网络硬件，适配自身算力中心定制化需求。
国内DPU产业快速崛起，形成多元化竞争格局，华为、中兴通讯等综合通信龙头，以及云豹智能、中科驭数等专注DPU研发的科创企业，均已完成产品布局，各家企业在产品定位、客户群体、商业化落地进度上形成差异化竞争，持续推进国产DPU替代进程。
相关公司
中科曙光：布局DPU与智能网卡相关算力硬件，依托智算服务器产品，为AI算力集群提供网络卸载、高速互联一体化方案。
中兴通讯：自研DPU芯片及配套网络加速方案，面向运营商与智算中心，支持RDMA高速传输，赋能算力网络建设。
301***：拟收购恒扬数据切入DPU领域，恒扬数据拥有网络数据处理与DPU核心技术，适配数据中心与AI智算场景。
000***：旗下新华三推出DPU加速网卡与服务器配套方案，可实现网络、存储任务卸载，服务大型云数据中心和AI算力集群。
000***：服务器龙头，自研高速智能网卡与DPU加速组件，用于AI集群，降低CPU负载，提升GPU集群通信效率。
... ...
扫码回复“8-DPU”查看行业公司介绍，并可免费诊股，还可咨询实操指导服务！
作者：于晓明 执业证书编号：A0680622030012
大规模GPU集群存在算力利用率瓶颈
全球科技企业持续加码AI算力中心建设，GPU集群规模从过往数千、上万张，快速扩张至数万张甚至十万张级别。但行业普遍存在核心痛点，GPU数量扩容无法实现算力同比例提升，大规模集群中普遍存在算力闲置问题。大模型训练过程中，大量GPU时常处于等待状态，需要等待跨设备数据传输、存储数据读取、服务器间通信同步，有效计算时间被大幅压缩。
行业通过模型浮点运算利用率（MFU）衡量GPU实际算力释放水平，该指标代表硬件实际有效计算量与理论峰值算力的比值。行业标杆案例中，谷歌训练PaLM大模型时MFU仅为46.2%，采用混合专家架构的模型，因数据传输逻辑更复杂，算力利用难题更为突出。需要注意的是，不同模型架构、芯片型号、统计口径存在差异，MFU数据无法直接横向对比，且算力浪费并非全部源于网络通信，但足以证明单纯堆砌GPU硬件无法解决算力低效问题，集群协同优化、数据传输提速与硬件资源调度的重要性愈发凸显。
全球科技巨头持续加大AI基础设施资本开支，海外微软、谷歌、亚马逊、Meta持续加码算力投入，国内阿里云宣布未来三年投入3800亿元布局云计算与AI基础设施，腾讯2026年二季度资本开支同比大增176%至528亿元。算力中心建设除GPU外，还需配套CPU、存储、交换机、光模块、电力、散热等全套设施，集群规模越大，配套成本越高。在此背景下，依托技术优化提升现有GPU集群利用率，成为行业降本增效的核心路径，DPU芯片由此迎来产业爆发机遇。
DPU核心定位：卸载服务器负载、打通算力协同瓶颈
AI服务器内部有着清晰的分工体系，GPU专注大模型训练、推理的大规模并行数学运算，CPU负责操作系统运行、业务程序处理与设备统筹协调。但传统服务器架构下，网络数据收发、存储文件读取、数据加密、虚拟机管理等大量基础设施任务，均由CPU承担。普通服务器场景下该模式可正常运行，但AI算力中心数据吞吐量远超常规服务器，随着数据中心网络带宽从10G、25G迭代至100G、400G、800G，CPU的基础设施处理负荷急剧攀升。
繁重的网络、存储处理任务会占用CPU核心资源，挤压业务运算空间，甚至引发数据处理滞后，拖慢存储访问与GPU计算节奏，成为集群算力释放的关键瓶颈。DPU数据处理芯片正是为解决该痛点诞生，以专用芯片或扩展卡形态部署于服务器，专门承接网络传输、存储访问、数据加密、虚拟化管理等基础设施任务。
DPU可通过专用硬件完成数据包处理、传输规则校验、远端存储数据读取、协议解析等工作，大幅减少CPU介入，降低主机负载，同时提升网络、存储的数据处理效率。其核心价值在于缩短GPU数据等待时长，解决网络传输、存储访问、CPU负载过高带来的算力闲置问题。同时需要明确，DPU仅能优化硬件传输与调度瓶颈，无法解决模型算法、显存容量、训练软件本身导致的算力低效，实际增效效果取决于服务器配置与具体应用场景。
全功能DPU与AIDPU的产品定位差异
当前数据中心DPU产品主要分为全功能DPU与AIDPU两类，适配不同场景需求，部分厂商将AIDPU命名为高性能智能网卡或SuperNIC，行业分类标准并未完全统一，两类产品功能定位各有侧重。
全功能DPU主要服务于云计算、通用数据中心基础设施，芯片集成独立处理器、高速网络接口与专用加速模块，可独立运行管理系统，全面接管服务器的网络管理、存储访问、数据加密、虚拟化隔离等基础任务。云服务器通常搭载多租户虚拟机，不同客户的网络、存储隔离与资源管理会消耗大量CPU资源，全功能DPU可彻底卸载这类基础设施负载，让CPU资源完全聚焦于核心业务运算，同时强化多租户安全隔离能力。单台服务器增效幅度有限，但规模化部署后，可大幅降低大型云数据中心的整体运营成本。
AIDPU聚焦AI算力集群高速协同，核心解决大规模GPU集群的跨服务器数据传输难题。大模型训练依赖海量GPU分布式协作，设备间高频数据交换的延迟、拥堵、丢包问题，会直接导致GPU算力空转。AIDPU依托RDMA远程直接内存访问技术，跳过CPU与操作系统，实现服务器内存、GPU数据的直接高速传输，大幅降低数据中转开销与通信延迟。同时可配合交换机完成网络拥堵调控，减少重复传输损耗，适配400G、800G及未来更高带宽的AI网络架构，是大规模GPU集群高效协同的核心硬件。
整体来看，全功能DPU侧重服务器基础负载卸载，AIDPU侧重算力集群高速互联，大型AI算力中心通常会同时部署两类产品，实现全方位算力优化。
AI训练与推理双场景，持续打开DPU需求空间
DPU核心应用场景覆盖大模型训练、AI推理、云计算三大领域，其中AI训练与推理的场景迭代，持续催生高速数据处理需求。大模型训练依赖海量GPU分布式协作，集群规模越大，设备间数据交互频次与体量越高，网络稳定性与传输效率直接决定训练效率。Meta训练Llama34050亿参数模型时，16384张H100GPU训练54天累计出现419次非预期中断，平均每3小时一次，故障涵盖GPU、显存、软件、网络等多个维度，凸显超大算力集群的稳定性与协同难题。AIDPU可有效优化网络传输延迟、拥堵问题，降低集群中断概率，小幅的网络效率优化，即可带来可观的算力增量，对大型算力集群具备极高落地价值。
AI推理场景下，DPU的价值同样持续凸显。当前AI应用从简单问答迭代为长文本分析、多轮对话、文件解析、智能工具调用等复杂形态，产生大量KVCache对话缓存数据。为保障推理速度，缓存数据优先存储于GPU显存，但显存容量有限，海量用户并发场景下，大量缓存需迁移至服务器内存或远端大容量存储，高频的数据读取、迁移、存储访问成为推理服务的主要压力来源。
DPU可承接存储协议处理、高速数据传输、数据安全管理等任务，配合高速网络提升远端缓存、模型文件、数据库的读取效率，解决GPU算力闲置问题。随着AI智能体任务复杂度提升，数据传输与存储管理的重要性将持续提升，DPU在推理场景的渗透率有望持续走高。不过推理性能同时受显存容量、模型结构、缓存管理软件影响，并非所有推理场景都依赖DPU优化。
DPU市场规模持续高增，海内外竞争格局清晰
AI算力集群规模化建设与数据中心升级，驱动DPU行业进入高速增长周期。根据弗若斯特沙利文统计，全球DPU市场规模从2021年649.93亿元增长至2025年1964.91亿元，预计2030年将达到4362.39亿元；中国DPU市场2021年规模为150.44亿元，2025年增至497.58亿元，预计2030年有望突破1290.91亿元，行业增长空间广阔，市场规模统计受产品分类、统计范围影响存在小幅差异。
从下游需求来看，DPU核心客户为大型云服务商、电信运营商与自建数据中心企业，其中头部云厂商需求最为刚性，海量服务器集群的负载优化、高速组网、多租户隔离需求，推动DPU成为云数据中心标配硬件。
全球竞争格局方面，海外厂商占据先发优势，英伟达、英特尔、博通、美满电子、AMD深度布局DPU赛道，其中英伟达BlueField系列全功能DPU产品行业标杆，集成高速网络、独立处理器与全场景加速能力，搭配自有GPU、交换机、软件体系，形成完整算力协同方案。同时，亚马逊、微软、谷歌等头部云厂商持续自研专用DPU与网络硬件，适配自身算力中心定制化需求。
国内DPU产业快速崛起，形成多元化竞争格局，华为、中兴通讯等综合通信龙头，以及云豹智能、中科驭数等专注DPU研发的科创企业，均已完成产品布局，各家企业在产品定位、客户群体、商业化落地进度上形成差异化竞争，持续推进国产DPU替代进程。
相关公司
中科曙光：布局DPU与智能网卡相关算力硬件，依托智算服务器产品，为AI算力集群提供网络卸载、高速互联一体化方案。
中兴通讯：自研DPU芯片及配套网络加速方案，面向运营商与智算中心，支持RDMA高速传输，赋能算力网络建设。
301***：拟收购恒扬数据切入DPU领域，恒扬数据拥有网络数据处理与DPU核心技术，适配数据中心与AI智算场景。
000***：旗下新华三推出DPU加速网卡与服务器配套方案，可实现网络、存储任务卸载，服务大型云数据中心和AI算力集群。
000***：服务器龙头，自研高速智能网卡与DPU加速组件，用于AI集群，降低CPU负载，提升GPU集群通信效率。
... ...
扫码回复“8-DPU”查看行业公司介绍，并可免费诊股，还可咨询实操指导服务！
作者：于晓明 执业证书编号：A0680622030012
