吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口” 原创

至顶网

2周前

AlpaSim从底层微服务架构入手,采用gRPC接口将各模块彻底解耦,并采用了流水线并行(PipelineParallelism)机制(当渲染引擎正在为一个场景生成高保真图像时,驱动程序可以同时为另一个场景执行神经网络推理,两者完全重叠运行,不再彼此等待)。

NVIDIA全球副总裁、汽车事业部负责人吴新宙指出,辅助驾驶正在成为“物理 AI”最早进入规模化量产的核心场景,甚至是物理AI第一个实现大规模商业落地的入口。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

NVIDIA全球副总裁、汽车事业部负责人吴新宙

从NVIDIA支撑物理 AI的三台计算机,映射到辅助驾驶场景中,则分别对应车端推理、云端训练,以及仿真。

NVIDIA的汽车战略围绕这三端展开,并进一步推出硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施。

事实上,几年前的智能驾驶角逐一般是在“功能配置”层面,比拼的是谁能率先推出城市NOA、谁的AEB刹停速度更高。

这种基于规则与模块化架构的竞争,推动了L2级辅助驾驶的普及。但随着技术演进,分布式电子电气架构走向中央集中式,软件定义汽车(SDV)成为行业共识,传统的模块化算法开始让位于端到端(End-to-End)大模型。

端到端模型将感知、预测与规控融为一体,智能驾驶的研发逻辑就发生了颠覆。“白盒”系统变为“黑盒”时,模型却在面对复杂的“长尾”场景(如突发施工、无序交叉路口、特殊形态车辆)时束手无策。

汽车制造商发现,过去,可以通过采购不同供应商的感知模块和规控模块进行集成;但在“端到端”时代,算法与数据的耦合度达到了空前高度。模型需要吞噬海量的高质量、多模态真实驾驶数据,并在极高逼真度的虚拟环境中进行闭环验证。

这也让如今的驾驶成为关乎感知、训练、验证和实时推理的系统性工程。

01   打破端到端“黑盒”的Reasoning VLA架构

要解决端到端模型在长尾场景中的失效问题,单纯依赖不断堆积高质量真实驾驶数据,其边际效益正在迅速递减。原因很简单,现实道路中的长尾场景,本身就无法被穷举,再多的数据,也难以覆盖低频、高风险的突发情况。

这意味着,智能驾驶不能停留在“看见之后直接执行”的映射逻辑上,而必须进一步增加对复杂环境的理解能力。系统不仅要知道“前方发生了什么”,更要判断“为什么会发生”“接下来可能发生什么”,以及“自己应该如何应对”。

从行业角度来看,这是从传统的“感知—执行”模式,走向“认知—推理—决策”一体化的阶段。

NVIDIA开放权重的Alpamayo1.5模型,代表了高阶辅助驾驶算法架构的最新演进方向——Reasoning VLA(视觉-语言-动作推理模型)。与传统端到端架构不同,Alpamayo1.5引入了大型语言模型中成熟的“思维链(Chain of Thought, CoT)”机制。

该模型拥有约100亿参数(包含8.2B个参数的 Cosmos Reason 主干和2.3B个参数的动作专家), 基于Cosmos-Reason2 VLM骨干网构建,经过强化学习 (RL) 后训练,并引入了对导航引导、灵活摄像头数量和用户问答的支持。其在解码阶段摒弃了回归预测,采用轻量级条件流匹配(Conditioned Flow Matching)技术,将离散的轨迹Token转换为满足车辆运动学约束的连续路径点。

更关键的是,模型在输出轨迹的同时,强制要求输出自然语言形式的推理逻辑。在实车演示中,系统能够明确输出诸如“前方人行横道有行人,我准备让行”或“我的车道内有双排停放的车辆,我正在绕行”的判断。

对于这套开放架构的定位,NVIDIA全球副总裁、汽车事业部负责人吴新宙强调,开放模型的优点其实是降低开发门槛。NVIDIA将硬件标准化,并且开放了整体网络架构和参数。企业可以从中蒸馏一个上车版本,这样比从0开始简单的多。

事实上,Alpamayo扮演的是“教师模型(Teacher Model)”的角色,显著降低了车企自研高阶逻辑推理架构的试错成本,更为不同区域的车企提供了合规、高效的AI量产捷径。

02  攻克“协变量偏移”与吞吐量瓶颈

教师模型解决的是“模型该如何学”的问题,而智能驾驶更难突破的瓶颈还有“模型到底该去哪里学。”

尤其智能驾驶进入端到端时代之后,训练对象不再是单独的感知模块,而是直接从像素输入到车辆控制输出的完整驾驶系统。

过去依赖开环评估的方法,在这种范式下已然失效。

因为,在模块化时代,系统仅验证单点能力,开环测试尚能勉强支撑,但在端到端系统框架里,车辆的每次控制动作都会反过来影响下一帧的感知输入,因此模型本身就成为了环境的一部分。

此时,开环测试与真实闭环表现之间会出现“协变量偏移(Covariate Shift)”,尽管离线成绩再漂亮,也无法保证真实道路上的安全。

要解决这个问题的办法,就是把真实世界本身重建出来。这就需要具备物理世界像素级重建的能力。

NVIDIA的AlpaSim开放端到端仿真框架,就能完成了整个验证体系的重构。

对比来看,传统仿真系统普遍采用的顺序执行机制是,车端驱动程序输出动作后,等待渲染器生成下一帧3D 图像,整个链路相互阻塞,吞吐量较低。尤其在高保真传感器模拟下,GPU 消耗几乎呈指数级上升。

AlpaSim从底层微服务架构入手,采用gRPC 接口将各模块彻底解耦,并采用了流水线并行(Pipeline Parallelism)机制(当渲染引擎正在为一个场景生成高保真图像时,驱动程序可以同时为另一个场景执行神经网络推理,两者完全重叠运行,不再彼此等待)。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自Github

这意味着,仿真具备了工业级的吞吐能力。

结合NVIDIA的RoaD算法(用于缓解开环与闭环之间的协变量偏移),以及Sim2Val验证框架,AlpaSim能将关键现实世界指标的方差最高降低 83%。开发者得以在实验室中,以每天数百万次的频率完成高置信度的实车级扰动测试,而不再依赖昂贵且高风险的真实道路试错。

当然,吞吐量是第一步。

真正决定端到端模型上限的,还有另一个问题——仿真世界到底像不像真实世界。

而AlpaSim的另一个核心目标,就是尽可能缩小仿真与现实之间的差距。

其实,AlpaSim集成的神经渲染系统NuRec,就可以实现高保真的传感器模拟。让摄像头信号不仅支持可配置的视场角、分辨率与帧率,还能够更真实地模拟环境噪声、天气变化以及复杂光照条件。对于依赖像素输入的端到端模型而言,这种高保真传感器模拟,直接决定了训练结果是否具备真实道路迁移能力。

与此同时,AlpaSim采用基于Python的实现方式,并通过模块化gRPC接口开放感知、规划、控制等核心链路,使研究人员能够快速替换模块、自定义实验流程。

这种架构,其实是为了做一个开放、可插拔的研究平台,让仿真系统本身也具备持续进化能力。

在更大规模部署上,其微服务架构还支持分布式计算与多节点横向扩展,能够根据不同模块的算力负载动态调度资源。

这种按需生成能力,对应着单一的常规驾驶片段裂变为数百个高危边缘场景,从根本上突破了真实路测数据在“长尾分布”末端的物理采集极限。

03  算力、功耗与跨模态校验兜底安全

在AlpaSim这类闭环仿真框架之外,智能驾驶要真正完成从模型验证到量产部署,还必须解决另一个更底层的问题——庞大的端到端模型,究竟依靠什么算力在车端实时运行?

毕竟,仿真可以解决模型在长尾场景中的训练与验证问题,但当车辆进入真实道路,系统仍要在毫秒级时间内完成多传感器感知、场景理解、轨迹预测和控制决策。此时,算力就是决定高阶智能驾驶能否稳定落地的基础设施。

这说明算力的边界还在变化。随着模型能力提升,车端算力是决定感知距离、反应速度、长时序理解和能耗效率的基础条件。智能车算力还远未封顶,未来竞争会从峰值算力进入有效推理能力和能耗效率之争。

NVIDIA DRIVE AGX Hyperion 10参考架构,以及其内置的两块Blackwell架构DRIVE AGX Thor系统级芯片,正是对下一代智能汽车算力需求的回应。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自:NVIDIA官网

DRIVE AGX Thor可提供最高1000 INT8 TOPS与2000 FP4 TFLOPS的计算能力。FP4,即4位浮点精度,能够在模型精度可控的前提下,通过低比特量化压缩模型权重和中间计算的存储开销,进而提升Transformer模型在车端的实时推理吞吐。

这对于智能驾驶尤其关键。端到端模型越大,长时序记忆(上下文)越长,车辆对显存带宽、计算吞吐和功耗控制的要求就越高。车端系统没有数据中心那样宽裕的散热和供电条件,却要在毫秒级时间窗口内完成感知、理解、预测和决策。FP4的价值,正是在严格车规功耗约束下,为更大模型上车打开空间。

吴新宙也提到,未来车端算力需求会被几个因素持续拉高:更高分辨率、更高帧率和更长时序记忆。更高分辨率让车看得更远,更高帧率提升安全冗余和驾乘体验,更长历史帧输入则增强模型对复杂场景的连续理解能力。辅助驾驶的算力竞争,也会逐渐从单纯堆高峰值算力,延伸到有效推理能力、单位功耗性能和软硬件协同效率。

而在感知传感器的定义上,DRIVE AGX Hyperion 10同样展现出更强的工程冗余。

Hyperion 10的多模态传感器套件包括14个高清外置摄像头、9个毫米波雷达、1个激光雷达、12个超声波传感器、4个内置摄像头以及车外麦克风阵列。相比单一感知路线,这种设计更强调360度覆盖、跨模态校验和复杂环境下的安全兜底。

这套配置背后,对应的是智能驾驶从功能演示走向规模化量产时必须面对的工程挑战。端到端大模型可以提升系统对复杂交通环境的理解能力,但车辆在真实道路上运行时,仍然要面对夜间、逆光、雨雾、遮挡、异形障碍物、低纹理目标等高风险场景。单一传感器路线在部分场景中可以表现出很强的能力,但面向更高等级自动驾驶时,系统仍需要跨模态信息互相校验,来提高极端条件下的确定性。

而围绕行业长期存在的纯视觉与多模态路线之争,吴新宙也给出了判断。他坦言:“虽然许多事情能够证明纯视觉大模型的充分性,但是很难证明激光雷达的不必要性。”

这句话涉及两种完全不同的工程命题。前者可以通过大量测试证明系统能力上限,后者则需要证明系统在低频、高风险、难以穷举的场景中依然不存在关键感知缺口。

因此,Hyperion 10对摄像头、毫米波雷达、激光雷达、超声波传感器、内置摄像头和车外麦克风的兼容,其实是为了不同车型定位和不同法规环境预留的工程弹性。对于L2++和L3车型,车企可以基于需求选择不同传感器组合;对于L4和Robotaxi场景,Hyperion 10则能够提供更完整的感知冗余和安全边界。

04  “双栈防御”体系 跨越安全鸿沟

端到端模型提升了车辆对复杂交通环境的理解能力,也能让驾驶行为更接近人类经验。但模型输出却是建立在概率分布之上,在极端场景中可能出现误判情况。

而汽车安全体系却要求系统具备可验证、可追溯、可约束的确定性,尤其在ISO 26262、ISO/SAE 21434,以及UN ECE相关法规框架下,车辆必须证明自身在功能安全、网络安全和故障处理上的可靠性。

这就形成了端到端大模型上车后的核心矛盾——上层驾驶能力越来越依赖AI模型的泛化与推理,但底层安全边界仍然需要由确定性的工程系统来兜底。

因此,在全新梅赛德斯-奔驰CLA车型搭载的DRIVE AV软件中,NVIDIA采用了“双栈架构”。系统上层运行基于AI的端到端驾驶栈,负责复杂场景理解、路线选择和交互决策;底层并行运行基于NVIDIA Halos的智能汽车全栈式综合安全系统,负责对AI输出进行约束和校验。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自:NVIDIA官网

这套架构要解决的核心问题,是端到端模型的概率输出与汽车安全体系的确定性要求之间的冲突。AI模型可以在复杂交通环境中给出更接近人类驾驶经验的判断,但量产系统不能把最终安全边界完全交给黑盒模型。当模型规划出的轨迹超出车辆动力学约束、碰撞风险边界或传感器可信范围时,Halos会介入,限制不安全动作,并触发制动、减速、避让或最小风险机动。

对车企而言,这类安全护栏决定了高阶辅助驾驶能否从功能演示进入量产交付。辅助驾驶系统不仅要“开得好”,还要在出现异常时证明自己“不会失控”。这也是NVIDIA将Halos继续向认证体系延伸的原因。

目前,NVIDIA已建立Halos AI 系统检测实验室,并已通过美国国家标准学会国家认可委员会(ANAB)的 ISO/IEC 17020 认证,用于为物理AI系统提供功能安全、网络安全和AI合规相关评估。

安全框架推进到这一步,L3与L4的路线差异也更加清晰。

从技术栈看,L3和L4都需要强感知、强算力、闭环仿真和安全冗余,L3仍然保留人类驾驶员接管机制,系统需要在特定条件下把控制权交还给人;L4则在限定运行区域内由车辆完成完整驾驶任务,不再依赖驾驶员即时接管。

吴新宙对L3的思考也集中在这里。他提到,如果系统要求驾驶员在10秒钟内接管,现实道路中这10秒钟已经足以发生很多事情。而随着参数提升,接管时间可能被拉长到60秒甚至更久,而系统在这段时间内仍然需要承担安全责任。

这使得L3在商业化上天然存在灰区,车企既希望把更多驾驶任务交给系统,又无法完全摆脱人类接管。一旦接管失败,责任边界就会变得复杂。

相比之下,L4的前期投入更高,但责任链条更清楚。车辆在限定ODD内自行完成驾驶任务,安全能力由车端冗余、远程运营、云端数据闭环和仿真验证共同支撑。这一路径更适合Robotaxi、自动配送和固定线路物流等运营型场景。

Uber与NVIDIA的合作,正是这一商业逻辑的实现。按照双方公布的信息,Uber计划从2027年开始扩大全球自动驾驶车队,目标规模达到10万辆;车辆将基于NVIDIA DRIVE AGX Hyperion 10架构、DRIVE AV软件,以及围绕Cosmos平台构建的数据工厂持续迭代。路透社在2026年3月报道中也提到,双方计划从洛杉矶和旧金山启动,并在2028年前扩展至全球28个城市。

05 写在最后

把模型、仿真、芯片和安全栈放在同一条线上看,NVIDIA在汽车业务中提供的,已经是一套辅助驾驶开发与量产的“生产线”。车端推理让模型真正跑在车上,云端训练负责吸收数据、迭代能力,仿真验证则把现实道路中低频、高风险的场景提前搬进实验室。这就是吴新宙所说的“三台计算机”。再往下看,硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施构成“五层蛋糕”,对应的是车企做高阶辅助驾驶时绕不开的几项重投入。

吴新宙表示:“我们并没有希望大家购买我们所有的产品。我们提供了三台计算机和五层蛋糕的服务,我们希望所有的车厂都能从我们的服务中受益。”

也正是在最近的北京车展期间,NVIDIA宣布与多家汽车制造商及NVIDIA DRIVE生态伙伴合作。

围绕物理AI,NVIDIA与奇瑞汽车展开合作,重点布局辅助驾驶、座舱AI与机器人等赛道;

在智能驾驶领域,德赛西威正在开发一款面向量产的智驾解决方案,该方案基于NVIDIA DRIVE Hyperion中的NVIDIA DRIVE AGX Thor加速计算平台,并结合NVIDIA NVLink互连技术打造;

小马智行则发布了全新一代自动驾驶域控制器,该系统由小马智行与NVIDIA合作开发,基于NVIDIA DRIVE Hyperion平台,并由集成NVLink技术的NVIDIA DRIVE AGX Thor提供支持,面向L4级自动驾驶平台及更广泛的自动驾驶应用场景。

在座舱AI方面,阿里巴巴将Qwen-Omni全模态大模型运行于NVIDIA DRIVE平台,通过NVIDIAD RIVE AGXT hor、Orin车端计算平台,以及NVIDIA TensorRT Edge-LLM推理框架与千问-Omni的深度协同,推动座舱AI具备更强的主动感知与自主行动能力;

联想车计算推出的智算平台AIBox同样搭载NVIDIA DRIVE AGX Thor,并采用统一硬件架构与NVIDIA DriveOS操作系统,帮助汽车制造商部署大模型与智能体,提升座舱交互体验,加速物理AI在汽车场景中的落地。

由此来看,NVIDIA其实是在定义辅助驾驶的工业接口——车端推理、云端训练、仿真验证的“三台计算机”,硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施叠成“五层蛋糕”。

车企可以选择自研算法、保留产品体验,但训练、验证、部署和迭代越来越需要接入统一的算力与工具链。

这句话也点出了NVIDIA在智能汽车产业另一层定位——参与定义AI进入物理世界的产业入口。

而未来,或许如吴新宙所说:“物理AI将会推动第四次工业革命,导致整个生产力呈指数级增长。”

AlpaSim从底层微服务架构入手,采用gRPC接口将各模块彻底解耦,并采用了流水线并行(PipelineParallelism)机制(当渲染引擎正在为一个场景生成高保真图像时,驱动程序可以同时为另一个场景执行神经网络推理,两者完全重叠运行,不再彼此等待)。

NVIDIA全球副总裁、汽车事业部负责人吴新宙指出,辅助驾驶正在成为“物理 AI”最早进入规模化量产的核心场景,甚至是物理AI第一个实现大规模商业落地的入口。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

NVIDIA全球副总裁、汽车事业部负责人吴新宙

从NVIDIA支撑物理 AI的三台计算机,映射到辅助驾驶场景中,则分别对应车端推理、云端训练,以及仿真。

NVIDIA的汽车战略围绕这三端展开,并进一步推出硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施。

事实上,几年前的智能驾驶角逐一般是在“功能配置”层面,比拼的是谁能率先推出城市NOA、谁的AEB刹停速度更高。

这种基于规则与模块化架构的竞争,推动了L2级辅助驾驶的普及。但随着技术演进,分布式电子电气架构走向中央集中式,软件定义汽车(SDV)成为行业共识,传统的模块化算法开始让位于端到端(End-to-End)大模型。

端到端模型将感知、预测与规控融为一体,智能驾驶的研发逻辑就发生了颠覆。“白盒”系统变为“黑盒”时,模型却在面对复杂的“长尾”场景(如突发施工、无序交叉路口、特殊形态车辆)时束手无策。

汽车制造商发现,过去,可以通过采购不同供应商的感知模块和规控模块进行集成;但在“端到端”时代,算法与数据的耦合度达到了空前高度。模型需要吞噬海量的高质量、多模态真实驾驶数据,并在极高逼真度的虚拟环境中进行闭环验证。

这也让如今的驾驶成为关乎感知、训练、验证和实时推理的系统性工程。

01   打破端到端“黑盒”的Reasoning VLA架构

要解决端到端模型在长尾场景中的失效问题,单纯依赖不断堆积高质量真实驾驶数据,其边际效益正在迅速递减。原因很简单,现实道路中的长尾场景,本身就无法被穷举,再多的数据,也难以覆盖低频、高风险的突发情况。

这意味着,智能驾驶不能停留在“看见之后直接执行”的映射逻辑上,而必须进一步增加对复杂环境的理解能力。系统不仅要知道“前方发生了什么”,更要判断“为什么会发生”“接下来可能发生什么”,以及“自己应该如何应对”。

从行业角度来看,这是从传统的“感知—执行”模式,走向“认知—推理—决策”一体化的阶段。

NVIDIA开放权重的Alpamayo1.5模型,代表了高阶辅助驾驶算法架构的最新演进方向——Reasoning VLA(视觉-语言-动作推理模型)。与传统端到端架构不同,Alpamayo1.5引入了大型语言模型中成熟的“思维链(Chain of Thought, CoT)”机制。

该模型拥有约100亿参数(包含8.2B个参数的 Cosmos Reason 主干和2.3B个参数的动作专家), 基于Cosmos-Reason2 VLM骨干网构建,经过强化学习 (RL) 后训练,并引入了对导航引导、灵活摄像头数量和用户问答的支持。其在解码阶段摒弃了回归预测,采用轻量级条件流匹配(Conditioned Flow Matching)技术,将离散的轨迹Token转换为满足车辆运动学约束的连续路径点。

更关键的是,模型在输出轨迹的同时,强制要求输出自然语言形式的推理逻辑。在实车演示中,系统能够明确输出诸如“前方人行横道有行人,我准备让行”或“我的车道内有双排停放的车辆,我正在绕行”的判断。

对于这套开放架构的定位,NVIDIA全球副总裁、汽车事业部负责人吴新宙强调,开放模型的优点其实是降低开发门槛。NVIDIA将硬件标准化,并且开放了整体网络架构和参数。企业可以从中蒸馏一个上车版本,这样比从0开始简单的多。

事实上,Alpamayo扮演的是“教师模型(Teacher Model)”的角色,显著降低了车企自研高阶逻辑推理架构的试错成本,更为不同区域的车企提供了合规、高效的AI量产捷径。

02  攻克“协变量偏移”与吞吐量瓶颈

教师模型解决的是“模型该如何学”的问题,而智能驾驶更难突破的瓶颈还有“模型到底该去哪里学。”

尤其智能驾驶进入端到端时代之后,训练对象不再是单独的感知模块,而是直接从像素输入到车辆控制输出的完整驾驶系统。

过去依赖开环评估的方法,在这种范式下已然失效。

因为,在模块化时代,系统仅验证单点能力,开环测试尚能勉强支撑,但在端到端系统框架里,车辆的每次控制动作都会反过来影响下一帧的感知输入,因此模型本身就成为了环境的一部分。

此时,开环测试与真实闭环表现之间会出现“协变量偏移(Covariate Shift)”,尽管离线成绩再漂亮,也无法保证真实道路上的安全。

要解决这个问题的办法,就是把真实世界本身重建出来。这就需要具备物理世界像素级重建的能力。

NVIDIA的AlpaSim开放端到端仿真框架,就能完成了整个验证体系的重构。

对比来看,传统仿真系统普遍采用的顺序执行机制是,车端驱动程序输出动作后,等待渲染器生成下一帧3D 图像,整个链路相互阻塞,吞吐量较低。尤其在高保真传感器模拟下,GPU 消耗几乎呈指数级上升。

AlpaSim从底层微服务架构入手,采用gRPC 接口将各模块彻底解耦,并采用了流水线并行(Pipeline Parallelism)机制(当渲染引擎正在为一个场景生成高保真图像时,驱动程序可以同时为另一个场景执行神经网络推理,两者完全重叠运行,不再彼此等待)。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自Github

这意味着,仿真具备了工业级的吞吐能力。

结合NVIDIA的RoaD算法(用于缓解开环与闭环之间的协变量偏移),以及Sim2Val验证框架,AlpaSim能将关键现实世界指标的方差最高降低 83%。开发者得以在实验室中,以每天数百万次的频率完成高置信度的实车级扰动测试,而不再依赖昂贵且高风险的真实道路试错。

当然,吞吐量是第一步。

真正决定端到端模型上限的,还有另一个问题——仿真世界到底像不像真实世界。

而AlpaSim的另一个核心目标,就是尽可能缩小仿真与现实之间的差距。

其实,AlpaSim集成的神经渲染系统NuRec,就可以实现高保真的传感器模拟。让摄像头信号不仅支持可配置的视场角、分辨率与帧率,还能够更真实地模拟环境噪声、天气变化以及复杂光照条件。对于依赖像素输入的端到端模型而言,这种高保真传感器模拟,直接决定了训练结果是否具备真实道路迁移能力。

与此同时,AlpaSim采用基于Python的实现方式,并通过模块化gRPC接口开放感知、规划、控制等核心链路,使研究人员能够快速替换模块、自定义实验流程。

这种架构,其实是为了做一个开放、可插拔的研究平台,让仿真系统本身也具备持续进化能力。

在更大规模部署上,其微服务架构还支持分布式计算与多节点横向扩展,能够根据不同模块的算力负载动态调度资源。

这种按需生成能力,对应着单一的常规驾驶片段裂变为数百个高危边缘场景,从根本上突破了真实路测数据在“长尾分布”末端的物理采集极限。

03  算力、功耗与跨模态校验兜底安全

在AlpaSim这类闭环仿真框架之外,智能驾驶要真正完成从模型验证到量产部署,还必须解决另一个更底层的问题——庞大的端到端模型,究竟依靠什么算力在车端实时运行?

毕竟,仿真可以解决模型在长尾场景中的训练与验证问题,但当车辆进入真实道路,系统仍要在毫秒级时间内完成多传感器感知、场景理解、轨迹预测和控制决策。此时,算力就是决定高阶智能驾驶能否稳定落地的基础设施。

这说明算力的边界还在变化。随着模型能力提升,车端算力是决定感知距离、反应速度、长时序理解和能耗效率的基础条件。智能车算力还远未封顶,未来竞争会从峰值算力进入有效推理能力和能耗效率之争。

NVIDIA DRIVE AGX Hyperion 10参考架构,以及其内置的两块Blackwell架构DRIVE AGX Thor系统级芯片,正是对下一代智能汽车算力需求的回应。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自:NVIDIA官网

DRIVE AGX Thor可提供最高1000 INT8 TOPS与2000 FP4 TFLOPS的计算能力。FP4,即4位浮点精度,能够在模型精度可控的前提下,通过低比特量化压缩模型权重和中间计算的存储开销,进而提升Transformer模型在车端的实时推理吞吐。

这对于智能驾驶尤其关键。端到端模型越大,长时序记忆(上下文)越长,车辆对显存带宽、计算吞吐和功耗控制的要求就越高。车端系统没有数据中心那样宽裕的散热和供电条件,却要在毫秒级时间窗口内完成感知、理解、预测和决策。FP4的价值,正是在严格车规功耗约束下,为更大模型上车打开空间。

吴新宙也提到,未来车端算力需求会被几个因素持续拉高:更高分辨率、更高帧率和更长时序记忆。更高分辨率让车看得更远,更高帧率提升安全冗余和驾乘体验,更长历史帧输入则增强模型对复杂场景的连续理解能力。辅助驾驶的算力竞争,也会逐渐从单纯堆高峰值算力,延伸到有效推理能力、单位功耗性能和软硬件协同效率。

而在感知传感器的定义上,DRIVE AGX Hyperion 10同样展现出更强的工程冗余。

Hyperion 10的多模态传感器套件包括14个高清外置摄像头、9个毫米波雷达、1个激光雷达、12个超声波传感器、4个内置摄像头以及车外麦克风阵列。相比单一感知路线,这种设计更强调360度覆盖、跨模态校验和复杂环境下的安全兜底。

这套配置背后,对应的是智能驾驶从功能演示走向规模化量产时必须面对的工程挑战。端到端大模型可以提升系统对复杂交通环境的理解能力,但车辆在真实道路上运行时,仍然要面对夜间、逆光、雨雾、遮挡、异形障碍物、低纹理目标等高风险场景。单一传感器路线在部分场景中可以表现出很强的能力,但面向更高等级自动驾驶时,系统仍需要跨模态信息互相校验,来提高极端条件下的确定性。

而围绕行业长期存在的纯视觉与多模态路线之争,吴新宙也给出了判断。他坦言:“虽然许多事情能够证明纯视觉大模型的充分性,但是很难证明激光雷达的不必要性。”

这句话涉及两种完全不同的工程命题。前者可以通过大量测试证明系统能力上限,后者则需要证明系统在低频、高风险、难以穷举的场景中依然不存在关键感知缺口。

因此,Hyperion 10对摄像头、毫米波雷达、激光雷达、超声波传感器、内置摄像头和车外麦克风的兼容,其实是为了不同车型定位和不同法规环境预留的工程弹性。对于L2++和L3车型,车企可以基于需求选择不同传感器组合;对于L4和Robotaxi场景,Hyperion 10则能够提供更完整的感知冗余和安全边界。

04  “双栈防御”体系 跨越安全鸿沟

端到端模型提升了车辆对复杂交通环境的理解能力,也能让驾驶行为更接近人类经验。但模型输出却是建立在概率分布之上,在极端场景中可能出现误判情况。

而汽车安全体系却要求系统具备可验证、可追溯、可约束的确定性,尤其在ISO 26262、ISO/SAE 21434,以及UN ECE相关法规框架下,车辆必须证明自身在功能安全、网络安全和故障处理上的可靠性。

这就形成了端到端大模型上车后的核心矛盾——上层驾驶能力越来越依赖AI模型的泛化与推理,但底层安全边界仍然需要由确定性的工程系统来兜底。

因此,在全新梅赛德斯-奔驰CLA车型搭载的DRIVE AV软件中,NVIDIA采用了“双栈架构”。系统上层运行基于AI的端到端驾驶栈,负责复杂场景理解、路线选择和交互决策;底层并行运行基于NVIDIA Halos的智能汽车全栈式综合安全系统,负责对AI输出进行约束和校验。

吴新宙:辅助驾驶是物理AI首个落地入口,NVIDIA正为此塑造端到端的“工业接口”

截取自:NVIDIA官网

这套架构要解决的核心问题,是端到端模型的概率输出与汽车安全体系的确定性要求之间的冲突。AI模型可以在复杂交通环境中给出更接近人类驾驶经验的判断,但量产系统不能把最终安全边界完全交给黑盒模型。当模型规划出的轨迹超出车辆动力学约束、碰撞风险边界或传感器可信范围时,Halos会介入,限制不安全动作,并触发制动、减速、避让或最小风险机动。

对车企而言,这类安全护栏决定了高阶辅助驾驶能否从功能演示进入量产交付。辅助驾驶系统不仅要“开得好”,还要在出现异常时证明自己“不会失控”。这也是NVIDIA将Halos继续向认证体系延伸的原因。

目前,NVIDIA已建立Halos AI 系统检测实验室,并已通过美国国家标准学会国家认可委员会(ANAB)的 ISO/IEC 17020 认证,用于为物理AI系统提供功能安全、网络安全和AI合规相关评估。

安全框架推进到这一步,L3与L4的路线差异也更加清晰。

从技术栈看,L3和L4都需要强感知、强算力、闭环仿真和安全冗余,L3仍然保留人类驾驶员接管机制,系统需要在特定条件下把控制权交还给人;L4则在限定运行区域内由车辆完成完整驾驶任务,不再依赖驾驶员即时接管。

吴新宙对L3的思考也集中在这里。他提到,如果系统要求驾驶员在10秒钟内接管,现实道路中这10秒钟已经足以发生很多事情。而随着参数提升,接管时间可能被拉长到60秒甚至更久,而系统在这段时间内仍然需要承担安全责任。

这使得L3在商业化上天然存在灰区,车企既希望把更多驾驶任务交给系统,又无法完全摆脱人类接管。一旦接管失败,责任边界就会变得复杂。

相比之下,L4的前期投入更高,但责任链条更清楚。车辆在限定ODD内自行完成驾驶任务,安全能力由车端冗余、远程运营、云端数据闭环和仿真验证共同支撑。这一路径更适合Robotaxi、自动配送和固定线路物流等运营型场景。

Uber与NVIDIA的合作,正是这一商业逻辑的实现。按照双方公布的信息,Uber计划从2027年开始扩大全球自动驾驶车队,目标规模达到10万辆;车辆将基于NVIDIA DRIVE AGX Hyperion 10架构、DRIVE AV软件,以及围绕Cosmos平台构建的数据工厂持续迭代。路透社在2026年3月报道中也提到,双方计划从洛杉矶和旧金山启动,并在2028年前扩展至全球28个城市。

05 写在最后

把模型、仿真、芯片和安全栈放在同一条线上看,NVIDIA在汽车业务中提供的,已经是一套辅助驾驶开发与量产的“生产线”。车端推理让模型真正跑在车上,云端训练负责吸收数据、迭代能力,仿真验证则把现实道路中低频、高风险的场景提前搬进实验室。这就是吴新宙所说的“三台计算机”。再往下看,硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施构成“五层蛋糕”,对应的是车企做高阶辅助驾驶时绕不开的几项重投入。

吴新宙表示:“我们并没有希望大家购买我们所有的产品。我们提供了三台计算机和五层蛋糕的服务,我们希望所有的车厂都能从我们的服务中受益。”

也正是在最近的北京车展期间,NVIDIA宣布与多家汽车制造商及NVIDIA DRIVE生态伙伴合作。

围绕物理AI,NVIDIA与奇瑞汽车展开合作,重点布局辅助驾驶、座舱AI与机器人等赛道;

在智能驾驶领域,德赛西威正在开发一款面向量产的智驾解决方案,该方案基于NVIDIA DRIVE Hyperion中的NVIDIA DRIVE AGX Thor加速计算平台,并结合NVIDIA NVLink互连技术打造;

小马智行则发布了全新一代自动驾驶域控制器,该系统由小马智行与NVIDIA合作开发,基于NVIDIA DRIVE Hyperion平台,并由集成NVLink技术的NVIDIA DRIVE AGX Thor提供支持,面向L4级自动驾驶平台及更广泛的自动驾驶应用场景。

在座舱AI方面,阿里巴巴将Qwen-Omni全模态大模型运行于NVIDIA DRIVE平台,通过NVIDIAD RIVE AGXT hor、Orin车端计算平台,以及NVIDIA TensorRT Edge-LLM推理框架与千问-Omni的深度协同,推动座舱AI具备更强的主动感知与自主行动能力;

联想车计算推出的智算平台AIBox同样搭载NVIDIA DRIVE AGX Thor,并采用统一硬件架构与NVIDIA DriveOS操作系统,帮助汽车制造商部署大模型与智能体,提升座舱交互体验,加速物理AI在汽车场景中的落地。

由此来看,NVIDIA其实是在定义辅助驾驶的工业接口——车端推理、云端训练、仿真验证的“三台计算机”,硬件、操作系统、安全SDK、开放模型、仿真与数据基础设施叠成“五层蛋糕”。

车企可以选择自研算法、保留产品体验,但训练、验证、部署和迭代越来越需要接入统一的算力与工具链。

这句话也点出了NVIDIA在智能汽车产业另一层定位——参与定义AI进入物理世界的产业入口。

而未来,或许如吴新宙所说:“物理AI将会推动第四次工业革命,导致整个生产力呈指数级增长。”

展开
打开“财经头条”阅读更多精彩资讯
APP内打开