在NVIDIA GTC 2025 上，Waymo 副总裁兼研究主管 Drago Anguelov 发表了题为“推进 AI 打造最值得信赖的驾驶员”的演讲。他演讲的核心思想是，要成为世界上最值得信赖的驾驶员，需要将先进的 AI 模型与实际驾驶经验相结合，打造一个安全、可靠且具有社会意识的自动驾驶系统。在会上，Drago具体分享了，Waymo在“构建驾驶员”（Building the Driver）和“验证驾驶员”（Validating the Driver）等自动驾驶算法方面的实践。
当然此演讲，也被外网不少技术大拿评价为2025GTC最值得看的自动驾驶内容。本文根据相关内容整理，Waymo自动驾驶主要是基于AI算法方面实践内容，希望带来一些信息和前沿AI自动驾驶算法关键词的理解。构建驾驶员”（Building the Driver）-从人类驾驶到AI驾驶的跃迁人类驾驶其实是一项复杂的技术，一般的法律都需要满16岁，然后通过交通规则的考试和实际操作考试，最后才允许上路驾驶。
那么换成机器去驾驶，同样会有人类驾驶难题的挑战：复杂的物理环境，现实的驾驶环境包括不同的天气，光照，灰尘；道路上其他人的驾驶危险和违章等等，而人类驾驶的眼睛等能够处理高维多模态输入，每秒可读取1亿个传感器读数。高性能计算的需求，汽车驾驶需要在安全相关领域操作，如果出错，可能导致严重后果。而且，各种事故的出现，大概率都是罕见的长尾案例。实时性的计算，所有安全关键计算必须使用汽车的车载计算机实时执行，必须遵守严格的延迟要求。Waymo驾驶员构建的法则是，利用AI技术，采用Waymo基础模型（Foundation Model）的方式。Waymo基础模型（Foundation Model）Waymo基础模型（Waymo Foundation Model）的核心目标是结合专有的自动驾驶机器学习技术（AV-specific ML）与通用视觉语言模型（VLMs）的世界知识，以解决自动驾驶中的关键挑战。
感知输入数据：整合摄像头（Camera）、激光雷达（Lidar）、雷达（Radar）等多传感器数据。Token和Decoder：通过Tokenizer（分词器）和Decoder（解码器）处理，生成统一的场景表示，形成类似于语言结构，方便LLM类的大模型处理。中间任务：利用Intermediate Tasks（如目标检测、语义分割）提取场景特征，并通过Language Aligned Encoders（语言对齐编码器）将感知结果与地图先验（Map Prior）结合，增强空间推理能力。
以上为Waymo驾驶的基础模型框架，在这个框架里面，Waymo做了更细节的实践。MotionLM架构扩展上文讲到，驾驶中最难的是交互，Waymo推出MotionLM模型，它将多智能体也就是其他交通参与者的行为建模为“对话”，使用类似LLM的架构预测轨迹（类似语言中的句子），支持长尾场景的交互决策。通过大规模计算（FLOPs）验证模型性能随规模提升的规律。
端到端多模态模型（EMMA）这个我们之前文章《采用 ChatGPT 类似大模型作为自动驾驶算法核心的 - Waymo 的端到端多模态算法 EMMA》分享过，他是基于Gemini架构，支持多任务（如3D目标检测、可行驶区域估计、路径规划）的统一模型。在Waymo Open Motion和nuScenes数据集上达到SOTA性能（如EMMA+的L2误差仅0.29m）。
而可以看到，国内模型方面例如地平线的UniAD；理想汽车和清华做的Drive VLM误差都比Waymo的EMMA大。
以上就是为Waymo在自动驾驶方面“构建驾驶员”的一些探索；那么如何确保构建的驾驶员是正确的，安全的？这个时候就需要验证驾驶员”（Validating the Driver）了。验证驾驶员”（Validating the Driver）-应对视觉语言模型的局限性为什么要验证构建的驾驶员？方法论上是可实施的，但是当前自动驾驶主要依赖的核心技术是视觉AI，而当前的视觉语言模型也是有他的局限性的。独立视觉语言模型（Standalone Vision-Language Model）的局限性主要包括以下四点：
1. 多模态传感器支持不足（Multi-modal Sensor Support）其实，现有模型难以有效整合激光雷达（Lidar）、视觉（Camera）、雷达（Radar）等多模态传感器的数据。但是，当前的自动驾驶需要融合不同传感器的互补信息（如激光雷达的精确3D定位与视觉的语义理解），独立模型在此类跨模态对齐与联合推理中存在性能瓶颈。
2. 空间推理精度有限（Accurate Spatial Reasoning）当前的模型对三维物理空间的动态感知和推理能力不足，例如在复杂交通场景中准确预测车辆、行人的运动轨迹（如ADE指标中的误差积累）。例如，演讲中提到EMMA+模型在8秒预测窗口的ADE误差仍达1.553米（Waymo Open Motion数据集），表明长时空间推理仍需提升。
3. 长期记忆能力欠缺（Long Term Memory）当前的大模型缺乏对历史场景的持续记忆能力，难以在长时间驾驶任务中保持上下文一致性（如跟踪持续移动的目标或应对周期性事件）。例如，在复杂城市道路中（如多次变道、路口连续交互），短期记忆可能导致决策片段化，增加风险。
4. 鲁棒推理与幻觉抑制不足（Robust Reasoning without Hallucinations）当前大模型在噪声数据或模糊场景下易产生错误推断（如误判障碍物位置）或“幻觉”（如虚构不存在的交通参与者）。当前类似的与Deepseek或者ChatGPT有这种幻觉，顶多让你信息错误，而驾驶在公共道路上，任何的事故风险都是人命，所以比较要验证“自动驾驶的驾驶员”。
验证的主要内容是应对不同场景下，不同驾驶参与者的博弈和交互；验证感知的内容是准确的。Waymo的验证驾驶员”（Validating the Driver）实践有：
1，可扩展的仿真验证平台。开发了基于AI的交通仿真器Scene Diffuser++，通过生成式世界模型实现城市级多智能体交通流模拟。该模型采用多模态张量扩散技术，联合预测未来时间步中所有交通参与者（车辆/信号灯）的运动轨迹和状态有效性。使用Block-NeRF技术，通过车辆自有传感器数据重建城市街区的三维环境，实现高保真度的传感器模拟（如激光雷达、摄像头）。
现在采用3D高斯泼溅（3DGS）来取代NeRF技术。NeRF：依赖神经网络隐式建模场景的辐射场，通过体积渲染生成图像，需复杂的光线追踪计算。3DGS：使用显式的各向异性3D高斯模型（带有外观信息的几何体素），直接渲染场景，兼容传统图形引擎，无需复杂的光线追踪。
这样，采用3D高斯泼溅（3DGS）实时渲染技术，比NeRF快57倍，提升模拟真实性和效率。
2.真实场景生成与泛化验证基于大规模真实驾驶数据学习仿真器（Real2Sim），Controllable Editing，支持多视角场景重建与全局编辑（如天气、时间变化），重点解决系统在未见过场景中的泛化能力挑战。
通过随机化车辆动态参数（如加速度限制、转向响应）和道路使用者行为（如模拟注意力缺失驾驶员），生成多样化测试场景，验证系统在极端情况下的鲁棒性。写在最后Waymo还是非常合规和谨慎的企业，Waymo刚开始是Google于2009年1月开启的一项自动驾驶汽车计划，之后于2016年12月才由Google独立出来，然而到现在算是在自动驾驶摸爬滚打了16年，依然只是在美国的4个城市实践，即将拓展另外2个城市。
他们的商业和投资环境，他们的公司理念还是值得钦佩和学习。未经准许严禁转载和摘录Advancing AI to Build the World’s Most Trusted Driver pdf - VP, Head of AI Foundations Team WaymoDriveVLM：自动驾驶与大型视觉语言模型的融合 pdf- 理想汽车和清华大学相关人员 加入我们的知识星球可以下载包含以上参考资料的汽车行业海量的一手资料。
原文标题 : 推进 AI 打造最值得信赖的驾驶员：Waymo 在自动驾驶模型算法方面的实践
在NVIDIA GTC 2025 上，Waymo 副总裁兼研究主管 Drago Anguelov 发表了题为“推进 AI 打造最值得信赖的驾驶员”的演讲。他演讲的核心思想是，要成为世界上最值得信赖的驾驶员，需要将先进的 AI 模型与实际驾驶经验相结合，打造一个安全、可靠且具有社会意识的自动驾驶系统。在会上，Drago具体分享了，Waymo在“构建驾驶员”（Building the Driver）和“验证驾驶员”（Validating the Driver）等自动驾驶算法方面的实践。
当然此演讲，也被外网不少技术大拿评价为2025GTC最值得看的自动驾驶内容。本文根据相关内容整理，Waymo自动驾驶主要是基于AI算法方面实践内容，希望带来一些信息和前沿AI自动驾驶算法关键词的理解。构建驾驶员”（Building the Driver）-从人类驾驶到AI驾驶的跃迁人类驾驶其实是一项复杂的技术，一般的法律都需要满16岁，然后通过交通规则的考试和实际操作考试，最后才允许上路驾驶。
那么换成机器去驾驶，同样会有人类驾驶难题的挑战：复杂的物理环境，现实的驾驶环境包括不同的天气，光照，灰尘；道路上其他人的驾驶危险和违章等等，而人类驾驶的眼睛等能够处理高维多模态输入，每秒可读取1亿个传感器读数。高性能计算的需求，汽车驾驶需要在安全相关领域操作，如果出错，可能导致严重后果。而且，各种事故的出现，大概率都是罕见的长尾案例。实时性的计算，所有安全关键计算必须使用汽车的车载计算机实时执行，必须遵守严格的延迟要求。Waymo驾驶员构建的法则是，利用AI技术，采用Waymo基础模型（Foundation Model）的方式。Waymo基础模型（Foundation Model）Waymo基础模型（Waymo Foundation Model）的核心目标是结合专有的自动驾驶机器学习技术（AV-specific ML）与通用视觉语言模型（VLMs）的世界知识，以解决自动驾驶中的关键挑战。
感知输入数据：整合摄像头（Camera）、激光雷达（Lidar）、雷达（Radar）等多传感器数据。Token和Decoder：通过Tokenizer（分词器）和Decoder（解码器）处理，生成统一的场景表示，形成类似于语言结构，方便LLM类的大模型处理。中间任务：利用Intermediate Tasks（如目标检测、语义分割）提取场景特征，并通过Language Aligned Encoders（语言对齐编码器）将感知结果与地图先验（Map Prior）结合，增强空间推理能力。
以上为Waymo驾驶的基础模型框架，在这个框架里面，Waymo做了更细节的实践。MotionLM架构扩展上文讲到，驾驶中最难的是交互，Waymo推出MotionLM模型，它将多智能体也就是其他交通参与者的行为建模为“对话”，使用类似LLM的架构预测轨迹（类似语言中的句子），支持长尾场景的交互决策。通过大规模计算（FLOPs）验证模型性能随规模提升的规律。
端到端多模态模型（EMMA）这个我们之前文章《采用 ChatGPT 类似大模型作为自动驾驶算法核心的 - Waymo 的端到端多模态算法 EMMA》分享过，他是基于Gemini架构，支持多任务（如3D目标检测、可行驶区域估计、路径规划）的统一模型。在Waymo Open Motion和nuScenes数据集上达到SOTA性能（如EMMA+的L2误差仅0.29m）。
而可以看到，国内模型方面例如地平线的UniAD；理想汽车和清华做的Drive VLM误差都比Waymo的EMMA大。
以上就是为Waymo在自动驾驶方面“构建驾驶员”的一些探索；那么如何确保构建的驾驶员是正确的，安全的？这个时候就需要验证驾驶员”（Validating the Driver）了。验证驾驶员”（Validating the Driver）-应对视觉语言模型的局限性为什么要验证构建的驾驶员？方法论上是可实施的，但是当前自动驾驶主要依赖的核心技术是视觉AI，而当前的视觉语言模型也是有他的局限性的。独立视觉语言模型（Standalone Vision-Language Model）的局限性主要包括以下四点：
1. 多模态传感器支持不足（Multi-modal Sensor Support）其实，现有模型难以有效整合激光雷达（Lidar）、视觉（Camera）、雷达（Radar）等多模态传感器的数据。但是，当前的自动驾驶需要融合不同传感器的互补信息（如激光雷达的精确3D定位与视觉的语义理解），独立模型在此类跨模态对齐与联合推理中存在性能瓶颈。
2. 空间推理精度有限（Accurate Spatial Reasoning）当前的模型对三维物理空间的动态感知和推理能力不足，例如在复杂交通场景中准确预测车辆、行人的运动轨迹（如ADE指标中的误差积累）。例如，演讲中提到EMMA+模型在8秒预测窗口的ADE误差仍达1.553米（Waymo Open Motion数据集），表明长时空间推理仍需提升。
3. 长期记忆能力欠缺（Long Term Memory）当前的大模型缺乏对历史场景的持续记忆能力，难以在长时间驾驶任务中保持上下文一致性（如跟踪持续移动的目标或应对周期性事件）。例如，在复杂城市道路中（如多次变道、路口连续交互），短期记忆可能导致决策片段化，增加风险。
4. 鲁棒推理与幻觉抑制不足（Robust Reasoning without Hallucinations）当前大模型在噪声数据或模糊场景下易产生错误推断（如误判障碍物位置）或“幻觉”（如虚构不存在的交通参与者）。当前类似的与Deepseek或者ChatGPT有这种幻觉，顶多让你信息错误，而驾驶在公共道路上，任何的事故风险都是人命，所以比较要验证“自动驾驶的驾驶员”。
验证的主要内容是应对不同场景下，不同驾驶参与者的博弈和交互；验证感知的内容是准确的。Waymo的验证驾驶员”（Validating the Driver）实践有：
1，可扩展的仿真验证平台。开发了基于AI的交通仿真器Scene Diffuser++，通过生成式世界模型实现城市级多智能体交通流模拟。该模型采用多模态张量扩散技术，联合预测未来时间步中所有交通参与者（车辆/信号灯）的运动轨迹和状态有效性。使用Block-NeRF技术，通过车辆自有传感器数据重建城市街区的三维环境，实现高保真度的传感器模拟（如激光雷达、摄像头）。
现在采用3D高斯泼溅（3DGS）来取代NeRF技术。NeRF：依赖神经网络隐式建模场景的辐射场，通过体积渲染生成图像，需复杂的光线追踪计算。3DGS：使用显式的各向异性3D高斯模型（带有外观信息的几何体素），直接渲染场景，兼容传统图形引擎，无需复杂的光线追踪。
这样，采用3D高斯泼溅（3DGS）实时渲染技术，比NeRF快57倍，提升模拟真实性和效率。
2.真实场景生成与泛化验证基于大规模真实驾驶数据学习仿真器（Real2Sim），Controllable Editing，支持多视角场景重建与全局编辑（如天气、时间变化），重点解决系统在未见过场景中的泛化能力挑战。
通过随机化车辆动态参数（如加速度限制、转向响应）和道路使用者行为（如模拟注意力缺失驾驶员），生成多样化测试场景，验证系统在极端情况下的鲁棒性。写在最后Waymo还是非常合规和谨慎的企业，Waymo刚开始是Google于2009年1月开启的一项自动驾驶汽车计划，之后于2016年12月才由Google独立出来，然而到现在算是在自动驾驶摸爬滚打了16年，依然只是在美国的4个城市实践，即将拓展另外2个城市。
他们的商业和投资环境，他们的公司理念还是值得钦佩和学习。未经准许严禁转载和摘录Advancing AI to Build the World’s Most Trusted Driver pdf - VP, Head of AI Foundations Team WaymoDriveVLM：自动驾驶与大型视觉语言模型的融合 pdf- 理想汽车和清华大学相关人员 加入我们的知识星球可以下载包含以上参考资料的汽车行业海量的一手资料。
原文标题 : 推进 AI 打造最值得信赖的驾驶员：Waymo 在自动驾驶模型算法方面的实践
