前阵子海外GPU技术峰会刚结束朋友圈几乎被一个词刷了屏基座模型。尤其是一家长期专注L4级自动驾驶的公司趁峰会窗口放了基座模型的新进展并且把“自动驾驶”和“AI能力体系”放进同一个叙事框架。这组合乍看起来有点反差——一家做无人车的公司不好好打磨感知、预测、规划那几条链路怎么突然开始谈大模型了但你把发布内容逐条拆开看会发现这条线其实早埋下了。这篇文章想聊的不是发布会PPT上那些漂亮的demo视频而是它背后几个更值得琢磨的问题为什么自动驾驶公司需要建“AI能力体系”基座模型在这套体系里到底承担什么角色所谓“新进展”新在哪以及真正落地时还有哪些看不见的坎。适合做自动驾驶、机器人、大模型相关方向的人读也适合那些想搞清楚“大模型在车上到底有什么用”的旁观者。1. 从“L4攻坚战”到“AI能力体系”这场发布会背后的战略转向1.1 自动驾驶为什么需要“体系”而不是“模型”早期自动驾驶的AI玩法非常直接一个萝卜一个坑。感知模型负责把相机和激光雷达数据变成3D目标框预测模型负责推测周围车下一步往哪走规划模块再根据这些结果搜索一条安全轨迹。这套架构跑了很多年城市道路的复杂度一上来问题就暴露得很明显——每个模型都只盯着自己的局部任务碰到没见过的corner case任何一个环节出错整条链路就跟着崩。所以你会看到行业内近几年都在提“端到端”“多任务统一模型”这类概念。但这家公司提出“AI能力体系”比端到端更进一步它强调的不是某个单一模型有多强而是数据、模型、算力、部署、评测这整条链路能不能形成闭环。说白了自动驾驶AI已经过了“堆模型数量”的阶段进入了“拼体系效率”的阶段。你光有一个很聪明的感知模型没有数据回流机制去持续迭代它没有车端推理架构去承接它那这个模型的价值就会被严重稀释。在GPU峰会上把“AI能力体系”这个词摆出来其实是在向外界传递一个信号公司不再把自己定义为“做自动驾驶算法的”而是“用AI能力解决物理世界移动问题的”。这套说法的潜台词是自动驾驶只是第一个落点能力是可以外溢的。1.2 基座模型在驾驶任务里的具体席位那么基座模型在这套体系里到底是什么简单理解它就是那个“通才”。以前的模型是一个个专科生——感知专科、预测专科、规划专科各自在自己的报表里很厉害但换个问题就抓瞎。基座模型更像一个读过大量书的全科生它先把多模态数据图像、点云、地图、指令统一编码成一种模型内部能理解的通用表示然后下游任何任务需要什么就从这层通用表示里抽取什么。这家公司这次发布的基座模型我比较关注的是它把预测、规划这类决策任务也纳入了模型主干。也就是说它不再只是“看得懂路”的感知基座而是慢慢变成“看得懂想得明白”的决策基座。这是从感知到认知的一次重心迁移也是自动驾驶大模型真正有想象力的地方。1.3 为什么不自研一套通用大模型而是把驾驶数据喂给开源模型这是很多人会问的问题既然要搞基座模型为什么不直接用市面上现成的开源大模型把传感器数据灌进去微调就行答案在于模态和实时性的错位。通用大模型擅长处理文本和图片但自动驾驶需要的是对三维空间动态场景的理解。相机、激光雷达、毫米波雷达这些传感器拿到的是异构数据时间维度上还有连续帧的时序关系这些用开源通用模型微调等于让人力车夫去开高铁——轮子都长得不一样。另外通用大模型讲的是“生成一个答案”而驾驶任务要求的是“在几十毫秒内输出一个可执行且安全的决策”这中间的延迟、可靠性和安全边际差距非常大自研意味着能对模型结构、训练数据、推理时延有完全控制权。2. 基座模型的技术构成多模态输入、统一主干、策略输出2.1 传统“多模型串联”为什么走到了瓶颈要理解基座模型的价值得先知道传统多模型串联是怎么拖垮系统的。假设你在城市路口前方有行人突然横穿同时左侧一辆车试图加塞后方的电瓶车还在快速贴近。传统架构里感知模块先把每个动态目标识别出来预测模块再分别判断三者的意图规划模块最后综合所有预测结果选择刹停还是绕行。问题在于眼神儿不好、预判不灵、决策拖沓这三件事如果发生在不同模块里错误的信号会逐级放大。感知漏了一个目标预测自然没它的事规划就更不可能规避。基座模型用一个共享主干处理所有输入相当于让感知、预测、规划在一个大脑里协同工作彼此间共享同一套空间和时间理解错误传递链条被大大缩短。2.2 共享主干与任务头一套参数怎么同时干好几件事这次发布中架构上最值得看的是它的“多模态输入编码共享Transformer主干轻量任务头”设计。输入侧把环视相机图像、激光雷达点云、高精地图先转成统一的token序列再和驾驶指令比如“左转”“靠边停车”一起送进主干网络。主干通过注意力机制在不同模态之间做交互学出场景的通用特征最后接几个很薄的任务头分别输出目标检测框、占用网格、轨迹预测、决策动作。这套结构的好处是大部分计算发生在共享层任务头参数极少因此多任务之间可以互相借力。雨天夜里看不清的时候激光雷达的点云特征可以辅助相机做检测某个路口样本特别少地图拓扑和指令信息又能帮助模型理解路权关系。这种跨模态、跨任务的信息流转是以前多模型串联架构完全做不到的。2.3 世界模型让车学会“脑补”下一秒会发生什么这次发布里另一个离不开的概念是世界模型。它的大致作用是让模型在内部建立一个场景演化的预测不靠真实的下一帧传感器数据而是自己“脑补”接下来几秒会发生什么。这听起来有点玄幻但原理上可以理解为一种内部仿真器。比如车在十字路口看到对面有车打了左转灯世界模型可以结合它下一步的方向意图在特征空间里推演这条轨迹会不会和自己冲突。有了这层预测能力系统不一定要等到危机出现才反应可以提前预判潜在风险空间。与此同时世界模型还能用来做数据增强和自监督训练——让模型在大量无标注数据上通过预测未来来学习空间规律再配合少量标注数据做精细化学习。这种“自监督预训练少量标注微调”的组合很大程度上降低了对人工标注的依赖也正好解释了为什么这家公司把世界模型当成基座模型的核心部件来推广。3. 这次“基座模型新进展”新在哪三个容易被忽略的细节3.1 从“感知基座”到“决策基座”的跨越发布会信息里最容易一带而过的是模型能力边界的变化。最开始那一代基座模型主要落在感知层输出的是检测框、车道线、占用空间这类“客观描述”。而这次讲的新进展明显把预测和规划放进了基座模型的任务范围从传感器数据直接出决策轨迹。可别小看这层变化。感知任务有相对明确的答案——这个位置有辆车这就是一个分类回归问题。决策任务则不一样同样的场景可以有一百种合法轨迹但只有少数是安全、舒适且符合交规的。训练逻辑、损失函数、评测方式都得另起炉灶。从技术难度上看这一步的跨越比想象中大得多这也是我认为这次发布里含金量最高的部分。3.2 生成式仿真大规模介入训练数据第二个容易被忽视的细节是生成式仿真在数据链路上的占比明显提升。以往行业里做仿真大多是手工搭建场景去测试规则到了需要新增训练数据的时候主要靠真实车队去路测采集再人工标注。这种方式慢、贵而且长尾场景天然稀疏。新进展里提到的做法是把生成式AI引入仿真场景构建用模型自动生成各种边缘场景比如突然冲出的外卖车、夜间逆行的非机动车、极其复杂的施工改道然后把这些生成的传感器数据直接变成基座模型的训练数据。你会看到他们的训练数据规模能翻好几倍不完全是靠多跑了几百万公里路测而更多是靠在虚拟环境里“批量生产”了宝贵的长尾样本。数据生成之后还要过一套质量筛选和域对齐的流程保证虚拟数据的特征分布和真实世界足够接近否则模型在仿真里学到的能力会在真实道路上失灵。3.3 车端部署指标的明显前移还有一个容易被当成“性能数字”扫过去的信息是模型在车端芯片上的推理表现。单纯做模型能力展示很多公司都能给出亮眼的测试指标但能不能放到量产域控制器上实时跑出来才是真正的分水岭。这次发布提到了在车规级芯片上用稀疏化、量化、算子融合等手段做推理加速目标是把基座模型压缩到能够上车、端到端延迟可控的程度。这里牵扯的工程问题比论文复杂得多。基座模型动辄几亿甚至几十亿参数要想跑在车端还保持低延迟低功耗通常的做法是大模型蒸馏成小模型、主干裁剪、混合精度量化。但这么压完之后模型能力有多少衰减、极端场景下会不会失稳需要大量实车验证。所以这次他们公布的不只是“模型在云端评测集上拿了多少分”还给了车端实测的延迟、占用的规划时长相关系数这组数据比口号更能说明问题。4. 落到车端之前基座模型要过的四道坎4.1 数据闭环基座模型的“粮食”怎么持续供上基座模型不是一个静态文件它是一个持续进化的系统。这次发布里反复出现“数据闭环”这个词我深有感触。不管云端的基座模型做得再大如果它学不到路上那些真实发生的罕见场景能力上限就会卡在一个地方纹丝不动。数据闭环的关键在于如何高效挖掘长尾数据。通常的做法是车队跑在公开道路上车辆实时记录传感器数据和系统判断回到云端后做一个自动化的场景筛选哪些场景里模型置信度低哪些场景和训练分布差异大哪些场景用户接管了这些高价值片段被挑出来经过自动标注或人机协同标注再追加进训练集里做增量更新。听起来不复杂但工程量非常大。光是一个“置信度低”的判断标准就需要定义多模态的指标一个“场景稀缺”的评分又要用embedding聚类去衡量样本密度。很多团队车能跑、模型能训但就是卡在“怎么把有价值的片段从海量数据里挑出来”这一步导致整个闭环转不起来。这家公司把数据闭环和大模型放在一起讲等于承认了没有数据引擎支撑的基座模型只是空中楼阁。4.2 从云端大模型到车端小模型蒸馏与量化云端基座模型再强也不能原封不动装上量产的域控盒子。车端芯片的算力、内存带宽、散热都和云端有巨大差距所以一个很成熟的工程套路是“云端大模型训练车端小模型部署”先训练一个又大又强的基座模型然后用蒸馏、裁剪、结构化剪枝等手法在尽量保持能力的同时把它缩小到车端可接受的范围。蒸馏的原理其实很像师傅带徒弟。大模型的输出不仅有最终答案还有中间层的特征表达里面蕴含着它对场景的理解逻辑。小模型通过拟合大模型的这些中间输出学到比单纯学标注答案更丰富的知识。实际操作中我建议关注两点一是蒸馏的时候损失函数要同时考虑任务损失和特征对齐损失单纯拉结果对齐会丢失很多中间语义二是量化之后一定要做部署级的评测FP16换成INT8之后往往会出现精度抖动尤其在小目标检测和远距离轨迹预测上这类问题在驾驶场景里可能直接引发误判。4.3 安全冗余神经网络输出不能直接踩油门就算基座模型表现再惊艳自动驾驶系统结构上也不会允许一个神经网络直接操控油门刹车。行业主流做法是保留安全层和冗余控制——基座模型作为主决策通道提供运动规划另外再配合规则校验、传感器交叉验证、独立安全芯片等机制兜底。这是我在看发布内容时反复提醒自己的一点不能因为模型强大了就忽略系统工程。比如基座模型输出了一条向左变道的轨迹安全层会根据当前车速、目标车道后车距离、横向安全余量等硬性条件做一次快速校验发现风险就直接否决。这类校验逻辑不依赖训练数据而是基于物理规则和法规约束写死的它和大模型构成一种“能力互补”的关系。从发布口径看这家公司对模型不确定性也有专门的监控机制比如估计模型输出的方差、在风险场景里回退到保守策略这些都是基座模型能真正量产上车的前提。4.4 评测体系怎么证明基座模型“变强了”基座模型这种大而全的模型最原始的评测方式已经不太够用了。你不能只看它在公开数据集上刷了多少NDS、ADE分数因为驾驶场景是一个开放世界你的模型要面对的是无数个没见过的路口组合。过去这段时间我慢慢形成的一个观点是自动驾驶基座模型的评测必须由三个维度组合完成——离线指标、仿真开放场景通过率、真实道路接管率。三者缺一不可。离线指标告诉你模型在历史数据上是否学得够好仿真场景通过率可以无限逼近长尾分布适合检验极端case的应对能力真实道路接管率才是最终的生产力证明。这次发布里如果能有针对性地公布三套评价曲线的变化会比单纯给一组SOTA数字更有说服力。尤其是要关注那些“旧模型过了、新模型反而没过”的回归样本它们才是大模型训练中真正的雷区。5. 对从业者的参考价值这波进展能怎么用5.1 能力外溢从自动驾驶到机器人、座舱、物流“AI能力体系”比“自动驾驶模型”高一层的价值在于它不是只能服务开车这一件事。它底层的多模态感知、场景理解、世界模型预测、边缘部署方案放到智能机器人、智能座舱、无人配送、智慧物流等场景上几乎都是同一套底座。比如在物流场景里仓库里的AGV小车同样需要感知障碍物、预测人员运动轨迹、规划绕行动作这和自动驾驶对车辆的期望几乎同构。再比如智能座舱里车载摄像头和语音指令可以组成多模态交互这套交互的底座也能复用自动驾驶基座模型的空间理解能力。所以这家公司强调“能力体系”其实是给未来的多场景扩张铺路这比单纯讲“我们是做无人车的”要有弹性得多。5.2 中小团队怎么借力基座模型聊了这么多基座模型的宏大叙事回到实际一点的问题中小团队没有自研几十亿参数的模型能力这波进展能搭上什么车我的建议是不要一上来就想着复刻整套体系而是从“工具链消费”和“垂直微调”两个角度切入。一方面关注基座模型团队是否开放API或开源模型权重如果开放了你可以拿着自己的场景数据做下游微调另一方面可以在他们的评测工具链和数据处理管道基础上做场景适配比如把道路场景换成校园、工厂这类封闭园区需要的模型规模和复杂度马上可以降一个数量级。说白了基座模型解决的是“通识能力”你解决的是“最后一公里业务适配”这恰恰是中小团队的优势所在。5.3 我后续会继续观察的几个点看完这次发布的技术方向我自己接下来会重点盯三件事一是他们会不会开放基座模型的评测集和失败case库这决定了社区能不能真正复现和公平对比二是车端部署的模型会不会走上“大小模型协同”的路线也就是云端大模型负责难例、车上轻模型负责常规路况三是这套能力体系会不会延伸到机器人本体而不是一直停留在车辆载体上。如果有动作了那才是AI能力体系真正从口号变成基础设施的时候。最后补一句我个人的观察基座模型或许不会一夜之间让自动驾驶系统突然“成神”但它真真切切改变了团队处理数据、构建任务、评测模型的方式。以前是找一个厉害的模型去拟合现成的标注现在是先有通用能力再去定义场景学习它。这种范式的变化才是这次发布会背后最值得跟进的信号。