如果你在自动驾驶行业待过两年以上大概率会碰到一个相似场景某天技术会上领导把一张BEVTransformer的架构图甩出来问“这套东西能不能直接搬到机器人上去”。原因也很直接视觉感知、决策规划、运动控制两个领域看起来都在做同一件事——让机器看懂世界然后动起来。尤其这两年具身智能的风刮得比自动驾驶当年还猛VLAVision-Language-Action模型、世界模型、多模态大模型接连登场越来越多的人开始琢磨是不是训练一套基础模型既能开车又能干家务既能跑高速又能抓杯子。这个想法听起来很美但我可以先把结论放在前面一套模型完全端到端通吃自动驾驶和具身智能目前不现实但一条技术栈分层共享、底座统一、场景特化的路径正在变得越来越清晰。这篇文章我想从任务定义、数据形态、模型架构、评测体系几个维度把两个领域的真实差距和可复用部分拆开来看顺便聊聊我自己的实操体会和踩坑经历。1. 为什么大家都在赌“一套模型通吃”从技术同源到规模叙事1.1 “感知-决策-控制”闭环长得太像了先别笑任何一个第一次把自动驾驶系统框图和机器人系统框图并排放在一起的人都会产生一种“这不就是同一件事吗”的错觉。自动驾驶的经典pipeline是传感器摄像头、激光雷达、毫米波雷达采集环境信息 → 感知模块识别车辆、行人、车道线 → 预测模块估计其他交通参与者的轨迹 → 规划模块生成一条未来5~10秒的行驶轨迹 → 控制模块把轨迹转化成方向盘转角、油门和刹车信号。具身智能的pipeline是传感器RGB相机、深度相机、触觉传感器采集环境信息 → 感知模块识别目标物体、障碍物、可交互区域 → 任务规划模块把“把杯子放到托盘上”拆解成若干子步骤 → 运动规划模块生成机械臂末端或灵巧手的运动轨迹 → 控制模块把轨迹映射成关节力矩。你看抽象到“输入感知、中间推理、输出动作”这个层面两个领域确实共享同一个骨架。这也是过去两年大量自动驾驶工程师转行做具身智能的核心底气——底层的视觉感知、坐标变换、运动规划算法迁移成本没有想象中那么高。我自己第一次用机器人数据集训一个抓取检测模型时直接沿用了一套为自动驾驶目标检测调过的视觉backbone效果依然不差。1.2 多模态基础模型和VLA把差距进一步抹平了如果把时间倒回2018年自动驾驶和机器人最大的差异在于“表示方式”。自动驾驶输出的是连续轨迹坐标机器人输出的是关节角度或者末端位姿两者格式完全不同很难共用一套网络。但多模态大模型改变了这个局面。2023年Google推出RT-2之后“把动作当成语言来生成”成了一种范式——机器人动作被离散化成token直接接到一个LLM/VLM的文本序列后面输出。这个思路彻底打破了“视觉、语言、动作必须各自建模型”的边界。同时自动驾驶这边也在走同样的路线。UniAD这一类端到端模型把感知、预测、规划全部塞进一个Transformer框架输出的不再是传统pipeline的中间结果而是直接生成轨迹。World Models世界模型则更进一步试图让模型学会“预测下一步会发生什么”GAIA-1、DriveDreamer这些自动驾驶世界模型和机器人领域的视频预测模型本质上都在做同一件事给定历史帧预测未来帧/未来状态。于是局面变成了视觉编码器是同一个CLIP/DINOv2语言理解是同一个LLM动作生成都是Transformer解码两个领域的工具链、算力平台、甚至论文模板都越来越像。这时候有人问“一套基础模型能不能通吃”一点不奇怪。2. 任务本质差在哪一个求“别犯错”一个求“能做事”2.1 自动驾驶是单智能体的高速安全决策问题先给自动驾驶的任务下一个精确定义在高度结构化或半结构化的道路环境中以规定的驾驶规则为前提把载具从A点安全、高效地移动到B点。这个任务有几个关键特征。第一环境是弱对抗性的——路上虽然有行人、自行车、其他车辆但绝大多数参与者都在遵守规则你不需要“说服”一个交通锥让路。第二决策频率跨度极大底层控制需要几十赫兹的刷新率轨迹规划几赫兹而变道、绕行这类战术决策可以放宽到秒级。第三安全是绝对红线一辆L4级自动驾驶出租车的目标是做到比人类驾驶员安全若干倍这意味着系统必须覆盖海量长尾场景突然横穿马路的行人、掉落的轮胎、被遮挡的施工区域。这种任务对模型的要求是预测能力强、漏检率极低、决策保守。你会发现自动驾驶模型本质上是一个“风险避让器”它不需要有创造性但必须对每一个可能的危险有敬畏。2.2 具身智能是开放环境里的多技能交互问题具身智能的任务定义就完全不同了。把它拆开看在非结构化环境中利用本体感觉和外部感知通过与物体和环境的物理交互完成长时序、多步骤的操作任务。“打开冰箱 → 拿出鸡蛋 → 磕鸡蛋 → 搅拌 → 倒进热锅”这样一个看起来简单的早餐场景每一步都是一个独立的操作技能。冰箱的材质、鸡蛋的位置、锅的高度、平底锅的形状全部不可预知。更麻烦的是物理接触抓取需要力控倒水需要理解流体动力学叠衣服需要处理柔性体形变——这都不是“看到”就能解决的必须“摸到”才能学会。所以具身智能对模型的要求是动作生成能力强、泛化到新对象/新场景的能力强、从交互反馈中持续学习的能力强。它不需要做得像自动驾驶那样“千万分之一的错误都不能有”因为失败的代价通常只是重新抓一次杯子——但它必须在“第一次见到这盏灯/这个抽屉”的情况下依然做出合理动作。2.3 时间尺度和成功标准完全不在一个维度上还有一个常被忽略的区别是时间目标和评估尺度。自动驾驶的评估单位是“里程”和“时间”——每跑多少英里需要接管一次MPI、每百万公里发生多少次碰撞。评估的是连续驾驶过程中的长期稳定性。而具身智能的评估单位是“回合”——一个指令拿到一次测试机会成功了就是1失败了就是0评估的是单次任务完成率。这带来一个直接影响自动驾驶模型需要优化的是“整个轨迹序列的平均风险”而具身智能模型需要优化的是“离散任务点的成功率”。前者更像是一个精算师后者更像是一个手艺人。3. 数据鸿沟一条是“在路上看出来的”一条是“用手做出来的”3.1 自动驾驶数据量大、语义相对统一长尾靠场景挖掘自动驾驶最不缺的就是数据。nuScenes数据集有1000个20秒的场景片段超过了40万帧采集车在波士顿和新加坡各跑了一圈配合全套传感器和精细化3D标注。Waymo Open Dataset更夸张积累了约2000万英里的自动驾驶道路测试里程开放出来的也够研究机构用上好一阵子。除了真实道路数据仿真数据也是一条重要生产线。CARLA模拟器能生成带天气变化、道路布局、交通流分布的场景。我在做自动驾驶感知时还见过不少团队直接用欧卡2Euro Truck Simulator 2这类游戏采集驾驶数据和训练感知模型——它模拟了欧洲数万公里的道路网支持昼夜/雨雪/隧道/山路一辆卡车在高速公路上连续跑几个小时采集成本几乎为零。配合开源游戏API可以同步拿到车辆位姿、方向盘转角、油门刹车、前方摄像头画面用来训练车道保持、速度控制这类基础任务效率极高。但要注意这些数据有一个共同特点表征的是“观察者视角”。所有样本都在回答同一个问题——“以我当前的位置我周围的世界长什么样我该怎么规划这段路”。语义层级相对稳定车道线就是车道线红绿灯就是红绿灯。自动驾驶模型要被大量长尾场景掣肘但这个长尾是场景组合的多样性不是动作技能本身的多样性。3.2 具身智能数据量小、维度杂采集成本高得离谱到了具身智能这边情况就完全变了。一个机械臂抓取任务想要给模型凑够像样的演示数据通常得靠遥操作——一个熟练工程师戴着动捕手套或者操作遥操作臂一遍一遍地把同一个动作做上几百遍。一个简单的“拿起杯子放到托盘”任务采集成百上千条演示是常事一个“叠衣服”任务数据品质能不能达标都得看运气。目前社区里规模比较大的开源数据集Open X-Embodiment汇集了来自全球几十个实验室的机器人操作数据包含超过100万个示范涵盖机器人形态、传感器配置、任务类型五花八门的样本。还有个趋势是xbotics这类具身智能开源社区开始出现核心诉求就是在共享机械臂、灵巧手操作数据和模型权重这件事上建立标准化协议。我和朋友聊下来的共识是这类社区的价值不在于某一个数据集能直接拿来训练而在于它提供了一个跨团队可对照的评测基准。关键是机器人的数据维度比自动驾驶高出不止一个量级。自动驾驶样本主要是图像、点云、轨迹机器人的样本除了RGB-D图像还有关节角度序列、末端执行器位姿、六维力/力矩数据、多指手部姿态甚至触觉传感器的高频信号。每一个维度都可能影响任务成败缺了一块数据模型在真机上就“手感不对”。3.3 数据稀缺直接决定了两个领域的技术路线分叉数据量的巨大差异导致两个领域在方法论上走向了两个方向。自动驾驶因为数据相对充裕可以走“海量数据 大模型预训练 长尾场景补采”的路子端到端模型对视觉数据的需求完全可以靠仿真和大规模路测填满重要的是数据处理和标注的工程效率。具身智能因为数据太贵只能走“小样本 强先验 在线适应”的路子。这就为什么模仿学习IL、强化学习RL、以及基于VLM先验的零样本操作能力那么受重视——不是大家不想堆数据是在物理世界里堆数据这件事本身太贵了。4. 模型架构里哪些能共享哪些必须分开4.1 真正能共享的是底层视觉编码和大语言推理既然两个任务都从多模态输入开始那么最底层的那几层网络不共享都对不起这个时代的技术红利。视觉编码器是最典型的例子。CLIP、DINOv2、SigLIP这些自监督/多模态对比训练的视觉模型学习的是通用的物体外观和空间表征。我在实际项目中用自动驾驶场景预训练过的视觉backbone直接初始化机器人操作模型的编码器在抓取检测上的收敛速度明显比随机初始化快了接近一倍。这个收益不难理解自动驾驶场景里预训练的特征已经包含了丰富的物体边界、深度线索和运动信息这些对机器人操作同样有用。语言对齐层也是可以共享的。大语言模型带来的常识推理能力对两个领域都是增量价值。自动驾驶希望车能理解“前方发生事故改走辅路”这类复杂指令机器人希望理解“把那瓶红色的调料放到左边的架子上”这种指代消解任务——本质上都属于语言-视觉-行动之间的语义对齐共享一套LLM底座完全可行。4.2 必须分开的是决策头和控制层安全边界、运动学、交互约束越往上走分歧就越大。我把必须分开的部分归纳为三层。第一层是决策策略层。自动驾驶的决策必须嵌入交通规则和风险评估模型不能越过实线、必须给行人让行、城市快速路上跟车距离不能小于某个阈值。这些约束是社会契约不是数据里自然涌现的。机器人操作虽然也有安全约束不能撞坏物体、不能对人造成伤害但它的决策自由度大得多——先把玉米剥皮还是先切块正手抓还是反手抓都不存在唯一的合法解。第二层是运动学映射层。自动驾驶的输出最终落在方向盘转角、油门开度、制动压力这组动作空间基本固定乘用车、卡车都大同小异。而机器人的输出端是关节空间每个机械臂的运动学参数都不一样6轴和7轴不同普通夹爪和灵巧手的自由度更是差了十倍。一个VLA模型如果要通吃全品类机器人本体就意味着它必须在“任意运动学约束下生成动作”——这个问题的难度比自动驾驶高出好几个台阶。第三层是安全冗余层。当前没有任何一个大模型敢声明“我的输出永远安全”自动驾驶行业为此建立了独立的功能安全机制比如ASIL-D级别的监视线控系统和最小风险状态MRS策略。机器人领域也在建立类似机制但框架还没有统一。把安全完全托付给一个大模型的端到端输出目前无论哪个领域都是不可接受的。4.3 世界模型是最有可能成为“共享中间件”的角色在共享层和专用层之间有一个可能的桥梁世界模型。自动驾驶领域的世界模型学习的是“给定过去几帧和多模态传感器流预测未来几秒的鸟瞰视角/多视角图像”本质是学习道路交通动态。机器人领域的世界模型学习的是“给定当前场景和动作序列预测后续状态变化”本质是学习物理交互规律。这两个目标有交集——都试图让模型具备对物理世界的预测能力。理想状态下一个通用世界模型可以成为两个任务共用的“物理模拟器”自动驾驶拿它做planning的前置模拟机器人拿它做policy的想象学习。现实情况是自动驾驶预测的是宏观场景演化车流怎么动、障碍物怎么移动机器人需要的是接触级状态变化这个杯子会不会倒、转了多大会不会打翻两者对预测颗粒度的要求差了不止两个量级。用自动驾驶世界模型去猜一个鸡蛋掉到地上的形变完全不现实。我的判断是短期内不存在一个世界模型同时服务两端但长期看“世界模型层共享下游任务各自fine-tune”是相对靠谱的演进方向。5. 评测体系是两套“朋友圈”别指望一把尺子量两头5.1 自动驾驶的测试体系已经卷成了一座金字塔自动驾驶行业经过十几年折腾已经形成了一个多层次测试体系软件在环SIL仿真测试、硬件在环HIL、封闭场地测试、公开道路路测层层递进。配套的数据集和Benchmark也非常成熟——nuScenes的检测/跟踪/预测挑战赛、Waymo Open Dataset Challenge还有Argoverse等大家的指标统一、评测脚本开源分数可以直接横向对比。仿真环境也一样成熟。CARLA支持完善的传感器模型和场景编辑SUMO可以叠加微观交通流欧卡2甚至成了低成本自动驾驶数据采集的“降维打击”方案。这些年我和团队做过一个长距离卡车自动驾驶仿真就是在欧卡2里跑了几千公里的地图场景验证巡航控制和换道逻辑成本几乎为零效果比自研引擎省了实在太多的时间。因为评测体系统一自动驾驶模型的改进可以被精确量化你的模型跑这个数据集mAP从60涨到62那就是涨了你的接管率从千公里2.1次降到1.4次那就是进步了。这种“可测量的进步”是整个行业快速推进的重要燃料。5.2 具身智能的评测还处于“春秋战国”时代再看具身智能评测体系就散装得多了。目前常见的Benchmark包括MetaWorld桌面操作套件、LIBERO长程任务套件、RoboSuite、Adroit灵巧手操作、ALOHA双臂操作以及RLbench等仿真基准。问题是每个基准的任务定义、场景布局、评估口径都不一样“在这个Benchmark上SOTA”和“在另一个Benchmark上被吊打”可能发生在同一个模型身上。Sim2Real更是具身智能的老大难。仿真环境里抓取成功率达到95%的模型搬到真机上一测可能连50%都不到。原因不外乎仿真里的物理引擎对摩擦力、接触形变、相机噪声的模拟不够真实物体材质和真实世界差距大。这个差距的存在又反过来拖累了“用一个标准客观评价模型好坏”的进程。再加上机器人本体形态不同、任务空间不同各家实验环境不互通很难形成一个像“MPI接管率”那样有共识的金标准。这也是具身智能研究让人头疼的地方——很多论文的结论你都无从验证起。5.3 评测差异意味着什么评测体系本质上是“领域共同语言”。自动驾驶的共同语言已经形成所以行业内的方案可以快速对齐一家公司的模型改进可以有效传递到其他团队。具身智能的语言还处于分裂状态这意味着即便你训练出一个效果不错的模型也很难证明它“比谁更好、好多少”——整个领域还处在一个先统一度量衡的阶段。对一个想用一套模型通吃两个领域的人来说评测体系的分裂意味着你要维护两套评估系统、两套数据基准、两套验收标准。这不是不能做但运营成本极高得想清楚值不值得。6. 我的判断与一条可行的落地路径6.1 端到端“通吃”不现实分层共享才是现实答案把前面所有差异凝结成一句话就是自动驾驶和具身智能共享的是“理解世界的能力”不共享的是“在各自世界里行动的目标、约束和方式”。所以我的判断是未来3~5年不会出现一个真正意义上的“自动驾驶具身智能”端到端统一模型但会出现越来越清晰的三层架构底层多模态基础模型视觉编码器 语言理解 常识推理两个领域共享中层世界模型/场景动态模型两个领域部分共享宏观物理规律但需要各自动态校准上层任务策略层驾驶策略 / 操作策略、运动学映射层、安全冗余层完全按领域特化。这套架构的好处是上层特化模块可以小步快跑地迭代下层共享底座可以用更海量的跨域数据联合预训练互相反哺。6.2 给想跨界的从业者的学习路线建议这几年陆续有不少做自动驾驶的朋友问我转具身智能该怎么起步我通常给的建议是三步走先把两个领域的“任务定义”差异想清楚。别急着换模型、刷数据集先问自己我从“预测轨迹”转到“生成动作序列”目标函数变了什么安全约束变了什么这比解释一个SOTA架构重要得多。吃透经典的数据集和benchmark。自动驾驶看nuScenes和Waymo Open Dataset的论文与baseline实现具身智能上手Open X-Embodiment和几个高引用的Benchmark。围绕xbotics这类开源社区观察一下大家怎么定义任务、怎么采集数据、怎么评测比你闷头看一百篇arXiv论文有效。从仿真环境跑通闭环。自动驾驶用CARLA或欧卡2这类环境把感知-规划-控制跑通具身智能用Isaac Sim/MuJoCo把视觉-操作闭环跑通。仿真先跑通的目的不是追求指标而是建立“这是什么形态的数据、模型要输出什么格式的指令”的熟悉感。6.3 值得关注的几个趋势信号最后说几个我今年特别留意的行业信号。第一越来越多的自动驾驶公司开始在国内或海外做机器人相关的布局不是单纯讲故事而是把智驾的感知算法、仿真平台、数据闭环体系直接平移到机器人研发线上第二一些具身智能创业公司也开始购置数据采集车或与出行平台合作采集真实世界操作数据这说明大家意识到“真实世界物理交互数据”的稀缺地位第三VLA、World Model这类跨域框架的论文数量在快速增长尽管很多工作还不够落地但它们正在把“统一底座”这件事从概念推向工程化。我个人的体会是从自动驾驶看到具身智能最大的障碍其实不是模型而是思维模式。自动驾驶教会我们的是“尽量预测未来、规避风险”具身智能却在反复敲打我们“未来是不可穷举的必须学会在实时交互中调整”。如果你能先完成这个思维转换再回头看那些架构差异、数据差异、评测差异你会发现一切都没有那么不可逾越。