端到端自动驾驶这几年被炒得火热但真正做过实车项目的人心里都清楚它离“上车就能开”还有不少硬骨头。其中一个最让我头疼的问题就是模型预测轨迹时到底该信视觉特征还是该信矢量地图不同传感器信息冲突时怎么裁决以及怎么把视频这种时序信息真正用起来而不是简单把几帧图像叠在一起。最近在折腾一个叫 Drive-JEPA 的方案核心思路是把视频 JEPA 的自监督预测机制搬到多模态轨迹蒸馏里解决端到端驾驶中时序理解与多源信息融合的问题。这篇就展开聊聊它的思路、实现细节和我在实操中踩过的坑。这个方向特别适合两类人看一类是做端到端控制策略的算法工程师另一类是准备把 V-JEPA 这类自监督模型引入自动驾驶感知-预测一体化方案的研究者。如果你是刚入门也不用担心我会从设计动机讲到训练细节尽量把每个“为什么”都说清楚。1. 先看清楚Drive-JEPA 到底想解决什么问题1.1 端到端驾驶的困局传统的模块化自动驾驶把感知、预测、规划拆成三个独立环节好处是每部分都可解释、可调试坏处是误差在模块间会累积。端到端方案把所有环节揉进一个网络直接从传感器数据输出控制量或轨迹想法很美好实际做起来有几个绕不开的痛点我一个个说。第一视觉信息存在“瞬时帧停滞”。很多端到端模型输入是当前帧图像或者过去几帧图像的拼接但这只是弱时序模型很难理解“那个行人两秒前开始横穿马路速度是匀速还是加速”这类动态语义。第二多传感器信息融合很粗糙。摄像头、毫米波雷达、激光雷达三者各自有优势和缺陷简单特征拼接没有真正做对齐结果就是光线变化时视觉权重被拉低雷达稀疏点时模型反而更糊涂。第三驾驶轨迹的评价标准不统一。用像素级重构损失约束轨迹不现实用舵盘角误差又容易让模型学会“平均化驾驶”真正遇到紧急工况时反应平淡。Drive-JEPA 的设计动机就是冲着这三点来的。它把视频 JEPA 的“预测抽象表征而不是预测像素”思想拿来做驾驶场景的可学习先验再把这种先验通过轨迹蒸馏的方式迁移到下游控制模块。换句话说先用海量未标注视频让模型学会“世界怎么演化”然后把这套演化理解作为辅助信号监督轨迹头学出更平稳、更符合物理常识的驾驶行为。1.2 为什么是“视频 JEPA”而不是 BEV 或占用网络做自动驾驶的朋友肯定会问BEV鸟瞰视角和占用网络Occupancy Network不是已经很成熟了吗为什么还要引入视频 JEPA我的理解是BEV 和占用网络本质上解决的是“空间”问题——把多相机信息投射到统一坐标系把道路和障碍物表达成鸟瞰图或体素栅格。但端到端驾驶除了要知道“哪里有障碍物”还要知道“障碍物接下来会怎么动”。空间感知再准如果模型对时序演化没有建模能力预测出来的轨迹还是会在动态场景里显得“迟钝”。视频 JEPA 干的恰恰是时序上的事。它不预测具体的像素或点云而是预测一个抽象表征空间里的未来状态。类比一下就是上课时你不需要记住老师的每一个字但你需要记住老师的逻辑框架下次遇到同类题目才能推理。像素级预测对应“背逐字稿”抽象表征预测对应“掌握解题框架”。Drive-JEPA 把这个能力迁移到驾驶轨迹生成中就是让轨迹生成器不仅看到“现在”还能理解“接下来一段时间的演化趋势”。2. 核心机制拆解视频 JEPA 与轨迹蒸馏怎么协作2.1 视频 JEPA 在做什么JEPA 家族的核心思想一直是“联合嵌入预测架构”。通俗讲模型拿到一组输入把它编码到一个抽象空间然后在这个空间里做预测。它和对比学习的区别在于对比学习靠拉近正样本、推开负样本学表征JEPA 靠预测目标表征来学表征不强行把所有信息都塞进表征里只是把任务相关的关键信息保留下来。在视频场景里V-JEPA 做的事情比单帧 JEPA 更进一步给定一段视频的可见部分比如前 4 帧模型要预测后续几帧的抽象表征。这个“后续”不是未来画面的像素值而是如果用编码器去看未来画面会得到什么样的表征。这样模型被迫理解视频中的变化模式、运动趋势、遮挡关系等高级语义信号。放到驾驶场景就是对同一段行驶视频模型不用生成未来每一帧的道路画面只需要在表征空间里“脑补”出前方车辆、行人、车道线在未来一段时间的演化方向。这个预训练出来的时序感知能力是 Drive-JEPA 最有价值的部分。2.2 多模态轨迹蒸馏的输入输出设计与纯视觉 JEPA 不同Drive-JEPA 必须处理实际驾驶中的多模态输入。我在一个模拟项目里把输入设计成四路前视/环视相机图像、毫米波雷达目标列表、激光雷达降采样点云、高精地图矢量信息。前两路是连续性传感器后两路偏结构化。这里有一个关键设计思路在预训练阶段各模态是独立或者弱交互编码的用视频 JEPA 的目标驱动每个模态去学习时序演化在轨迹蒸馏阶段才把多模态表征融合起来生成最终轨迹。分阶段的原因很实际——多模态数据本身就有缺帧、标定误差、时间戳不同步等问题如果从一开始就强行融合模型很容易学到模态间的虚假相关。轨迹蒸馏的“蒸馏”对象我理解得比较宽泛。一方面可以让一个教师模型比如用了未来帧或真值轨迹的慢模型输出软目标让学生模型去拟合另一方面也可以把多模态融合表征作为额外监督信号引导轨迹头在各种天气、光照下都保持一致输出。实操中我们两者都用了效果比只用一个好不少。2.3 三个关键设计点第一个是遮挡掩码。视频 JEPA 的一个特色是随机遮挡部分时空区域让模型去预测表征。在驾驶场景里这种遮挡不能随便做。我曾经试过随机遮挡图像块结果模型学会了“反正被遮住的地方不重要”的偷懒策略。后来改成按照物体实例生成掩码也就是挡住某个障碍物对应的图像区域让模型预测被挡住的车辆和行人下一步状态效果才正常。第二个是目标中心表征。直接在全图编码器上面做预测计算量太大而且背景信息占了主导。我们的做法是先检测出候选目标比如交通参与者、车道线入口等然后在每个目标周围提取局部特征用这些局部特征作为 JEPA 的预测目标。这相当于让模型把注意力放在“会动的、可交互的物体”上。第三个是轨迹蒸馏头。蒸馏头不是简单输出一个轨迹点列表而是输出一组带有置信度的轨迹候选。我们会拿未来真值轨迹去计算匹配代价选出与真值最接近的候选轨迹作为主轨迹其余作为负样本让模型学会不自信。这个设计直接影响实车效果——实际上路的轨迹不能只有一个必须有多种应对可能否则遇到突发情况就是死路一条。3. 数据与模型构建想让这套架构落地得这样准备3.1 模态对齐与数据采集多模态系统的地基是数据对齐。我在实际项目中吃了不少时间戳不同步的亏尤其是毫米波雷达和相机的时间戳差了几十毫秒模型就能学到“目标位置被系统性偏移”的错误规律。后来我们做了三件事一是统一所有传感器的主时钟用 PTP 协议同步二是对相机和雷达做联合标定把时间对齐误差控制在 10ms 以内三是在数据预处理阶段用雷达的多帧追踪结果去平滑视觉目标的瞬时抖动。数据规模方面视频 JEPA 预训练需要大量无标注数据但纯道路视频并不够。我们额外采集了包括城区、快速路、地下车库、夜间雨天等多种场景的片段总计约 3000 小时驾驶视频。这个规模说实话不算大JEPA 类模型能学到的基础时序先验有限但配合后面的轨迹蒸馏已经能看出明显的效果。如果你没有实车条件用某些开源的驾驶视频数据集做替代也是可行的只是要花更多心思处理场景分布偏差。3.2 模型网络骨架怎么选主干网络的选择直接影响预训练效率和下游微调难度。图像编码器我们对比过基于卷积的残差网络和带注意力机制的视觉 Transformer。如果追求预训练效率卷积网络收敛更快、占用显存更小如果追求长时序建模能力稀疏视觉 Transformer 更强尤其在有遮挡掩码的情况下。在模拟项目 X 上我们最终选了轻量级视觉 Transformer 作为图像主干雷达点云用 PointNet 提取局部几何特征高精地图用图神经网络编码成车道段向量。各模态编码器输出长度统一映射到 256 维表征空间然后在融合模块里用交叉注意力机制计算模态间关系。这里有一个容易被忽略的细节各模态编码器的更新频率不能一样。相机特征是每帧更新雷达特征可能只需 20Hz 更新地图向量几乎不变。如果所有编码器都每帧参与梯度回传训练非常不稳定。我们会给不同模态设置不同的梯度停止策略低频模态隔几帧才允许梯度通过权重更新。这算是一个工程上的实用技巧。3.3 轨迹头与安全约束怎么接轨迹蒸馏的最终输出要接车辆控制所以轨迹头的输出格式需要精心设计。我们输出的不是全局坐标系下的绝对位置而是以自车为中心在未来 1、2、3、4、5 秒分别给出横向偏移、纵向速度、横摆角变化率。选择这个输出空间的好处是与控制接口直接对齐且方便做动力学约束检查。安全约束不是模型输出部分而是后处理检查器。每次轨迹预测完成后我们会检查最大横向加速度是否超过阈值、是否与最近目标的预测轨迹冲突、是否越过可行驶区域边界。检查不通过就降级到次优候选轨迹。很多端到端系统只强调“模型能开”忽视了安全兜底这是我认为 Drive-JEPA 这类方案真正进入量产前必须解决的问题。4. 训练策略与调参实录4.1 三阶段训练整个训练流程我把它分成三个阶段是踩过坑后总结出来的最优解。第一阶段用无标注驾驶视频预训练视频 JEPA 主干学习时序演化表征。第二阶段用带有限标注的数据做多模态对齐让不同传感器特征在表征空间里找到公共语义。第三阶段固定大部分主干用真实驾驶轨迹做端到端微调轨迹蒸馏 loss 起主导作用。为什么不能上来就端到端因为轨迹真值数量很有限直接端到端很容易过拟合而且多模态融合参数没有预热梯度更新极不稳定。我见过有人直接在一阶段就加轨迹头结果前 500 步 loss 直接 NaN排查半天发现是注意力权重的尺度爆炸。分阶段训练虽然多花时间但收敛过程稳定得多。一个值得注意的细节第二阶段的多模态对齐不要用全部数据。我们随机选了 30% 的多模态片段参与对齐另外 70% 只参与单模态预训练。原因很简单完全对齐会导致模态表征趋同损失各自模态特有的信息。让一部分表征保持“模态私有”在后期融合时反而更灵活。4.2 蒸馏比例的坑轨迹蒸馏的损失一般包含两部分一部分是自监督蒸馏损失让模型的当前表征去预测未来表征一部分是监督轨迹损失让输出轨迹贴近真值。两者的比例是整个训练里最敏感的开关。我做过一组对照实验蒸馏系数从 0.1 一路加到 2.0。系数为 0.1 时模型基本靠轨迹监督学习表现中规中矩系数加到 0.5 时模型对动态目标的预测能力明显提升尤其表现在前方车辆切入场景下的刹车时机上系数超过 1.5 之后模型开始变得“犹豫”——轨迹头太在意表征预测的一致性遇到真实危险的切入工况反而不敢加速或变道像是在等表征空间里的“未来”先发生再反应。最后我们把蒸馏系数固定在 0.3 到 0.5 之间并且加了一个衰减策略训练到中期蒸馏损失每 2000 步乘以 0.98让监督轨迹损失逐渐占主导。这样做的好处是前期拿到自监督先验的稳定引导后期让模型专注精确拟合驾驶真值。4.3 超参清单与资源预估预训练阶段图像分辨率不需要太高448×448 足够了重点是裁剪范围要大模拟不同相机视角。时间序列长度建议 16 帧也就是约 2 秒的历史信息太短学不到演化趋势太长显存撑不住。批量大小我们设成 64分布到 8 张显卡上每卡 8 个样本。优化器用 AdamW学习率 3e-4预训练阶段跑 60 个 epoch大约需要 5 天时间。端到端微调阶段图像分辨率提升到 640×640时间序列缩短到 8 帧此时重点已经不在时序理解而在空间精度。批量大小降到 16学习率降到 1e-4训练 30 个 epoch。整套流程在模拟项目 X 上跑下来显存峰值接近 40GB需要至少 4 张 80GB 显卡。如果你配置更低只能减小序列长度或图像分辨率但效果会有折扣。5. 常见问题与排障日志5.1 蒸馏 loss 收敛了但在线驾驶效果差这是最让人摸不着头脑的问题。预训练蒸馏 loss 很平滑地下降一看生成的未来表征也确实合理但轨迹头接上去之后车辆在仿真环境里频繁压线、刹车过猛。排查了很久发现问题出在预训练阶段和微调阶段的数据分布不一致。预训练用的视频有大量直线巡航画面模型对匀速直线运动的“未来预测”非常有把握但对变道切入、路口转弯的预测很弱。轨迹头学会了一个偷懒策略既然大多数场景都是匀速直线那就干脆输出一条保持当前车道的轨迹这样蒸馏一致性和监督 loss 都很低。解决方法是重新采样预训练数据刻意提高复杂城市场景的比例让模型不能靠“平均值”过关。5.2 多模态在雨天/逆光下“打架”摄像头在强逆光下画面过曝雷达在雨天有多径反射假目标两个模态给出的目标位置差异增大融合层不知道信谁轨迹就开始抖动。我们曾尝试在融合层增加置信度加权但置信度网络本身也会被训练数据里的“模态冲突”带偏。后来采用了更笨但有效的方案在训练时对每个模态做随机 drop有 20% 的概率把某一路模态特征清零。这样融合层必须学会在缺一个模态的情况下依然工作。实际效果好很多模型从“被迫协调”变成了“默认具备鲁棒性”。5.3 时序长度与显存、延迟的权衡有朋友问能不能把输入序列拉长到 32 帧让模型看到 4 秒的历史信息。理论上是好事但显存和推理延迟会爆炸。我们的实测数据显示32 帧输入比 16 帧输入的推理延迟高 1.8 倍而轨迹预测精度提升不到 3%。如果确实需要更长历史信息我的建议是引入一个轻量级的记忆模块类似循环网络的 hidden state或者一个可学习的记忆 token。这样在输入帧数不增加的前提下模型还能拿到较长时间跨度的上下文。我在模拟项目 X 里试过这个做法延迟只增加了 8%弯道预判能力有明显提升。6. 一点个人心得Drive-JEPA 这个方向还没有完全成熟我写这篇文章时也依然在迭代。整体上我觉得视频 JEPA 给端到端驾驶带来的最大启发不是某个具体模块的性能提升而是它提供了一个看待“时序理解”的新角度未来不需要被精确重构未来只需要在语义层面对齐。这和人开车时的注意力分配很像——你不需要记住前车的车牌号但你需要感觉到它在减速。如果你要复现这条路我的建议是不要一上来就追求大模型、大数据。先在两个小场景里跑通一个是同向跟车一个是路口左转。把多模态对齐、轨迹蒸馏、安全约束这三个环节在小场景里验证扎实再扩展到更多场景。自动驾驶的东西迭代慢一点没关系但每一步都要能解释清楚为什么有效为什么无效。