1. 从表征预测到世界模型为什么JEPA值得单独开一条主线第一次看到JEPA这个词很多人会下意识把它归到“又一个自监督学习trick”的抽屉里。我一开始也是这么想的直到把I-JEPA和V-JEPA两篇工作连着读完才意识到它想解决的问题根本不在“预训练任务设计”这个层面而是在挑战过去十年视觉与多模态领域一个几乎被默认的前提预测像素等于理解世界。JEPA的全称是Joint Embedding Predictive System联合嵌入预测架构。它的核心主张非常克制不要预测原始信号去预测信号的抽象表征。这句话听起来像一句口号但落到工程上它直接改变了整个训练目标的构造方式。传统自监督方法无论是重建类的自编码器还是对比学习类的InfoNCE本质上都在像素空间或增强视图空间里做文章。JEPA把预测发生的位置搬到了表征空间让模型在一个已经被抽象过的空间里做预测。为什么这件事重要因为像素里充满了对语义理解毫无贡献的信息。一片树叶的具体纹理、光照的微小抖动、相机噪声这些细节在像素空间里权重极高但在语义空间里几乎可以忽略。让模型去预测这些等于逼着它把大量容量浪费在建模不可预测的细节上。JEPA的思路是先把这些细节通过编码器压掉再在压缩后的空间里做预测模型就能把容量集中在真正可预测、也真正有语义的部分。这条主线工作之所以值得单独开一篇来梳理是因为它牵涉的东西太多了。它不只是一个损失函数而是一整套关于“什么该预测、什么该忽略、表征空间怎么组织、坍塌怎么避免”的系统性设计。I-JEPA处理图像V-JEPA处理视频再往上还有更宏观的世界模型叙事。把这些串起来才能看清JEPA到底在赌什么。这篇文章适合两类人看。一类是想快速建立JEPA整体认知、但被各种缩写和论文细节绕晕的从业者另一类是准备在自己的项目里尝试JEPA式训练、需要一份可落地思路的人。我会尽量把原理讲透同时把工程上真正会踩的坑摊开说。2. JEPA的核心设计逻辑为什么在表征空间做预测2.1 像素预测的隐性代价要理解JEPA得先理解它反对什么。以掩码自编码器为代表的生成式自监督方法做法是遮住一部分输入让模型重建被遮住的部分。这个范式在NLP里大获成功搬到视觉里也work但它有一个被长期低估的问题重建目标本身包含了大量不可预测的随机细节。举个具体的例子。给模型一张图遮住其中一块让它重建。如果被遮住的是天空模型可以预测出大致是蓝色、有渐变但它没法预测出每一朵云的确切形状。如果被遮住的是草地模型能预测出绿色纹理但没法预测每一根草叶的朝向。这些细节在像素空间里是高频、随机的模型为了降低重建损失只能去拟合这些噪声或者学出一个模糊的平均解。结果就是重建损失降下去了但学到的表征未必好。模型可能把大量容量花在建模纹理统计上而不是物体级别的语义。这就是为什么很多重建类方法在下游判别任务上反而不如对比学习方法。2.2 表征空间预测的直觉JEPA的解法很直接既然像素细节不可预测也没必要预测那就不在像素空间预测。先用一个编码器把输入映射到表征空间在这个空间里做预测。表征空间是抽象的、低维的、去噪的预测任务在这里变得“可学习”。这个思路可以用一个生活类比来理解。假设你要预测明天天气。如果让你预测“明天下午三点某条街上每平方米的精确气温”这几乎不可能因为影响因素太多太随机。但如果让你预测“明天是冷还是热、下不下雨”这就可学了。JEPA做的事情就是把预测目标从“精确气温”换成“冷热阴晴”也就是从像素换成表征。关键在于这个表征空间不是随便定的它由编码器自己学出来。编码器在训练中逐渐学会把语义信息保留、把随机细节丢弃预测任务就在这个被净化过的空间里进行。两者互相促进编码器让预测变简单预测任务又反过来塑造编码器该保留什么。2.3 联合嵌入与坍塌问题JEPA的名字里有“Joint Embedding”指的是它同时对上下文和目标做嵌入。这里有个绕不开的坑如果没有任何约束模型可以把所有输入都映射到同一个向量预测损失瞬间归零但表征完全坍塌。这是所有联合嵌入方法的共同敌人。对比学习用负样本对来防止坍塌JEPA走的是另一条路。I-JEPA的做法是上下文编码器和目标编码器共享架构但参数更新方式不同目标编码器用上下文编码器的指数移动平均来更新同时配合stop-gradient。这套组合拳的作用是让目标表征缓慢变化给预测任务一个稳定的靶子避免模型通过“让目标和上下文一起坍塌”来作弊。V-JEPA在视频上延续了这套机制但因为视频多了时间维度坍塌的风险和表现形式又不一样。后面会细说。注意坍塌不是训练失败那种显性崩溃它往往表现为损失正常下降、但下游任务完全没提升。判断坍塌的一个实用信号是看表征的秩或者各维度方差如果所有样本的嵌入几乎重合基本就是坍塌了。3. I-JEPA图像上的第一块拼图3.1 整体架构拆解I-JEPA的架构可以拆成三块上下文编码器、目标编码器、预测器。输入一张图先切成若干patch。随机选一个大的上下文块作为输入给上下文编码器再选若干个小的目标块分别用目标编码器编码。预测器的任务是给定上下文编码器的输出预测每个目标块的表征。这里有几个设计细节值得抠。第一上下文块和目标块是不重叠的而且目标块通常选得比较小、比较分散。这样做是为了让预测任务有足够的难度如果目标块太大太集中预测器可以直接从上下文里“抄”到邻近信息任务就退化了。第二目标编码器不是独立训练的它通过EMA从上下文编码器更新这保证了目标和上下文在同一个表征空间里否则预测器要跨空间预测难度会失控。3.2 为什么目标块要选得“小且分散”这个设计选择背后有明确的动机。如果目标块很大它内部就包含了大量可以从上下文推断出的冗余信息预测器只需要学会“复制粘贴”邻近区域就能降低损失学不到真正的语义推理。目标块小且分散意味着预测器必须从上下文的全局信息里推断出远处某个局部应该是什么表征这逼着它建立长距离的语义关联。实测下来目标块的数量和大小对下游性能影响很大。块太少预测任务太简单块太多训练信号又太嘈杂。I-JEPA论文里给的配置是4个目标块每个块尺度相对较小这个配置在多个下游任务上比较稳。当然具体项目里还得根据自己的数据分布调。3.3 训练目标与损失函数损失函数本身很朴素就是预测表征和目标表征之间的L2距离在表征空间里算。没有负样本没有对比项没有重建项。整个训练目标就是让预测器输出的表征尽量接近目标编码器输出的表征。这种简洁性是JEPA的一个卖点。对比学习要精心构造正负样本、要维护队列、要调温度系数重建方法要设计掩码策略、要处理解码器。JEPA的目标函数干净得多超参数也少。但简洁不等于简单它的复杂度转移到了架构设计和坍塌防止上。3.4 实操中的关键参数如果你要复现I-JEPA有几个参数是绕不开的。上下文块的比例、目标块的数量和尺度、EMA的动量系数、预测器的深度。动量系数通常取0.99以上太小了目标表征变化太快预测器追不上太大了目标表征更新太慢学不动。预测器一般比编码器浅因为它只需要做表征到表征的映射不需要重新学一遍特征提取。实操心得EMA动量在训练初期可以设小一点让目标编码器快速跟上后期再调大稳定下来。固定一个值也能work但收敛速度会慢一些。4. V-JEPA把预测搬到时空维度4.1 视频带来的新挑战视频不是图像的简单堆叠。它多了时间维度也就多了两类新信息运动信息和时序因果关系。V-JEPA要处理的就是如何在时空表征空间里做预测。挑战主要有两个。第一视频的数据量和计算量比图像大一个量级训练成本高。第二时序上的坍塌风险更隐蔽。视频里相邻帧高度相关如果模型学会用前一帧的表征直接预测后一帧损失会降得很快但这等于什么都没学到只是记住了帧间冗余。4.2 时空块划分策略V-JEPA的做法是把视频切成时空tubelet每个tubelet覆盖若干帧的一个空间区域。上下文和目标都在这个时空网格上选。目标块在时间上可以跨越多个帧这样预测任务就同时涉及空间推断和时间推断。这个设计的关键在于目标块在时间上的跨度决定了任务难度。如果目标块只覆盖单帧那和图像上的I-JEPA差别不大如果跨越较长时间预测器就必须理解运动趋势和时序动态。V-JEPA的配置里目标块通常覆盖一段连续时间逼着模型学时序表征。4.3 特征预测与运动建模V-JEPA真正有意思的地方是它学到的表征里自发涌现出了运动信息。有分析显示V-JEPA的表征在区分动作类别、检测运动方向这类任务上表现很好尽管训练目标里没有任何显式的运动监督。这说明在时空表征空间做预测模型为了降低损失不得不把运动模式编码进去。这其实印证了JEPA的核心假设预测任务会塑造表征让表征包含预测所需的信息。你想让模型理解运动就让它在时空上做预测你想让模型理解物体就让它在物体级别做预测。预测目标定义了表征该学什么。4.4 训练成本与工程取舍V-JEPA的训练成本是实打实的高。视频序列长、tubelet多、编码器要处理时空输入显存和算力压力都大。工程上常见的取舍是降低帧采样率、缩小tubelet空间分辨率、用更小的骨干网络先跑通流程再放大。我的建议是如果资源有限先在图像上把I-JEPA跑通理解清楚坍塌防止和预测器设计的细节再迁移到视频。直接上V-JEPA很容易在调试阶段就被算力拖垮连问题出在哪都定位不了。5. 世界模型视角JEPA在赌什么5.1 从自监督到世界模型把JEPA放到更大的叙事里看它其实是“世界模型”这条路线的一个具体实现。世界模型的核心想法是智能体要在环境里做规划和决策就需要一个内部模型来预测“如果我这么做世界会变成什么样”。这个内部模型不该预测每个像素而该预测抽象的状态。JEPA提供的正是这样一个框架在表征空间里预测未来状态。I-JEPA预测图像中被遮住的部分可以理解为预测“当前场景的完整状态”V-JEPA预测视频中的时空块可以理解为预测“接下来会发生什么”。这个视角下JEPA不只是一个预训练方法而是构建世界模型的一块基础设施。5.2 预测什么就学到什么这条主线最值得记住的一句话是预测目标决定了表征内容。你让模型预测像素它就学纹理你让它预测表征它就学语义你让它在时空上预测它就学动态。JEPA的价值不在于某个具体损失函数而在于它把“预测什么”这个问题变成了一个可设计的接口。这意味着JEPA是一个可扩展的框架。图像、视频只是起点理论上音频、点云、多模态数据都可以套进来只要你能定义合适的表征空间和预测目标。这也是为什么它值得作为一条主线持续跟踪而不是当成一篇论文读完就放下。5.3 与主流路线的差异和对比学习比JEPA不需要负样本省去了大量工程复杂度。和重建方法比JEPA不在像素空间浪费容量。和早期的世界模型工作比JEPA更强调表征学习和预测任务的联合设计。但它也不是没有代价。JEPA的表征空间是隐式的不像重建方法那样有可视化的重建结果可以直观检查。调试JEPA时你很难一眼看出模型学到了什么只能靠下游任务和表征分析来间接判断。这对工程调试能力要求更高。6. 常见问题与排查技巧实录6.1 训练不收敛或损失震荡最常见的原因是EMA动量设得不合适或者预测器和编码器的学习率不匹配。预测器学习率太高会追着目标表征乱跑太低又学不动。建议先把预测器学习率设得比编码器略高一点观察损失曲线再微调动量。另一个原因是目标块选得太难比如块太小太分散预测器完全无从下手。这时候可以适当增大目标块尺度或者减少目标块数量让任务先变得可学。6.2 表征坍塌的识别与处理坍塌的典型表现是损失降得异常顺利但下游任务毫无提升。排查方法是看表征的统计特性各维度方差是否趋近于零、不同样本的嵌入余弦相似度是否接近1。如果确认坍塌优先检查stop-gradient有没有正确加在目标分支上这是最容易出错的地方。6.3 下游任务迁移效果差如果预训练损失正常但下游效果差问题可能出在表征的层次上。JEPA学到的表征可能偏全局、偏语义对需要精细定位的任务不一定友好。这时候可以考虑在预训练时调整目标块的尺度分布让表征同时包含全局和局部信息。6.4 常见问题速查表问题现象可能原因排查方向损失震荡不收敛动量或学习率不匹配调EMA动量、对齐学习率损失正常但下游差表征坍塌或层次单一查表征方差、调目标块尺度训练极慢视频tubelet过多降帧率、缩分辨率预测器学不动目标块过难增大目标块、减少数量显存溢出上下文块过大缩小上下文比例、梯度累积避坑技巧调试JEPA时先用极小数据集过拟合。如果模型连几十张图都过拟合不了说明架构或损失实现有问题别急着上大规模数据。7. 我在这条主线上的一些实际体会JEPA这条线最吸引我的地方是它把“表征学习”和“预测任务”的关系讲清楚了。过去很多工作把自监督当成一个黑盒调参靠玄学。JEPA给了一个相对清晰的框架你想让表征包含什么信息就设计对应的预测任务。这个思路在工程上很有指导意义。另一个体会是JEPA的简洁是表面的。它的损失函数确实简单但架构里的每个设计选择都有明确意图改动任何一个都可能引发连锁反应。复现时不要随意简化先把原配置跑通再逐步做消融。最后这条主线还在快速演进。I-JEPA和V-JEPA只是当前能看到的部分后面大概率会有更多模态和更宏观的世界模型工作接上来。把它当成一条持续跟踪的主线比当成一个已经完结的技术点更有价值。