本文所有关键数据均标注来源两篇论文 arXiv 原文 / 官方发布页文末附来源清单。1. 开头一个被反复验证的矛盾具身智能圈这两年最常被问到的一个问题是为什么大语言模型能靠「一个模型、全网数据、微调适配」通吃 NLP而机器人策略却始终卡在「换一台机器就要重训、换一个任务就要重采」的怪圈里这个问题的难点不是算法而是数据形态。语言模型的输出是一个个离散 token而机器人的输出是一串每秒 20~50 次的连续电机指令——前者天然适配自回归后者在高频、接触丰富的灵巧任务上会把离散化方案的精度与延迟逼到墙角。2024 年底到 2025 年初两个最受关注的通用 VLAVision-Language-Action基础模型几乎同时给出了各自的答案Physical Intelligence 的 π0arXiv 2410.24164和NVIDIA 的 GR00T N1arXiv 2503.14734。有意思的是两者都选择了 Flow Matching 作为动作生成头却把「视觉-语言语义」与「动作」之间的信息流设计成了两条截然不同的路线。本文就把这两条路线拆开讲清楚它们分别「为什么这样设计」以及各自适合什么场景——结论先说在前面没有绝对优劣只有适用边界的不同。举个具体的对照同样一个「把桌上碗盘收进桶里」的指令π0 倾向在单次前向里把视觉语义和 50 步动作一并算出来端到端延迟极低适合需要连续高频微调的折叠、装配GR00T N1 则让慢速的 System 2 先把场景和指令「想清楚」再由 120Hz 的 System 1 把计划翻译成动作适合需要较强语言跟随与多步规划的任务。起点不同但终点都是「听得懂话、做得了活」的通用操作策略。2. 两条路线共同要啃的硬骨头在对比之前先统一一个背景。主流 VLA 早先沿用了 RT-2 奠定的「动作即文本 token」范式把每个动作维度离散化分箱成 token再用自回归逐 token 解码。这条路线有两个结构性瓶颈π0 论文对此有专门论述arXiv 2410.24164 §I频率与延迟受限自回归串行解码输出未来一段动作块时 token 序列成倍变长难以达到灵巧任务所需的高控制频率精度受限连续动作硬分箱会损失精细操作所需的数值分辨率且天然不适配「一次预测一整段平滑轨迹」的动作分块action chunking思路。π0 与 GR00T N1 都不约而同地放弃了自回归离散化改用连续生成Flow Matching / Diffusion 类直接产出动作块。但在这之后二者如何组织「语义理解」与「动作生成」的关系走上了分叉口。机器人想复制 NLP「预训练微调」的范式要过三道坎arXiv 2410.24164 §I。第一数据无法爬取——语言语料能从互联网 scrape机器人演示却必须有人去遥操作采集第二本体形态各异——单臂 UR5e 是 7 维动作Franka 是 8 维双臂/移动操作可达 14~16 维一个共享动作向量必须靠零填充兼容第三输出是连续流——语言模型一秒吐一个离散 token机器人却要每秒 20~50 次输出连续电机指令。前两道坎决定了「数据怎么来、怎么对齐」第三道坎决定了「动作怎么生成」。π0 与 GR00T N1 的路线分叉本质上就是对这三道坎给出了两套不同的工程回答。3. 路线 Aπ0 的「共享自注意力」一体式架构图1 说明Physical Intelligence 开源的 openpi 仓库。与 GR00T 一样π0 也把代码与权重公开两条路线在「开放程度」这一维度上实际差别不大。图2 说明π0 论文在 arXiv 的页面。π0 侧的数据以此原文与 Physical Intelligence 官方博客为准。3.1 单一 Transformer两套权重π0 的骨架是一个 PaliGemma 3B VLMSigLIP 400M 视觉编码器 Gemma 2B 语言模型在其上外挂一个约 300M 参数的「动作专家」action expert从头初始化。关键在于二者并不独立成两个网络而是放在同一个 Transformer 里通过注意力掩码让 VLM 权重块与动作专家权重块共享自注意力arXiv 2410.24164 §IV、Appendix B。这类似于一种 MoE 式的双专家结构图像/语言走 PaliGemma 权重本体感知与带噪动作走动作专家权重三者在一个序列内通过 blockwise causal 注意力交互。图3 说明π0 把 VLM 主干与动作专家嵌入同一 Transformer靠共享自注意力完成信息融合动作专家用 Flow Matching 一次性吐出 50 步动作块。图4 说明π0 论文原图arXiv 2410.24164左侧是预训练数据来源π 自采数据集、互联网预训练、Open X-Embodiment中间是 pre-trained VLMSigLIP 400M Gemma 2.6B与 300M 动作专家右侧输出对接 7 种不同本体的动作头——「一套权重 多本体动作头」的跨本体思路在图上很直观。这种设计的好处是推理路径极短语义理解和动作生成在单次前向里就完成了融合昂贵的 VLM 前缀 KV 还能跨去噪步缓存arXiv 2410.24164 Appendix D。具体看注意力掩码π0 用的是 blockwise causal 结构把序列分成三个块[图像, 语言]、[本体状态]、[带噪动作]。块内双向注意力靠前的块不能 attend 靠后的块——这意味着图像与语言的 KV 在多个去噪步之间是稳定的可以只算一次就缓存复用进一步压低延迟。动作专家与 VLM 之间正是通过这种受控的自注意力完成信息流动而不是外部显式的特征拷贝。这也是它和 GR00T N1「cross-attention 从外部读取语义 token」在机制上的根本分野。3.2 Flow Matching 动作专家与 50Hz 控制动作专家用条件 Flow Matching扩散的一种连续变体直接从噪声迭代生成连续动作。论文报告推理时用 10 步前向欧拉积分在 RTX 4090 上车载实测单次动作块前向 73ms含 14ms 图像编码、32ms 观测前向、27ms 流步板外含网络 86ms来源arXiv 2410.24164 Appendix DTable I。模型一次输出 H50 步动作块对 50Hz 机器人每 0.5 秒推理一次、执行 25 步从而支撑最高50Hz的高频灵巧控制如叠衣服。需要解释一个常见疑问π0 用的是 Flow Matching 而非更常见的 DDPM 扩散差异到底在哪二者都从噪声迭代去噪但 Flow Matching 学习的是从噪声到数据的「向量场/速度场」推理时只需很少的积分步就能收敛——π0 用 10 步前向欧拉即可而 vanilla Diffusion Policy 常需 100 步以上去噪延迟高一到两个数量级。对 50Hz 这种高频场景去噪步数直接决定能否实时——这正是 π0 选 Flow Matching 的硬理由而非风格偏好。也正因为动作是连续生成而非离散 token它天然支持「一次预测一整段平滑轨迹」的动作分块这是离散化方案做不到的。3.3 数据策略用真机小时数堆出泛化π0 走的是「横向把真机数据做厚」的路线。预训练混合数据包含超过 10,000 小时跨本体遥操作数据覆盖7 种机器人构型、68 个任务外加 Open X-Embodiment22 台机器人、Bridge v2、DROID 等开源数据其中开源数据占混合比例的9.1%来源arXiv 2410.24164 §V。其哲学是泛化来自于大规模、跨本体的真实采集而非靠合成数据补齐。代价也很直白——上万小时真机遥操作的数据采集成本极高。论文还给出 π0-small470M、无 VLM 初始化的消融实验即便参数更小因继承了 VLM 的语义先验仍在不少任务上超过 OpenVLA7B与 Octo93M说明「用 VLM 当底座」不是锦上添花而是泛化的关键杠杆arXiv 2410.24164。这也反过来佐证π0 路线的护城河既是数据也是那一层预训练语义。4. 路线 BGR00T N1 的「cross-attention 解耦」双系统图5 说明GR00T N1 论文 arXiv 页面arXiv:2503.14734路线 B 的数据来源。4.1 快慢脑分工GR00T N1 借鉴了人类「系统 1/系统 2」的认知分工把策略显式拆成两个系统arXiv 2503.14734NVIDIA GTC 2025 发布稿System 2Eagle-2 VLM负责视觉-语言理解与推理规划低频「慢思考」运行频率10Hz约 1.34B 参数System 1DiT Flow Matching负责把 System 2 的语义计划翻译成连续动作高频「快执行」运行频率120Hz。图6 说明GR00T N1 把「想」与「做」分到两个系统System 1 通过 cross-attention 读取 System 2 的语义表征。4.2 Cross-attention 解耦连接与 π0 把两套权重塞进同一自注意力不同GR00T N1 的 System 1 与 System 2 是解耦的两个模块System 1 的扩散 Transformer 通过cross-attention去读取 System 2 输出的语义 token而非共享同一组自注意力arXiv 2503.14734 §3原文记为 cross-attending to the VLM output tokens。论文报告 System 1 单次 16 步动作块采样63.9msL40bf16K4 欧拉去噪整体模型 2.2B 参数。更工程化的一点是GR00T N1 用embodiment 专属的 MLP 编码器/解码器处理变长本体状态与动作维度按 embodiment ID 索引、零填充到统一长度这让同一套权重能直接覆盖从 Franka 单臂到傅利叶 GR-1 人形的不同构型而不必像 π0 那样为每种本体重新设计动作向量——这是「cross-embodiment 通用模型」口号能落地的关键机制来源arXiv 2503.14734HF 模型卡。换句话说cross-attention 解耦 专属 MLP 适配器让「换本体」变成改一个轻量头部而不是重训主干。这种解耦的架构价值在于可独立演进VLM 主干与动作头可以分别升级而不必重构整个网络。N1 之后英伟达陆续迭代了若干版本各版本替换的 VLM 型号请以官方仓库与模型卡为准本文不逐一列举。4.3 数据金字塔少真机、多合成GR00T N1 的数据策略与 π0 正好相反是一套「纵向」的数据金字塔arXiv 2503.14734基座层无动作标签的人类第一视角视频通过 VQ-VAE 潜在动作编码 逆动力学模型转成可训练的「伪本体」中间层用 DexMimicGen 仿真 神经轨迹生成把88 小时真机数据放大到827 小时顶层真机遥操作 Open X-Embodiment AgiBot-Alpha。论文一个关键结论是仅用 10% 真机数据做后训练模型仍能保持强性能arXiv 2503.14734。这把「真机采集贵」的痛点用「合成数据 潜在动作桥接」绕了过去代价是对合成数据质量高度敏感论文自述局限之一。金字塔底座的人类视频近乎免费、规模近乎无限这正是它敢把真机占比压到 10% 的底气但逆动力学模型把无标签视频翻译成「伪动作」时必有误差且会沿金字塔向上累积——所以论文把「合成数据质量」列为首要局限并非客套而是这条路线的真实天花板。5. 五维对比把差异摆到一张表里下面用一张表把两条路线的核心差异并列所有数据均附出处。对比维度π0路线 AGR00T N1路线 B数据出处模型架构单一 TransformerVLM 权重 动作专家权重共享自注意力MoE 式双系统cross-attention 解耦连接 System 2 与 System 1π0: arXiv 2410.24164 §IVGR00T: arXiv 2503.14734控制频率最高50Hz动作块 H5050Hz 机每 0.5s 推理一次System 1120HzSystem 2 10Hz动作块 16 步π0: arXiv 2410.24164 App. DGR00T: arXiv 2503.14734 §3动作生成条件 Flow Matching10 步欧拉单次 73msRTX 4090DiT Flow MatchingK4 欧拉单次 63.9msL40 bf16π0: arXiv 2410.24164 Table IGR00T: arXiv 2503.14734 §3参数量总计3.3BPaliGemma 3B 动作专家 300M总计2.2BVLM 约 1.34Bπ0: arXiv 2410.24164GR00T: HF 模型卡safetensors 元数据数据策略横向10,000h 真机7 构型/68 任务 开源数据9.1%纵向数据金字塔人类视频→仿真/神经轨迹 88h→827h→真机OXEAgiBotπ0: arXiv 2410.24164 §VGR00T: arXiv 2503.14734开源程度全开源openpi 仓Apache-2.0含训练/推理代码与开放权重π0/π0-FAST/π0.5权重开放HuggingFace nvidia/GR00T-N1-2B Isaac-GR00T 框架与后训练脚本原 N1 权重采用 NVIDIA 开放模型许可商用前须核对模型卡上的最新条款π0: openpi READMEGR00T: HuggingFace 模型卡图7 说明左为 π0 的「共享自注意力」一体式右为 GR00T N1 的「cross-attention 解耦」双系统——本质差异在于语义与动作之间的信息如何流动。图8 说明左为 π0 横向堆真机规模右为 GR00T N1 纵向数据金字塔两种策略对应不同的成本结构与泛化假设。关于上表数字的可比性要先说清楚一件事两篇论文的评测任务、机器人本体与计分规则都不相同π0 的 73 ms 是在 RTX 4090 上跑自家动作专家测得的GR00T N1 的 63.9 ms 是在 L40 上跑 16 步动作块测得的两者动作块长度50 步 vs 16 步也不一致。所以这张表适合用来理解各自的设计取舍不适合用来判定谁更快。真要选型应在自己的本体与任务上跑一遍同口径基准——这也是 §7 给出可复现路径的原因。把上表翻译成「选型决策」可以给开发者一个粗略的参照如果你的团队已经积累了相当规模的同构型真机数据且任务对控制频率如需要 50Hz 级精细接触要求高、希望推理延迟尽可能短π0 的一体式短路径更省心——它把语义与动作压进单次前向工程链最简洁。如果你的目标是快速把模型搬到一个新本体例如从双臂桌面换到人形且真机采集预算有限、愿意用仿真与视频数据补足GR00T N1 的「双系统 专属 MLP 适配器 数据金字塔」能显著降低跨本体适配与数据成本代价是你要接受对合成数据质量的依赖并留意原版权重的许可边界。两条路线也并非互斥。解耦架构的好处是模块可组合理论上可以把一家的跨本体底座与另一家的高频动作头拼起来用不过这只是架构层面的可能性本文没有可引用的公开落地案例真要这么做需自行验证接口与控制时序能否对齐。6. 局限与冷静分析双方都写客观起见两条路线都有论文自述或隐含的风险不能只讲亮点π0 侧论文自述其评测以内部任务与自定计分规则为主跨论文横向对比需谨慎评测结果属作者自报尚无大规模第三方独立复现数据高度依赖万小时级真机采集对资源有限的研究者/中小团队门槛高动作块以开环方式执行论文发现时序集成 temporal ensembling 反而损害性能故弃用对突发扰动的在线纠正能力有限。GR00T N1 侧论文自述局限包括短时程桌面操作与合成数据质量依赖arXiv 2503.14734原 N1 权重采用 NVIDIA 开放模型许可商用前须核对官方模型卡的最新许可条款或自担风险数据金字塔的「伪本体」依赖潜在动作编码与逆动力学模型的准确性合成数据一旦失真会系统性带偏策略。由此可见两条路线都不是「银弹」需要高频精细、且具备真机数据积累能力的团队π0 的一体式短路径更顺手需要快速跨本体适配、真机采集受限的团队GR00T N1 的金字塔 双系统更友好。再补一句工程视角的提醒π0 的强项短延迟、高频依赖你手里有接近它预训练分布的本体与数据若你的机器人形态偏离 7 类训练构型较远单靠微调未必能立刻复现论文里的灵巧度往往需要补采。GR00T N1 的强项跨本体、少真机则依赖你搭得起数据金字塔的合成链路——潜在动作编码器和逆动力学模型的训练本身也是一道工程门槛。选路线前先盘一眼自己手里「数据」和「本体」两张牌比单纯追 SOTA 数字更务实。7. 落回启元语境开源 VLA 启元 Q1/T1 的复现路径图9 说明启元机器人在 AtomGit 的组织主页。国内镜像仓对开发者的实际意义是下载速度与可达性这一点在拉取 URDF 这类含大量 STL 网格的仓库时尤其明显。作为启元机器人征文必须把技术路线接回开发者可落地的场景。两条开源 VLA 都提供了可复现的入口而启元 Q1/T1 的开源资料包正好能补上「本体与仿真」这一环7.1 用开源 VLA 作为起点π0 侧克隆Physical-Intelligence/openpiApache-2.0其提供 JAX / PyTorch 两套训练入口与预训练权重可在自有数据上微调GR00T N1 侧使用 NVIDIAIsaac-GR00T框架GitHub与 HuggingFacenvidia/GR00T-N1-2B权重后训练脚本兼容 LeRobot 数据格式。7.2 用启元 Q1/T1 本体与仿真做「目标平台」启元已开放 Q1/T1 的 ROS2 二次开发 SDKprimebot-q1-sdk/primebot-t1-sdkv1.0.0.0GitHub 与 AtomGit 双仓以及V3.0 URDF 包含自由度连杆模型、STL mesh、MuJoCo XML、RViz/Gazebo launch。开发者可把 VLA 输出的动作相对/绝对末端位姿或关节目标桥接到启元本体的关节空间在 Gazebo/MuJoCo 仿真中先验证策略再上真机。7.3 一条可执行的复现草图从 openpi 或 Isaac-GR00T 拉取基础权重用启元 URDF 在仿真中生成/采集目标构型的遥操作或专家轨迹可借 PrimeHub dev kit 的动作录制链路按 LeRobot / openpi 数据格式对齐状态-动作维度做后训练在仿真中零样本/少样本评测再上启元真机微调。7.4 动作空间对齐的两个具体坑。其一VLA 原生多在「相对末端位姿增量delta EEF」或「关节目标」空间输出而启元 Q1/T1 的 URDF 给出的是带连杆自由度的关节空间需要做末端到关节的逆运动学IK映射后续 GR00T 版本逐步统一到 relative EEF 表示以官方最新仓库为准这类相对位姿输出与跨本体迁移更友好可优先参考。其二控制频率要对齐——π0 的 50Hz 动作块需按启元控制器的伺服周期切分播放避免动作块在仿真与真机间因时间基准不一致而漂移。这两点建议在仿真阶段就用 MuJoCo/Gazebo 验证闭环再上真机。图10 说明启元开发者社区资料下载页dev.primebot.com/download。上面 7.1–7.3 节所需的 SDK、URDF 与工具链都从这里按机型分发——复现路径的第一步就是把这个资料包拉到本地。需要说明截至目前是否已有「启元 Q1/T1 开源 VLA」的官方端到端微调示例教程尚待确认本文给出的是一条工程可行路径而非已发布的成品方案。8. 总结π0 与 GR00T N1 代表了 VLA 基础模型在「语义-动作融合方式」上的两条清晰路线π0 用共享自注意力把一切压进单次前向换来短延迟与高频50HzGR00T N1 用cross-attention 解耦的双系统把「想」与「做」分开换来 120Hz 高频动作与模块可独立演进。数据上前者横向堆真机规模、后者纵向造数据金字塔。对开发者而言二者都已开放可用配合启元 Q1/T1 的开源 SDK 与 URDF完全存在一条「开源 VLA 国产本体仿真/真机」的复现路径。技术选型时不必站队看你的真机数据储备、控制频率需求与跨本体适配范围两条路线各有最优解。如果你也在启元机器人上做二次开发欢迎到启元机器人开发者社区 https://dev.primebot.com/ 交流那里有官方文档、SDK 仓库入口和开发者讨论区。文中若有不准确的地方也欢迎在仓库提 Issue 指出来。