论文Co-Evolving Robot Orchestrators and Policies through DeploymentStanford NVIDIAarXiv 2610.09228一、动机VLA 泛化不足在大数据上训练的 VLA 策略如 π0.5一旦离开训练分布在真实部署中就容易失败。Agentic 编排框架有天花板近期工作用 VLM 编排器写代码在 VLA 调用和脚本化运动原语之间切换并靠反思记忆不断改进。但这类框架都假设策略是冻结的。VLA 对语言指令的可引导性有限编排器只能绕开策略的失败没法真正修好它。于是策略成了整个系统的瓶颈。部署期微调策略有三个难点数据稀缺部署期没有单独的探索阶段训练数据只能来自完成任务的尝试。很多尝试会失败如果只保留成功的 episode就会丢掉失败 episode 里本来正确的步骤比如先抓对了、后来掉了。微调不保证变好新 checkpoint 可能更差而验证它本身也要消耗部署机会。编排器记忆过时记忆是围绕旧策略形成的比如VLA 抓取总失败改用脚本抓。策略更新后这条建议会阻止系统发现新策略已经能抓了。核心问题是部署期间编排器和策略如何协同进化二、主要创新创新点说明编排器与策略协同进化把部署期学习定义为同时改进 agentic harness记忆和它调用的 VLA 权重形成内外两个闭环图 1Agentic 数据策展把部署执行自动切分成技能级示范不需要人工标注。失败 episode 里成功的技能片段也会保留脚本原语产生的动作也转成 VLA 的训练数据按需训练由 LLM 控制器决定何时训练TRAIN / WAIT不按固定周期训练策略验证 记忆修订新策略先做技能级验证通过后才采用之后修订那些依赖旧策略的记忆条目三、方法要点如图 2所示Robo-COP的部署-到-学习环1. 自适应编排§3.1基于 CaP-X 代码智能体新增execute_vla工具。编排器Gemini 3.8 Flash写程序混合调用脚本原语SAM3 分割、GraspNet、cuRobo 规划和 VLA。VLM 监控执行过程可以中断调用。VLA 和脚本动作分别记功所以后续步骤失败不会抹掉前面成功技能的功劳。每个 episode 结束后做反思写入任务记忆 Mwhat works / “known failure modes” 等上限 8000 字符。动作统一不管动作来自 IK、运动规划器还是 VLA都按 VLA 的训练格式记录成一条连续的动作流。这样一段脚本接近 VLA 闭合夹爪的执行可以整体标注为grasp the red block。2. 经验策展与策略改进§3.2两阶段评判文本评判根据代码、控制台输出和结果切分技能并给出标签。连续的脚本原语会被合并成有物理意义的技能。视频评判抽 6 帧检查给出 SUCCESS / USEFUL_PARTIAL / NO_PROGRESS / FAILED / UNCLEAR。只有两者都通过的片段才进入数据集 D。片段末尾补 15 帧静止帧让策略学会停下来。训练控制器有代码层面的守卫条件比如至少 30 个 episode 含有保留片段、距上次训练新增至少 10 个、每个任务最多训练 3 次。条件满足后LLM 根据记忆、失败案例和数据统计输出 TRAIN/WAIT并指定最多 4 个目标技能 E。微调每次都从预训练 checkpoint出发在全部策展数据上训练。语言骨干用 LoRArank 16action expert 用 LoRArank 32vision encoder 等部分全量微调目标函数是 flow-matching。3. 策略验证与集成§3.3候选策略 π′ 在 W≤25个 trial 内接受评估当前策略 π 作为后备。由于有后备兜底任务成功率不能单独反映候选的能力所以验证做到技能级。采用条件式 1任务成功率 succ(W) ≥ b − 0.1已采纳的旧技能完成率 r_c(s) ≥ r_inc(s) − 0.1用来防止遗忘目标技能由 LLM 评审逐次调用检查确认CONFIRM / VETO。结果分三种ADOPT、REVERT以及调用次数不足时的 STARVED。另有提前终止机制。记忆修订采用或回退之后把不要用 VLA之类的建议标记为 UNVERIFIED只标记不删除并把对候选的引用改写成当前在役策略。4. 主要结果仿真10 个 RoboLab 任务held-out 均值方面Robo-COP 73.8%冻结策略基线 64.8%固定周期训练 65.8%ASPIRE 54.0%纯 π0.5 28.0%。部署期成功率 73.2%高于两个基线的 68.7% 和 70.3%说明边部署边学习没有牺牲部署表现。控制器在三个已经很成功的任务上选择不训练。其余 7 个任务都请求了训练12 个候选中拒绝了 5 个。微调带来的提升主要来自抓取技能。真实 DROID3 个任务held-out 均值从 38.3% 提升到 50.0%。但提升全部来自 Lidded pot 一个任务35% → 70%。另一个任务的候选被回退第三个任务没有训练。四、存在的问题作者自述的局限只能学已经部分会的技能训练数据全部来自自身执行策略和脚本工具都做不出来的技能学不到。真实部署成本高需要人工复位每次更新还要额外承担策展、训练和评估的开销。纯原语型任务不如 ASPIRE例如 Fill the empty bin、Sort blocks。原因是 Robo-COP 的编排器只通过记忆适应不做程序结构搜索。规模尚未验证。只更新了系统的一部分脚本技能、评判器和编排器自身的推理能力都是固定的。看到的问题统计可靠性偏弱仿真中每个方法每个任务只跑一次部署附录图 8。置信区间只覆盖 held-out trial 的随机性没有覆盖 agent 决策和训练的随机性多 seed。真实实验每个任务只有 20 次测试。提升集中在一个任务上相当于 7 次成功之差证据有限。2. 验证机制本身不够严阈值 δ0.1 加上很小的评估窗口最少 5 次调用统计功效低。真实回退可能漏检好的候选也可能被误拒。有反例Bananas out of bin 的候选被采纳但 held-out 只有 72%低于冻结基线的 90%表 6。说明验证可能放过了退化的候选。在VLA 单独即可这一类任务上Robo-COP 只有 80.0%低于冻结和固定基线的 89.3%。3. 高度依赖 LLM/VLM 评判切分、标注、训练决策和采纳评审都依赖 Gemini。正文没有给出评判准确率的定量分析标注噪声和误判对结果的影响不明确。4. 脚本动作当示范可能有分布不一致IK 和运动规划器生成的轨迹风格与 VLA 自身的动作分布不同直接混入训练可能引入偏差。论文没有讨论这一点。5. 手调的超参数和规则很多附录表 3 列了十余项常数泛化到新场景时调参成本未知。6. 训练成本随数据量增长每次都从基座开始、在全部数据上重训训练期间部署还要暂停。从论文表述看每个任务各自维护一个 checkpoint跨任务共享是未来工作。7. 基线对比公平性ASPIRE 原本没有在 RoboLab 上评测是作者自己移植的而且它不能调用 VLA。这在两者都不够一类任务上天然处于劣势。Robo-COP 把部署即数据采集做成了一个有守门机制的闭环。技能级策展保留失败 episode 中的成功片段和先验证再采纳、采纳后修订记忆是最有价值的设计。但目前实验规模小、重复次数少验证机制也有漏判的迹象结论的稳健性还需要更大规模、多 seed 的实验来确认。