论文解读与源码复现R2C把房间映射成棋盘让 LLM 成为低层动作规划器CVPR 2025论文首页题目与摘要截图一、前言LLM 做机器人大脑做高层规划没问题但让它直接控制身体生成精确的低层动作一直做不到——LLM 缺空间感知规划-执行的割裂导致频繁重规划。中科院计算所的这篇论文给出的通用语言极其聪明Room to ChessboardR2C——把环境状态映射到网格棋盘上格长机器人步长LLM 像下棋一样在棋盘上逐格走子直接输出机器人下一步位置式 2 的策略 π。配套CoT-D微调范式关键信息提取→方向判断→目标预测→选项分析四段链式决策强化 LLM 的空间推理。ALFRED 上 LLM 系方法 SOTAGPT-4 零样本 SR 24.0unseen、微调 Mistral-7B 22.35且在开放词汇任务与真实机器人上验证泛化。二、方法解析2.1 R2C 框架HLP LLP 统一图片源自论文 Figure 2R2C 总览。LLM 先做高层规划指令→子目标序列每个子目标由环境滤波器把 RGB-D 观测转成棋盘LLM 以 CoT-D 分析棋盘并预测下一位置位置转换为 (MoveForward 0.25m, TurnLeft 90°) 等可执行动作。HLP式 2 前置指令LLL→ 子目标序列G[G1,...,GK]G[G_1,...,G_K]G[G1​,...,GK​]每个Gk(Action,Object)G_k (\text{Action}, \text{Object})Gk​(Action,Object)环境滤波器 F(ot, Gk)RGB-D 实例分割 → 点云 → 体素化 → 沿 Z 轴展平成 (C2)×M×M 语义地图M320→M2C膨胀核防碰撞→ max-pooling 降采样到 W64ω0.25m步长→Goal-aware 聚合多物体重叠同一格时优先当前子目标相关且小的物体置顶层LLP棋盘文本化为物体占据坐标集如microwave: [[18,31],...]加上当前子目标、动作历史 Q长度 τ、游戏规则 R四方向移动 1 格/碰撞非法LLM 单步生成下一位置utu_tut​直接映射为可执行动作序列交互子目标在目标可见后由预定义低层动作完成。2.2 CoT-D 四段链式决策式 4直接让 LLM 输出坐标p(S∣P)p(\mathcal{S}|\mathcal{P})p(S∣P)太难LLM 空间推理弱CoT-D 把决策分解为关键信息提取从长棋盘文档中抽出当前坐标与目标位置集方向判断目标在 agent 的什么方位——修正 LLM 对棋盘坐标系的频繁误解目标预测利用物体共现先验“沙发可能在电视对面”预测目标大致区域减少无效探索选项分析对四个候选位置逐一给理由GPT-4 依据当前位置与正确方位关系生成标注再选出最佳。联合微调 HLP7 万样本与 CoT-D19.5 万样本全参数微调 Mistral-7B 与 Llama-7B 各 1 epoch4×H100。论文 Fig.1 R2C 框架LLM 与机器人交互高级任务规划与带坐标路径的详细指令论文 Fig.3 R2C(Mistral) 成功完成 31 步任务与失败案例的分割地图对比R2C-GPT-4 两例开放词汇导航去房间中心、走到离沙发最近的扶手椅三、数据集与实验设置ALFRED7 类长时任务、207 环境、115 物体类型SR 与 GC 指标GPT-4 零样本测 100 条任务子集棋盘设置房间 16m、格长 0.25m → 64×64 棋盘基线SpecialistsE.T.、FILM、LEBP、M-TRACK 等与 GeneralistsSayCan、LLM-P。四、关键实验结果1. 主结果Tab. 1论文 Tab.1 专家模型与 LLM 通用模型在 ALFRED 上 Val Seen/Unseen 的 SR/GC方法Val Seen SR/GCVal Unseen SR/GCΔSRFILMfrom scratch24.63 / 37.2020.10 / 32.45−4.53LEBP27.63 / 35.7622.36 / 29.58−5.27SayCanfew-shot12.30 / 24.529.88 / 22.54−2.42LLM-P (GPT)16.45 / 30.1115.36 / 29.88−1.09R2C-GPT-4零样本20.00 / 28.4624.00 / 28.244.00R2C-Mistral-7B22.31 / 32.4022.35 / 31.970.04R2C 是 LLM 系 SOTAseen→unseen 的退化最小GPT-4 反而 4——棋盘抽象带来强泛化微调 7B 模型接近 GPT-4CoT-D 的效率。2. 消融Tab. 3GT 分割 22.35→35.24分割是瓶颈GT 子目标 35.24→53.33指令歧义影响大去 CoT 41.96−13仅去选择分析 47.45−5.8——CoT-D 贡献显著。GT Seg/GT Goal 及 SA、CoT 组件消融表补充截图3. 开放词汇与真实世界Tab. 4/Fig. 560 个 GPT-4 生成的新任务上 GPT-4 版 R2C 达 68–70% SR传统封闭域方法无法处理真实环境三个自由指令任务全部成功。R2C-Mistral 加 GT 分割/GT 目标及去 SA、去 CoT 的 SR/GC 消融五、机制解释与讨论为什么棋盘是 LLM 与物理世界的正确接口关键在于粒度对齐格长 机器人步长LLM 预测的相邻格直接就是一步动作——不需要额外控制器解释语义目标。同时棋盘是有界的离散结构与 LLM 的 token 处理方式同构文本化的坐标集保住了语义物体类别与空间占据位置两类信息且不会 token 爆炸。具体发现 → 凝练结论具体发现一GPT-4 零样本在 unseen 上反超 seen —— 结论棋盘抽象 CoT-D 主要依赖可迁移的空间推理而非环境记忆具体发现二去 CoT 掉 13 个点 —— 结论直接输出坐标超出了当前 LLM 的空间推理能力链式决策是必要的脚手架具体发现三分割与子目标的上界分析GT 版 53.33 SR —— 结论LLM 规划器本身已接近可用瓶颈在感知与指令解析。六、局限与工程启示局限逐格移动策略在开阔空间效率低需要长序列决策棋盘 64×64 对复杂大房间可能不够精细交互子目标仍依赖预定义低层动作未完全解放。工程启示环境→离散游戏棋盘是 LLM 具身控制的最小可行接口任何网格化可行的机器人仓储 AGV、扫地机都可套用CoT-D 的四段子任务标注格式可直接复用到其他空间推理微调场景goal-aware 聚合按子目标相关性排序物体层级解决多物体重叠的地图抽象问题真实部署验证Fig. 5说明该框架不依赖仿真特有信息。七、源码复现官方仓库项目页 https://vipl-vsu.github.io/Room2Chessboard 提供代码与演示。本地目录复现代码/下无独立仓库目录。⚠️ 复现路径/未运行以下为基于论文方法描述整理的参考实现与预期复现路径非官方代码、非实际运行结果。参考实现依据论文式 (1)–(4) 描述整理# 参考实现R2C 环境滤波与 LLP 决策依据论文描述整理非官方代码importnumpyasnpdefm2c(semantic_map,goal_object,omega0.25,W64):论文式(1)M2C A ∘ K_dila ∘ K_pool。Msemantic_map.shape[-1]dilatedbinary_dilation(semantic_map,iterationsint(0.1/omega))# K_dilaW_gridM//int(0.25*M/W)pooledmax_pool2d(dilated,W_grid)# K_pool# goal-aware 聚合目标相关且小的物体置顶层layerssorted(pooled.items(),keylambdakv:(kv[0]!goal_object,object_size(kv[0])))boardnp.zeros((W,W),dtypeobject)forname,layerinreversed(layers):# 自底向上合并board[layer0]namereturnboarddefboard_to_coords(board):棋盘 → 物体占据坐标集LLM 输入文本。return{c:np.argwhere(boardc).tolist()forcinnp.unique(board)}defcotd_prompt(coords,subgoal,position,history,rules):returnfOn a 64x64 chessboard...{rules}### Explored objects:{coords}### Task:{subgoal}### Current Position:{position}Select your next position from{neighbors(position)}. Analyze step by step: 1) key information 2) direction 3) target prediction 4) selection analysis, then output the best position.defllp_step(llm,obs_rgbd,subgoal,state):boardm2c(semantic_map_update(obs_rgbd),subgoal.object)promptcotd_prompt(board_to_coords(board),subgoal,state.position,state.history,RULES)w_nextparse_coords(llm.generate(prompt))# 式(2): u_t π(P(...))returncoords_to_actions(state.position,w_next)# → (TurnLeft, MoveForward)预期复现路径环境ALFRED 官方仿真AI2-THORGrounded-SAM 实例分割 RGB-D 语义地图。数据从 ALFRED 训练集轨迹抽取 HLP 与 CoT-D 样本26.5 万条选择分析理由由 GPT-4 生成。训练全参数微调 Mistral-7B-Instruct / Llama-7B-Chat 各 1 epoch4×H100。评测ALFRED 验证集 SR/GC 对照 Tab. 1消融GT Seg./GT Goal/-CoT对照 Tab. 3开放词汇 mini 基准复现 Tab. 4。八、总结R2C 的核心贡献是一个接口设计把部分可观测的连续房间压成步长粒度的棋盘LLM 的下一格预测就直接是机器人的下一步动作——规划与执行的鸿沟被一个表示选择填平。CoT-D 四段链式决策进一步把 LLM 不擅长的空间推理变成可微调的显式任务。LLM 系 SOTAunseen SR 4 于 seen、开放词汇任务 70% SR 与真机验证共同说明与其训练端到端策略网络不如给 LLM 一个它玩得转的游戏。延伸阅读建议SayCan/LLM-PLLM 高层规划对照、FILM/LEBPspecialist 模块化基线、ALFRED 基准、语义地图与导航网格FILM 的语义搜索、SayCan 的 affordance 价值函数、ReAct 类推理范式CoT-D 的思想近亲。九、引用信息论文引用Ziyi Bai, Hanxuan Li, Bin Fu, Chuyan Xiong, Ruiping Wang, Xilin Chen. R2C: Mapping Room to Chessboard to Unlock LLM As Low-Level Action Planner. CVPR, 2025.论文 PDFhttps://openaccess.thecvf.com/content/CVPR2025/papers/Bai_R2C_Mapping_Room_to_Chessboard_to_Unlock_LLM_As_Low-Level_Action_CVPR_2025_paper.pdf项目页https://vipl-vsu.github.io/Room2Chessboard