论文: NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions会议: ICRA 2026 | arXiv:2510.08173 (v1 2025-10-09, v2 2026-03-10)作者: Haolin Yang, Yuxing Long, Zhuoyuan Yu, Zihan Yang, Minghan Wang, Jiapeng Xu, Yihan Wang, Ziyan Yu, Wenzhe Cai, Lei Kang, Hao Dong(北京大学董豪课题组与上纬启元团队合作完成)一句话结论NavSpace 把机器人听不听得懂方位词单独拎出来做成基准: 1228 条轨迹指令对, 六类能力. 测完的结论有点扫兴, 22 个模型里最好的 SNav 平均成功率 26.0%, 通用能力最强的 GPT-5 只有 14.2%, 还不如一个专门做导航的 7B 模型. 空间能力不是语言能力的副产品.一. 问题: 机器人听得懂厨房, 听不懂二楼视觉语言导航(VLN)做了好几年, 从 R2R 到 REVERIE, 指令越来越长, 场景越来越复杂, 任务也从走到某处扩到找到某个物体并描述它. 但这些基准测的东西有个共同偏向: 语义理解. 你能认出画面里的沙发, 能把绕过餐桌对应成一个转向动作, 基本就能拿分.去二楼最近的沙发旁这句话, 有几种信息是语义理解覆盖不到的.一种是垂直位置. 机器人在一楼还是二楼, 目标在哪一层, 这些都不在任何一帧图像里, 得靠机器人对自己在建筑中的垂直位置有判断.另一种是参照物和相对关系. 视野里三张沙发, 得比一遍距离选出最近的那张, 而不是随便走到一张旁边.还有一种是视角转换.想象你是面前那台电视, 往你的左前方走, 这句话要求机器人把自己代入另一个物体的朝向, 重新建坐标系.论文的原话是, 现有基准 mainly focus on semantic understanding but overlook systematically evaluating navigation agents spatial perception and reasoning capabilities.六类能力不是作者拍脑袋定的. 先发问卷, 回收 512 份, 剔除完成时间不足 3 分钟的答卷, 留 457 份; 给出 17 种候选指令类型, 每人最多选 6 种, 按得票取前六. 这个做法保证测的是人真的会说的话, 而不是研究者觉得有意思的话. 基准本身未必人人用得上, 这个定类目的方法倒是可以直接抄.二. 基准: 1228 条轨迹, 六类能力, 三档成功半径1228 条轨迹-指令对, 在 Habitat 3.0 里基于 HM3D 场景采集. 标注者要先熟悉场景, 至少走 200 步, 再录轨迹, 这样指令和场景才对得上.六类能力各自测什么, 成功怎么算, 下表按论文的定义整理:能力类别测什么成功半径垂直感知(Vertical Perception)判断自己在室内环境中的垂直位置, 指令可含显式楼层号, 相对表述(更高的一层)或需推断的省略表述(最顶层, 楼梯走到一半)3.0 m精确移动(Precise Movement)准确理解指令中的具体距离与角度, 并转成导航动作; 机器人需对空间尺度有感知1.0 m视角转换(Viewpoint Shifting)在主体与客体之间切换视角, 涉及空间想象与空间变换, 同时依赖长时记忆与历史感知推理2.0 m空间关系(Spatial Relationship)感知多个物体或房间之间的先后顺序与相对空间关系, 涉及计数, 排序与多物体推理(如两张棕色沙发之间)2.0 m环境状态(Environment State)准确感知导航过程中的环境状态, 并据此决定后续动作, 代表结构为如果…否则…2.0 m空间结构(Space Structure)理解空间布局并执行特定行为, 如绕行, 往返, 前往距离极端的位置(最近/最远的沙发)1.0 m有三处值得说明.成功半径分了三档, 不是随手定的. 精确移动和空间结构 1.0 m, 视角转换, 空间关系, 环境状态 2.0 m, 垂直感知 3.0 m. 测精确移动如果用 3 m, 模型走到附近就算过, 这一类就白测了; 反过来, 测楼层判断却要求米级精度, 同样不合理. 同一把尺子量所有任务, 是评测里最常见的一种错.动作空间是离散的, 四个原语: 前进 0.25 m, 左转 30 度, 右转 30 度, 停止. 没有后退, 要退就转 180 度再走. 这比连续动作空间更接近真机的执行约束.第三处得说清楚: 论文没公布各类别各自的样本条数. 正文只有总数 1228, 分布画在 Figure 4 里, 没有对应的数值表. 复现时这就成了麻烦, 某一类分数低, 到底是能力差还是样本少, 判断不了.三. SNav: 架构没换, 换的是数据SNav 值得看的地方不在结构.3.1 结构是常规的视觉编码器 v(·), 投影器 p(·), 语言模型 f(·). 实现上是 SigLIP 编码, 2 层 MLP 投影, Qwen2 出 token, 整体从 LLaVA-Video 7B 初始化.输入 RGB 帧和指令, 视觉特征映射到语言模型语义空间后与指令 token 一起自回归, 输出下一步动作 a_{t1}, 取值落在四个原语里.2025 年之后的 VLA 工作基本都是这个配方. 论文的贡献不在这里.3.2 训练分两阶段第一阶段是常规导航微调, 沿用 CorrectNav 的做法, 三个任务一起训: 动作预测, 基于轨迹的指令生成, 通用多模态数据召回. 得到 vanilla SNav.第二阶段才是重点. 四条自建管线造出需要空间推理的指令-轨迹对, 在 vanilla SNav 上继续微调.3.3 四条数据管线四条管线解决的是同一个问题: 某种空间能力找不到现成训练数据.(1) 跨楼层导航(Cross-floor Navigation)R2R 里有跨楼层的轨迹, 但没标注. 作者先按起点终点的高差筛出候选, 把智能体放到起点用最短路径走到终点, 沿途录 RGB. 然后用 GPT-5 判断至少 3 帧里有楼梯, 确认这条轨迹真的跨了层; 用 HOV-SG 做楼层分割, 给起终点打楼层标签, 结合 Habitat 的总楼层数生成垂直标注; 最后让 GPT-5 把 Walk up the stairs... 改写成 Walk up to the third floor... 这类带楼层号的表述.这里有个隐含依赖: 楼层判定靠 GPT-5 的视觉识别. 楼梯这种结构性物体, 它大概率不会错, 但这一步把数据集绑在了闭源模型上, 复现的人拿不到完全一样的版本.(2) 精确移动(Precise Movement)MP3D 里随机采起终点, 最短路规划, 筛长度合适的(比如 20 到 60 步), 在仿真器里真走一遍, 记下离散动作. 然后把同类动作合并, 得到前进 3 米, 右转 60 度, 再前进 2 米这样的结构描述, 交给 GPT-5 改写成自然语言.这条思路干净: 距离和角度本来就在仿真器动作序列里, 是精确值, 缺的只是翻译.(3) 环境状态推断(Environment State)从 R2R 取起终点和原指令, 最短路生成轨迹并存帧. 把首帧和末帧交给 GPT-5, 让它推三类信息: 可见物体, 不可见物体, 一段场景描述. 再用如果…否则…模板生成指令:原始指令; 如果[末帧中可见某物体]则停在[末帧的停止位置], 否则前往[由首帧推断出的场景描述]如果[首帧中检测到某虚构物体]则停在原地, 否则按原始指令执行, 停在[末帧的停止位置]第二个模板值得多说一句. 它故意构造一个前提不成立的分支, 看模型会不会在错的前提下继续往前走.(4) 空间关系(Spatial Relationship)最简单的一条. 正则从 R2R 指令里筛含序数的, 比如 first room,second door,third room; 以及含多物体关系词的, 比如 between,along,across. 不造新轨迹, 只做筛选.3.4 一个概括四条管线的手法其实是同一个: 不生成新数据, 用大模型给已有轨迹重新标注. 跨楼层是补上楼层信息再改指令, 精确移动是把动作序列翻成人话, 环境状态是把首末帧差异变成条件分支, 空间关系是从已有指令里筛出带空间结构的样本.对工程来说, 这个思路比模型结构有用. 某类能力缺训练数据, 不一定要采新数据, 先问一句现有数据里是不是已经隐含了这条信息, 只是没被标出来.四. 结果: 26% 是什么水平4.1 总排名22 个导航智能体, 分四类: 开源多模态大模型, 闭源多模态大模型, 轻量导航模型, 导航大模型. 我把 Table I 逐格转录后重算了跨六类的平均成功率.图 1: 22 个基线模型与 SNav 的平均成功率排名. 灰色为随机基线, 蓝色为开源多模态大模型, 紫色为闭源多模态大模型, 青色为轻量导航模型, 橙色为导航大模型, 深红为 SNav. 数据来自论文 Table I, 本图由脚本重绘.前五名: SNav 0.260, NaVid 0.200, StreamVLN 0.192, GPT-5 0.142, Gemini 2.5 Pro 0.112.SNav 比最强基线 NaVid 高 6.0 个百分点, 相对提升 30.0%, 平均导航误差从 4.85 降到 4.47. 对着随机策略(0.042), SNav 是它的 6.19 倍; 对着动作频率策略(0.083), 是 3.14 倍.4.2 三个反直觉的地方把数字按类拆开, 有三件事比总排名更值得说.发现一: 通用大模型的能力换不成空间导航能力.GPT-5 平均 0.142, 低于 NaVid 的 0.200, 也低于 StreamVLN 的 0.192. 参数量, 训练数据, 推理能力都远超前两者的模型, 在按空间指令走路上反而不如专门训练的.限定条件得说清楚: GPT-5 是零样本评测, 没做过任何导航微调; NaVid 和 StreamVLN 都是导航专用模型. 所以这个对比测的是通用视觉语言能力零样本能覆盖多少空间导航, 不是GPT-5 不如 7B 导航模型. 带上限定, 结论仍然站得住: 空间导航是需要专门训练的任务, 语义强不构成充分条件.发现二: 规模不是解药.同一家族内部比, 结果并不一致:GPT 系: GPT-4o 0.076 → GPT-5 Mini 0.109 → GPT-5 0.142, 随代际上升Qwen2.5-VL 系: 7B 为 0.075, 72B 为 0.070, 参数量十倍, 分数反而略低规模在这个任务上不稳定, 甚至可能是负收益. 一种解释是, 更大的通用模型语义先验更强, 碰到二楼绕一圈这种要空间计算的指令, 更容易拿语义模式去猜. 这一点论文没展开分析, 是我从表格数字推的, 要更多实验才能确认.发现三: 空间结构类, SNav 几乎没优势.六类上 SNav 都拿到了最高成功率, 但增量差别很大:能力类别该类最强基线基线 SRSNav SR增量环境状态NaVid0.3300.4150.085空间关系StreamVLN0.2450.3250.080垂直感知Gemini 2.5 Pro0.2360.2880.052精确移动StreamVLN0.0800.1240.044视角转换NaVid0.2270.2370.010空间结构Sim2Sim0.1650.1700.005空间结构类只比一个轻量模型 Sim2Sim 高 0.005, 等于持平. 视角转换也只高 0.010.这两类恰好最吃长时空间记忆和布局理解, 也最难靠改写指令这种数据手段补上. 四条管线能补的是标注缺失, 补不了模型本身缺空间推理机制.图 2: 全部 23 个模型在六类能力上的成功率分布. 颜色越深表示成功率越高. 数据来自论文 Table I, 本图由脚本重绘.4.3 消融: 哪条管线最有用四条管线逐个去掉, 都掉点. 我按平均值排序重算了一遍降幅:图 3: 去掉单条数据管线后的平均成功率下降. 柱内数字为相对完整 SNav 的绝对降幅. 数据来自论文 Table I 消融部分, 本图由脚本重绘.去掉空间关系管线: 0.260 → 0.184, 降 29.2%去掉环境状态管线: 0.260 → 0.193, 降 25.8%去掉精确移动管线: 0.260 → 0.210, 降 19.1%去掉跨楼层管线: 0.260 → 0.224, 降 13.9%空间关系和环境状态降幅最大, 跟 4.2 里这两类增量最大对得上. 跨楼层降幅最小, 但这个数要小心看: 跨楼层只影响垂直感知一类, 平均分是六类平均, 单类的影响被摊薄了.4.4 真机实验五类指令, 不含垂直感知, 每类 10 次:图 4: 真机实验中三个模型的分类成功率. 每类 10 次试验, 原始数据为 x/10. 数据来自论文 Table II, 本图由脚本重绘.平均成功率: SNav 32%, NaVid 14%, NaVILA 6%. 五类里四类 SNav 领先, 环境状态类跟 NaVid 打平, 都是 1/10. 仿真里 SNav 是 0.415, NaVid 是 0.330, 真机上却拉平了, 这一类从仿真到真机的损失最明显.平台是四足机器人. 每类 10 次的样本太小, 一次成功与否就是 10 个百分点, 这组数更适合看趋势, 不适合做精细比较.五. 复现: 在一台 2 核服务器上把数字重算一遍先划边界: 我没有复现 SNav 的训练, 那要 7B 微调加 Habitat 环境. 我做的是把论文 Table I 的数值结构化, 用脚本重算所有派生指标, 看文中每个结论能不能从原表推出来.5.1 环境项目版本操作系统Ubuntu 22.04 LTSPython3.10.12pandas2.3.3matplotlib3.10.9硬件2 vCPU, 1.9 GiB 内存, 无 GPU全程 CPU, 不需要 GPU, 也不需要机器人. 选这种方式做配套代码, 就是想让读者随便找台机器都能跑通, 而不是看一段执行不了的伪代码.5.2 命令python3 -m venv pgc-venv ./pgc-venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas matplotlib ./pgc-venv/bin/python src/analyze.py ./pgc-venv/bin/python src/plot_figures.py5.3 实际输出(节选)analyze.py运行后的真实输出:[3] SNav 与最强非本文基线的差距 最强基线 : NaVid平均SR0.200, 平均NE4.85 SNav : 平均SR0.260, 平均NE4.47 SR 绝对提升 : 0.0606.0 个百分点 SR 相对提升 : 30.0% [7] 模型规模与空间能力的关系同一厂商/家族内 -- GPT-4o 家族 -- GPT-4o 平均SR0.076 平均NE5.76 GPT-5 Mini 平均SR0.109 平均NE5.66 GPT-5 平均SR0.142 平均NE5.03 -- Qwen2.5-VL 7B 家族 -- Qwen2.5-VL 7B 平均SR0.075 平均NE5.66 Qwen2.5-VL 72B 平均SR0.070 平均NE5.884.2 里规模不是解药那个判断, 就是这几行直接给出的. 我没有先有观点再找数据, 是先跑出这五行, 才发现 Qwen 家族的反向趋势.5.4 另一个小工具: 空间指令的结构化解析为了看清空间指令到底由哪些成分构成, 另写了一个规则解析脚本, 把六条中文空间指令拆成结构化要素. 它不是 SNav 的实现, 只是个分析工具, 目的是让空间智能这件事可以被逐项检查.跑出来的结果: 六条指令里只有 2 条能被完全结构化, 33%. 一句包含多个动作的有 2 条, 一句包含多个参照物的有 2 条, 含回指表达(刚才经过的)的有 1 条.这个结果本身有信息量. 显式要素(楼层, 参照物, 方位词)加上单一动作, 规则能覆盖; 一旦出现一句多动作, 多参照物, 或者刚才经过的这种需要上下文记忆的表达, 规则解析立刻失效. 而这恰好落在 NavSpace 里环境状态和空间结构两类的失分区间, 也就是 4.2 里增量最小的那两类.六. 对启元开发实践的启发以下是读完论文, 对照启元 Q1/T1 公开技术资料得到的判断. 我没有在启元真机上做过验证, 这些是设计层面的推论, 不是实测结论.6.1 接入大模型不等于具备空间能力启元的模型侧分三块: PrimeMotion 负责柔顺安全的运控小脑, PrimeGo 负责多模态感知跟随, PrimeVista 负责多模态交互. 如果上层的技能编排靠通用多模态模型解析用户指令, NavSpace 提示了一个风险: 语义理解强, 不代表能正确解析去二楼最近的那个绕到桌子后面这类指令.对应做法是在 Skill 层和模型层之间加一层显式的空间要素解析, 把指令拆成楼层, 参照物, 空间关系, 动作四类, 缺哪项就显式暴露出来(5.4 那个小工具就是这类解析的原型). 这样即使解析不完整, 系统至少知道缺的是哪一项, 而不是把一条半懂不懂的指令直接下发到运控层.6.2 垂直感知对应 T1 的双形态能力NavSpace 六类里, 垂直感知是分数最低的区间之一, 22 个基线里绝大多数在 0.02 到 0.24 之间. 而启元 T1 的差异化能力恰好是双形态切换: 四足模式可爬 30 度斜坡, 跨越 15 厘米障碍, 室内轮式噪音低于 43 分贝.也就是说上楼这件事, T1 在运动能力上做得到, 卡在认知侧: 它需要知道自己现在在哪一层, 目标在哪一层. 运动能力已经打开的场景, 认知没跟上, 这个能力就等于没有被用起来.Skill 设计上, 楼层信息应该作为显式参数贯穿任务链路, 而不是等模型从画面里猜.6.3 验收标准应当分级NavSpace 给六类能力配了三档成功半径, 1.0 / 2.0 / 3.0 m. 这对 Skill 验收有直接参考价值: 所有技能都用是否到达目标点一个标准验收, 精度差异就被掩盖了. 一个总是停在目标 2.5 m 外的技能, 和一个停在 0.3 m 内的技能, 在单一阈值下可能都算成功.做法是按任务性质定容差. 抓取, 对接, 交互这类用严格容差, 比如 0.3 到 1.0 m; 只需要到那个房间的用宽松容差, 比如 2 到 3 m. 这既是验收标准, 也是向用户交代能力边界的方式.6.4 已有轨迹可以低成本转化成评测集四条管线里最值得借鉴的不是某一条具体做法, 而是那个共同思路: 不新采数据, 用大模型给已有轨迹重新标注.启元 PrimeConsole 能记录真机日志与视频流, 社区也在持续产出 Skill 的运行记录. 这些轨迹里其实已经隐含了大量信息, 机器人走过哪里, 用时多久, 经过哪些物体, 在哪个位置停下. 按同样的思路做二次标注: 抽出楼层变化经过的参照物序列最终停止位置与目标的距离, 就能低成本造出一批带空间标注的评测样本.门槛比想象中低. 不用重新采集, 只需要把已有日志结构化.6.5 7B 级模型是端侧的现实边界SNav 从 LLaVA-Video 7B 初始化, 在基准上超过了需要 API 调用的百亿级通用模型, 尽管后者的对比前提是零样本. 对一个要把模型放到机器人本体上的产品, 这个结果的意义是: 7B 量级是这个任务当前可行的规模区间.对照启元的产品线, T1 Pro 搭载英伟达 OrinNano 算力芯片. 这个算力预算下, 跑 7B 级多模态模型是现实路径, 跑更大的不现实. 反过来也就约束了算法选型: 优先小模型加专用数据的路线, 而不是大模型加通用能力.七. 参考资料Yang H., Long Y., Yu Z., et al. NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions. ICRA 2026. arXiv:2510.08173v2.论文 Table I(22 个基线模型 × 六类能力 × NE/OS/SR)与 Table II(真机实验), 本文数据均转录自该两表, 转录文件见仓库 data/ 目录.北京大学前沿计算研究中心, 董豪课题组 ICRA 2026 入选论文解读: NavSpace, 为机器人装上空间大脑, 从此不再迷路.启元机器人开发者社区: https://dev.primebot.com/. 产品参数(Q1 22 自由度, T1 双形态与 30 度斜坡, OrinNano 等)引自新华网上海频道 2026-09-24 报道及 Pandaily 相关报道.代码与数据: AtomGit 仓库 navspace-paper-reading(含数据转录, 复算脚本, 绘图脚本, 解析工具), 地址 https://atomgit.com/2301_76341691/navspace-paper-reading.启元机器人开发者社区https://dev.primebot.com/