具身智能这两年从论文里的热词慢慢变成了实验室里真能跑起来的东西。我所在的团队最近刚把 π0.5 这套 VLAVision-Language-Action模型落到一台六轴机械臂上任务很朴素——让机械臂自己把试管从架子上拿起来、放到指定位置。听起来简单但从零到「机械臂会放试管」这一步中间踩的坑足够写一本小册子。这篇是系列的第一节主要聊清楚三件事π0.5 到底是个什么东西、真机部署前需要把哪些基础打牢、以及第一阶段的硬件与软件环境该怎么搭。如果你手上正好有一台遨博或者类似的六轴机械臂想跑通一个 VLA 真机 demo那这篇内容基本可以照着抄作业。如果你还在观望具身智能的学习路线也可以把它当成一份从仿真到真机的落地参考。1. 先搞清楚 π0.5 在整条链路里扮演什么角色1.1 VLA 不是「一个大模型」而是感知到动作的翻译层很多人第一次接触 VLA会下意识把它理解成「一个能控制机械臂的大模型」。这个理解不算错但太粗。VLA 的全称是 Vision-Language-Action它的核心工作是把视觉观测和语言指令映射成机器人可以执行的动作序列。换句话说它不负责机械臂的底层电机控制也不负责逆运动学解算它负责的是「看到什么、听到什么、接下来该往哪动」这个决策层。π0.5 是这一系列模型里的一个版本相比早期版本它在泛化性和指令跟随上做了不少改进。你可以把它想象成一个「翻译官」左边是摄像头画面和一句「把试管放到左边第二个孔位」右边是机械臂末端执行器在笛卡尔空间里的一串位姿增量。中间这个翻译过程就是 VLA 要学的东西。理解这一点非常关键因为它直接决定了你后面部署时的分工。底层运动控制交给 MoveIt2 或者厂商自带的 SDK视觉感知交给相机和标定流程π0.5 只负责在中间做决策。如果你指望 π0.5 直接输出关节角度那部署会非常痛苦因为不同机械臂的关节空间完全不一样模型根本没法泛化。1.2 为什么选 π0.5 而不是自己从零训一个自己训一个 VLA 不是不行但成本高得离谱。你需要海量的遥操作数据、多机型的采集平台、以及相当规模的算力。对于大多数实验室和中小团队来说直接用一个已经预训练好的 π0.5 权重然后在自己的任务上做微调或者直接 zero-shot 推理是性价比最高的路径。π0.5 的优势在于它对语言指令的理解比较到位而且对未见过的物体有一定泛化能力。我们实测下来在试管这种形状规整、颜色单一的物体上zero-shot 的成功率已经能到可用的程度。当然如果你要它去抓透明试管或者反光金属件那还是得补数据微调这是后话。1.3 「会放试管」这个任务为什么适合作为第一个真机目标选试管作为第一个任务是有讲究的。第一试管是刚性物体形状规则抓取点相对固定不像布料或者软体那样难建模。第二试管架提供了天然的约束放置位置有明确的孔位成功与否容易判定。第三这个任务同时包含了抓取和放置两个阶段能比较完整地验证整条链路。相比之下如果你一上来就挑战「叠衣服」或者「倒水」那大概率会在标定和抓取阶段就卡死根本走不到验证 VLA 的那一步。所以我的建议是第一个真机任务一定要选简单、可重复、成功标准明确的目标试管就是很好的选择。2. 真机部署前必须打牢的三块地基2.1 机械臂选型与运动学基础我们用的是遨博系列的六轴机械臂这类机械臂在实验室里比较常见价格相对可控ROS 驱动也成熟。选它不是因为性能多强而是因为生态好遇到问题能搜到资料。如果你手上是其他品牌的六轴臂只要它有 ROS 驱动或者开放的 SDK思路是一样的。六轴机械臂的运动学基础必须过一遍哪怕你不自己写逆解。你需要理解几个概念关节空间和笛卡尔空间的区别、末端执行器的位姿表示位置加姿态、以及奇异点是什么。这些概念在你调试 MoveIt2 的时候会反复出现。比如机械臂在某些姿态下会进入奇异点导致逆解失败或者关节速度突变这时候你需要调整目标位姿或者换一条规划路径。我见过不少同学直接跳过这部分结果在调试时看到机械臂突然抖动或者规划失败完全不知道从哪查起。花半天时间把运动学基础过一遍后面能省好几天。2.2 手眼标定真机部署里最容易翻车的一环手眼标定是连接相机坐标系和机械臂坐标系的桥梁。如果标定不准VLA 输出的动作再对机械臂也会抓偏。这一步是真机部署里最容易翻车的地方没有之一。标定的基本思路是让机械臂带着标定板移动到多个不同位姿相机拍摄标定板通过多组对应点解算出相机到机械臂基座或者末端的变换矩阵。听起来简单但实际操作中有几个坑标定板的精度和固定方式很关键标定板如果松动标定结果直接废掉。采集位姿要尽量分散不要都集中在一个小区域否则解算出来的矩阵在边缘区域误差会很大。标定完成后一定要做验证让机械臂去碰一个已知点看实际位置和理论位置的偏差。我们第一次标定时因为标定板没固定牢标定出来的误差有将近两厘米机械臂抓试管直接抓空。后来重新固定标定板误差降到三毫米以内任务才跑通。这个教训很深刻标定这一步千万别图快。2.3 仿真环境先在 Gazebo 里把逻辑跑通真机很贵调试也慢所以强烈建议先在仿真里把逻辑跑通。Gazebo 配合 MoveIt2 和 RViz可以比较完整地模拟机械臂的运动规划和执行。你可以先在仿真里验证抓取位姿、放置位姿、以及整条动作序列是否合理然后再上真机。仿真和真机的差异主要在于物理接触和传感器噪声。仿真里抓取往往过于理想真机上会因为摩擦、间隙、形变导致抓取失败。所以仿真跑通不代表真机一定行但仿真跑不通真机肯定不行。把仿真当成第一道筛子能过滤掉大部分逻辑错误。3. 软件环境搭建从 ROS 到 π0.5 推理服务3.1 ROS 与 MoveIt2 的版本选择ROS 的版本选择是个老生常谈的问题。目前主流是 ROS2MoveIt2 在 ROS2 上的支持也越来越完善。我们用的是 ROS2 Humble 配合 MoveIt2这个组合比较稳定社区资料也多。如果你还在用 ROS1建议尽早迁移因为 π0.5 相关的工具链大多是基于 ROS2 的。安装 MoveIt2 的时候注意把机械臂的 URDF 或者 xacro 文件配置好。URDF 里要包含正确的关节限位、连杆质量、惯性矩阵等信息否则运动规划会出问题。遨博官方一般会提供 URDF但有时候参数不全需要自己补。补参数的时候可以参考厂商的规格书质量参数差一点影响不大但关节限位一定要准否则规划出来的轨迹可能超出机械臂的实际范围。3.2 相机驱动与图像话题相机我们用的是 RealSense 系列ROS2 驱动比较成熟。安装好驱动后确认图像话题能正常发布用 RViz 看一下画面是否正常。这里有个小细节相机的曝光和白平衡最好手动固定不要用自动模式。因为自动模式在不同光照下会变化导致 VLA 模型看到的画面和训练时的分布不一致影响推理效果。图像话题的帧率也要注意太高会增加推理负担太低会导致动作不连贯。我们一般设在 15 到 30 帧之间具体看模型推理速度。如果推理一次要 200 毫秒那帧率设 30 也没意义因为处理不过来。3.3 π0.5 推理服务的部署方式π0.5 的推理服务可以本地部署也可以放在有 GPU 的服务器上通过 ROS2 的话题或者服务接口和机械臂通信。我们选择的是本地部署因为实验室的网络环境不太稳定远程调用延迟高。部署推理服务时注意把模型输入输出的接口定义清楚。输入一般是图像加语言指令输出是动作序列或者动作增量。接口定义清楚后后面换模型或者调参都会方便很多。另外推理服务的日志一定要打全包括输入图像的时间戳、推理耗时、输出动作等方便后面排查问题。4. 第一阶段实操让机械臂在仿真里完成抓取放置4.1 搭建仿真场景与试管模型在 Gazebo 里搭建场景需要导入机械臂模型、试管架模型和试管模型。试管模型可以用简单的圆柱体代替重点是碰撞属性要设置对。如果碰撞体设置得比视觉模型大抓取时会提前碰撞设置得太小又会穿模。试管架的位置要和真机上的位置一致这样仿真里验证过的位姿才能直接迁移到真机。我们一般会测量真机上试管架相对于机械臂基座的位姿然后在仿真里按同样的位姿摆放。4.2 用 MoveIt2 规划抓取与放置轨迹抓取轨迹的规划分两步先移动到预抓取位姿再直线移动到抓取位姿。预抓取位姿一般在抓取位姿上方几厘米处这样可以避免机械臂在接近过程中碰到试管架。放置轨迹类似先移动到预放置位姿再直线下降到放置位姿。MoveIt2 的规划器选择上OMPL 的 RRTConnect 比较常用速度快成功率也高。如果遇到规划失败可以尝试调整规划时间或者换用其他规划器。另外记得设置好碰撞检测把试管架和机械臂都加入碰撞场景避免规划出碰撞轨迹。4.3 仿真中验证 VLA 输出的动作序列仿真里跑 VLA 的时候可以把模型输出的动作序列直接映射到机械臂的末端位姿上然后让 MoveIt2 去执行。这里要注意动作序列的坐标系模型输出的动作一般是在相机坐标系或者末端坐标系下需要转换到机械臂基座坐标系才能给 MoveIt2 用。验证的时候先不管成功率先看动作序列是否合理。比如机械臂是否朝着试管移动是否在正确的位置闭合夹爪。如果动作方向都不对那说明坐标系转换有问题需要检查标定和坐标变换链。5. 真机迁移时最容易忽略的几个细节5.1 仿真和真机的坐标系差异仿真里机械臂基座一般固定在原点真机上基座的位置和朝向可能和仿真不一致。迁移时一定要重新测量基座相对于世界坐标系的位姿并更新到 TF 树里。这个位姿如果错了后面所有动作都会偏。我们第一次迁移时就是因为基座位姿没更新机械臂整体偏了十几厘米差点撞到试管架。后来重新测量并更新 TF问题才解决。5.2 夹爪的行程和力度控制仿真里的夹爪往往是理想化的开合行程和力度都可以随便设。真机上夹爪的行程有限力度也需要根据物体调整。试管是易碎品夹爪力度太大会夹碎太小会滑落。我们一般会先用低力度试抓然后逐步增加找到刚好能抓稳又不损坏试管的力度。另外夹爪的闭合速度也要控制太快会产生冲击可能导致试管移位。这些参数在仿真里很难体现必须在真机上慢慢调。5.3 通信延迟与动作平滑真机上的通信延迟比仿真大尤其是推理服务和机械臂控制之间。如果延迟太大机械臂的动作会一顿一顿的。解决办法一是优化推理速度二是对动作序列做平滑处理比如插值或者滤波。我们实测下来把推理放在本地 GPU 上延迟能控制在 100 毫秒以内动作基本流畅。如果延迟超过 300 毫秒动作就会明显卡顿这时候需要考虑降低图像分辨率或者换更轻量的模型。6. 这一节踩过的坑和给你的建议第一个坑是标定板固定不牢前面已经说过这里再强调一遍标定是真机部署的地基地基不稳后面全白搭。第二个坑是 URDF 参数不全导致 MoveIt2 规划出来的轨迹和实际不符后来补全了关节限位和惯性参数才正常。第三个坑是相机自动曝光导致模型在不同光照下表现差异很大固定曝光后稳定了很多。给你的建议是不要急着上真机先在仿真里把逻辑跑通把坐标系、动作序列、碰撞检测都验证一遍。真机调试时先用手动模式让机械臂走一遍关键位姿确认没有碰撞风险再切换到自动模式。另外日志一定要打全出问题的时候能快速定位。这个系列后面还会继续讲微调数据采集、模型部署优化、以及多任务扩展。如果你正在做类似的项目欢迎一起交流踩坑经验。