做机械臂视觉抓取、视觉定位这类项目手眼标定是第一道绕不过去的坎。我这次用的是UR5机械臂配Intel RealSense D435i在ROS Noetic环境下完成了一遍完整的手眼标定选择的是eye-to-hand方案也就是相机固定在外部机械臂在相机视野范围内工作。整个过程从驱动安装、标定板识别、数据采集到误差分析前后折腾了两天踩了不少坑。这篇东西把我实际能跑通的流程、每一步为什么这么做、遇到问题怎么排查都写出来给后面要做URRealsense手眼标定的朋友一份能直接照做的参考。1. 手眼标定到底在解什么问题先想清楚再动手很多人一上来就装驱动跑程序结果标定完数据乱七八糟根本原因是对手眼标定的数学本质没搞明白。手眼标定要解决的核心问题就一句话让机械臂和相机这两套坐标系之间建立起一个精确的变换关系。机械臂的定位精度取决于关节编码器相机的感知精度取决于图像的像素比例和畸变模型两者各有各的坐标定义合在一起用之前必须找到从像素到机械臂基座坐标的完整转换链。1.1 眼在手上与眼在手外的区别手眼标定分为两种模式眼在手上eye-in-hand和眼在手外eye-to-hand。眼在手上是相机固定在机械臂末端法兰上随机械臂一起运动标定的目标是求解相机与机械臂末端的变换关系。眼在手外是相机固定在外部的支架或桌面上机械臂在相机下方或前方作业标定的目标是求解相机与机械臂基座的变换关系。用生活化的例子解释眼在手上相当于人的眼睛长在手背上你看东西的角度永远随着手在动要计算的是眼睛相对手掌的位置眼在手外相当于人站在旁边盯着你操作要计算的是站在哪个位置能看到你的整个工作区域。两种模式没有绝对的好坏取决于你的实际应用场景如果视觉要给机械臂提供由远及近的引导比如先识别目标再接近抓取眼在手上更合适如果视觉要覆盖一个固定区域机械臂在区域内移动取料眼在手外更合适一次标定不需要跟着机械臂动眼在手外的标定结果相对更好验证因为相机位置固定误差来源更清晰我这次做的工作站是相机固定悬挂在机械臂工作区域上方所以直接用眼在手外方案。两种模式在后续的标定公式里唯一的区别是求解的目标矩阵不同easy_handeye里通过一个布尔参数切换。1.2 为什么推荐 easy_handeye 这套工具链ROS生态里做手眼标定的工具不少但目前最省事的是easy_handeye尤其是搭配Aruco标定板这种方案。它的优点在于第一已经封装好了完整的求解流程。它内部调用visp的手眼标定求解器支持Tsai-Lenz、Daniilidis等多种求解算法你只需要把机械臂末端姿态和相机检测到的标定板外参喂进去它自动算出手眼矩阵。第二和ROS TF体系无缝集成。它在采集数据时直接读取TF树上的机械臂位姿相机外参直接订阅Aruco检测节点发布的结果不需要自己手工把数据导来导去。第三提供了图形界面。通过rqt插件每一步都有按钮和提示数据采集、计算、保存都能在界面上操作对调试非常友好。有些朋友会想自己写求解代码比如用OpenCV的calibrateHandEye函数我也试过。问题是OpenCV的输入要求你自己把机械臂姿态转成旋转矩阵把相机外参转成齐次矩阵还得自己管理数据采集的顺序稍不注意坐标系的约定就对不上。easy_handeye把这层封装掉了直接能看结果能保存省下来的时间足够做完整个项目。2. 环境准备ROS、UR驱动和Realsense驱动一次配齐手眼标定的环境准备包括两大部分UR机械臂的ROS驱动和Realsense相机的ROS驱动。很多人卡在环境配置上不是因为难而是版本对不上。2.1 Ubuntu和ROS版本怎么选我使用的是Ubuntu 20.04 ROS Noetic这是目前UR支持最成熟的组合之一。如果你用Ubuntu 22.04对应的是ROS 2 Humble虽然UR官方也提供了ROS 2驱动但easy_handeye的ROS 2版本用户群相对小遇到问题能搜到的资料少很多。所以我的建议是做URRealsense的手眼标定优先用Ubuntu 20.04 ROS Noetic材料最全踩坑率最低。ROS安装方面新手推荐直接用鱼香ROS一键安装这个工具把ROS本体、依赖、环境变量配置全部处理好了。命令很简单wget http://fishros.com/install -O fishros . fishros运行后会弹出菜单选择你对应的Ubuntu版本和ROS版本它会自动配好源和依赖。鱼香ROS对国内用户最大的好处是解决了官方源下载慢的问题实测装完整个Noetic底座大概十几分钟比自己配源手动编译快了不止一倍。当然如果你是在商用内网环境也可以手动用官方源步骤就是那老三套配源、apt更新、装ros-noetic-desktop-full。装完之后记得验证一次roscore能正常起来就说明ROS环境没问题。2.2 UR机械臂的ROS驱动配置UR机械臂在ROS下的官方驱动是ur_robot_driver。这个驱动比较新的版本基于ur_rtde库需要和机械臂控制系统上的ExternalControl URCap配对使用。安装方式可以从源码编译cd ~/catkin_ws/src git clone https://github.com/UniversalRobots/Universal_Robots_ROS_Driver.git src/ur_robot_driver cd ~/catkin_ws rosdep install --from-paths src --ignore-src -r -y catkin_make但这里有一个坑UR的驱动有版本兼容性问题。老款UR3/UR5/UR10的CB3控制器和e-Series新控制器的驱动分支并不完全相同如果发现驱动连不上机械臂优先检查驱动版本和固件版本的对应关系官方README里有兼容性表格。真机使用前需要在示教器上安装ExternalControl URCap。操作步骤是把externalcontrol-urcap-*.jar文件拷贝到U盘插入示教器在示教器上进入设置菜单选择URCap安装找到U盘里的文件安装安装完成后程序菜单里会出现External Control程序在External Control程序中设置你电脑的IP地址机械臂网口直连电脑时或局域网IP启动这个程序等待电脑端发送连接请求电脑端连接机械臂时用ur_robot_driver里的launch文件roslaunch ur_robot_driver ur5_bringup.launch robot_ip:192.168.1.50其中robot_ip换成你机械臂实际配置的IP。启动成功的话终端会不断输出机械臂状态信息TF树上会出现base_link、tool0_controller这些坐标系。如果没有真机也可以用ur_simulation相关的launch配合gazebo做纯仿真标定流程验证逻辑和真机完全一致只是数据是模拟的。2.3 Realsense相机的ROS集成Realsense相机在ROS下用realsense2_camera驱动。如果直接用apt安装sudo apt install ros-noetic-realsense2-camera这个包会依赖librealsense2一般都能自动装上。如果是源码编译记得先装好Intel官方提供的librealsense2 SDK否则编译会报找不到头文件。启动相机roslaunch realsense2_camera rs_camera.launch启动后会发布几个话题列表如下/camera/color/camera_info彩色相机内参标定要用/camera/color/image_raw彩色图像Aruco检测要用/camera/depth/image_rect_raw深度图抓取和避障要用/camera/color/image_raw对应图像坐标系到相机光心坐标系的TF关系SRT需要注意的话题结构手眼标定用到的相机外参全部是基于camera_color_optical_frame这个坐标系算出来的不是camera_link。手动标定的资料里有些人用的是camera_link咱们在配置Aruco检测和easy_handeye的参数时统一用camera_color_optical_frame并保持驱动自动发布该坐标系到camera_link的静态变换。验证相机是否正常有两个快速方法终端里rostopic echo /camera/color/camera_info能看到内参矩阵就说明驱动正常打开rqt_image_view订阅/camera/color/image_raw能看到实时画面就算通过3. 标定前的坐标系与工具链细节正式标定之前必须把坐标系之间的关系彻底理清否则后面出来的矩阵你根本不知道怎么用。3.1 标定公式中坐标系关系手眼标定的数学表达式是一个齐次变换矩阵方程。以眼在手外为例整个链路是这样的机械臂基座坐标系base_link到机械臂末端坐标系tool0的变换记为base_H_tool这个值随机械臂运动变化由UR驱动通过TF发布。相机坐标系camera_color_optical_frame到标定板坐标系aruco_marker_frame的变换记为camera_H_marker这个值由Aruco检测节点发布。我们要解的是固定不变的base_H_camera即机械臂基座到相机坐标系的变换。在运动中标定板固定在机械臂末端所以base_H_marker这个值是不变的它等于base_H_marker base_H_camera * camera_H_marker同时它也等于base_H_marker base_H_tool * tool_H_marker把两式合并base_H_camera * camera_H_marker base_H_tool * tool_H_marker这个方程中base_H_tool和camera_H_marker是已知量来自TF和Aruco检测base_H_camera和tool_H_marker是未知量。每采集一组数据就得到一个约束方程只要位姿变化足够丰富通过非线性优化就能把base_H_camera解出来。标定时需要的数据宏观上就是一组一组的机械臂位姿和对应的相机外参。这两个数据必须同时采集一个对应机械臂当前状态下的末端姿态一个对应同一瞬间相机看到的标定板位姿。3.2 TF树核对的必要性说真的手眼标定60%的问题出在TF树上不是算法本身。你的TF树必须满足下面两条基本要求第一从base_link到tool0的通路必须是通的中间不能有断链。UR驱动正常启动后base_link到tool0_controller由驱动发布tool0_controller到tool0由URDF里自带固定关节定义一般不会有问题。第二从camera_color_optical_frame到aruco_marker_frame的通路必须是通的这由Aruco检测节点发布。如果你的检测节点输出的话题没问题但TF没有广播检查一下代码里的TF广播逻辑。用tf2_tools快速验证rosrun tf2_ros view_frames生成frames.gv后打开看如果能看到完整的树形结构说明基本链路OK。如果发现tool0根本不在树上就要检查URDF有没有正确加载。UR的URDF文件通常用ur_description包加载驱动launch文件里默认会加载。4. 实操过程从机械臂移动到标定文件生成环境都备好之后进入正式标定流程。下面每个步骤都是我实际跑通的过程照着做基本不会出大问题。4.1 相机启动与标定板检测先启动Realsense相机注意在launch文件里固定相机的自动曝光和自动白平衡我是在启动参数里设置roslaunch realsense2_camera rs_camera.launch auto_exposure:1 auto_white_balance:1你可能会问为什么要把自动曝光关掉因为Aruco检测对图像亮度很敏感如果相机在采集数据的过程中因为视野里物体变化而自动调整曝光检测到的标定板角点位置会轻微跳动直接影响标定精度。固定曝光之后图像亮度稳定检测结果一致性好很多。然后启动Aruco检测节点。我用的标定板是DICT_4X4_250字典里的一个单独marker物理边长0.163米。实际尺寸测量时最好用游标卡尺打印后纸张的伸缩误差也要考虑进去尺寸参数误差会直接变成平移误差。启动节点roslaunch aruco_ros single.launch markerId:0 markerSize:0.163 ref_frame:camera_color_optical_frame这里需要检查两个参数markerId必须和实际打印的标定板ID一致markerSize单位是米不能写厘米启动后用rqt_image_view看检测效果如果图像上出现了带坐标轴的marker说明检测成功。4.2 启动UR驱动并验证TF连接机械臂启动UR驱动roslaunch ur_robot_driver ur5_bringup.launch robot_ip:192.168.1.50这里也可以先开一个简单的launch文件同时加载URDF参数这样后面easy_handeye才能读取机械臂的base_link和tool0坐标系。启动后在另一个终端里运行rosrun tf2_ros tf2_echo base_link tool0如果持续输出四元数和三维坐标说明TF链路正常。注意机械臂末端的姿态会在手操器上手动移动时动态变化TF输出也会跟着变化这是正常的。4.3 运行easy_handeye标定主程序安装easy_handeyecd ~/catkin_ws/src git clone https://github.com/andre-nguyen/easy_handeye.git cd ~/catkin_ws catkin_make source devel/setup.bash注意不同版本的文件位置和名称略有差异ROS1版本最好使用支持Noetic的分支。这里也可以参考ur_easy_handeye这个包提供的示例launch它是UR专用的集成示例里面已经把参数预设好了。启动标定程序roslaunch easy_handeye ur_realsense_calibration.launchlaunch内部需要配置以下关键参数我给出一份可直接参考的写法launch arg nameeye_on_hand defaultfalse / arg namerobot_base_frame defaultbase_link / arg namerobot_tool_frame defaulttool0 / arg namemarker_frame defaultaruco_marker_frame / arg nametracking_base_frame defaultcamera_color_optical_frame / param nameeye_on_hand value$(arg eye_on_hand) / param namerobot_base_frame value$(arg robot_base_frame) / param namerobot_tool_frame value$(arg robot_tool_frame) / param namemarker_frame value$(arg marker_frame) / param nametracking_base_frame value$(arg tracking_base_frame) / /launch启动后rqt插件窗口会弹出来。界面上有一个下拉框选择当前的采样方式然后用机械臂手动或示教模式把标定板移动到相机视野内的某个位置同时让机械臂保持一个较大的位姿变化然后点击Take Sample。第一个采样点放在视野中央后面每个点位都往视野边缘移动一些覆盖整个视野范围每次采样之间机械臂的旋转角度变化尽量大不要只平移而不旋转建议分三层近距离、中距离、远距离每层在水平和垂直方向各取几个点位总数控制在15到20组超过20组对精度提升不明显反而容易引入更多累计误差采集完15组左右点击Compute程序会利用当前所有采样数据计算出手眼矩阵。4.4 标定结果输出与应用计算完成后界面上会显示出手眼矩阵的数值单位是米和弧度。此时可以点击Save保存成一个YAML文件通常存放在当前ROS工作目录下文件名类似hand_eye_transform.yamltransformation_matrix: - [0.9998, -0.0012, 0.0045, 0.4321] - [0.0011, 0.9999, 0.0023, -0.1024] - [-0.0046, -0.0021, 0.9999, 0.5217] - [0.0, 0.0, 0.0, 1.0]这个4x4矩阵就是base_H_camera意思是相机坐标系在机械臂基座坐标系下的表示。实际使用时主程序里读取这个矩阵把视觉检测到的目标中心点坐标从相机坐标系变换到机械臂基座坐标系cam_point np.array([x, y, z, 1.0]).reshape(4, 1) base_point T_camera_to_base.dot(cam_point)这样机械臂才能用base_link坐标系下的目标点去做运动规划。5. 常见问题与排查实录实际标定过程中我遇到过不少问题这里整理成速查表也写一些独家排查经验。问题可能原因解决办法计算结果全是NaN采样数据奇异性太强删除一些过于接近的采样点增加姿态变化大的采样机械臂无法移动到采样点当前位姿在奇异点附近手动调整示教点位避开关节限位Aruco标记频繁丢失曝光自动调节或反光固定曝光调整光源角度换哑光打印纸计算出来的平移误差很大marker尺寸参数错误用游标卡尺重新测量物理尺寸标定后视觉定位偏差超过2厘米相机内参不准或畸变未矫正先用棋盘格标定相机内参5.1 计算结果全是NaN或数值异常这个问题最常见的原因是采样数据集合出现退化。简单说就是机械臂各次采样之间的姿态差异太小导致求解方程是病态的算法得不到稳定解。之前我为了省事让机械臂只在一个很小的范围平移旋转角度基本没变算出来的结果就全是NaN。解决办法重新移动机械臂时每次采样之间把末端姿态绕不同轴旋转30度以上并且交替改变机械臂到相机的距离。只要过程中Aruco标记没有丢帧一般问题就能解决。如果仍然不行尝试在界面上删掉一部分非常接近的采样点再重新计算。5.2 机械臂移动时提示no solution found这通常是UR驱动在运动规划时找不到逆解而不是手眼标定本身的问题。实践中当标定板在相机视野边缘且机械臂关节角度比较极限时容易出现这个报错。理解一下就可以明白UR机械臂的逆运动学解在奇异点附近数值不稳定这时关节速度会急剧放大控制程序为了避免危险直接拒绝执行。解决办法是每次采样点都先示教确认机械臂能顺利走通且不与周围环境碰撞再进行采样。还有一个小技巧把速度调低一些避免高速接近采样点导致惯性过大。5.3 检测抖动和误识别Aruco的检测稳定性是整个标定的基础。检测不稳采样数据就是带噪的。常见原因有三个第一环境光照变化剧烈。室内有自然光干扰或者工位上有人在走动挡光都会让marker成像亮度不稳定。解决方法是遮挡环境光或者用补光灯把标定区域照亮同时把相机曝光固定在合适值。第二打印质量差。喷墨打印的黑色块边缘有毛刺角点检测位置会有亚像素偏差。建议用激光打印或者至少用600dpi以上的分辨率打印后压平再测量尺寸。第三反光问题。相纸反光在镜头下会出现高光点影响检测。换成哑光纸或者用胶带贴在硬纸板上会好很多。5.4 标定完精度还是差一截标定完成不代表视觉定位就准了最后还得做一个精度验证。我的验证方法是在机械臂末端装一个尖点把标定板平放在台面上用机械臂尖点依次触碰标定板上两个已知角点记录机械臂基座坐标。同时通过相机检测这两个角点的像素坐标加上手眼矩阵反算到基座坐标对比两组坐标的差值。实测下来如果手眼标定质量正常在500mm左右的工作距离内误差应控制在5mm以内。如果超过10mm建议排查以下顺序先检查相机内参是否准确内参不准等于源头就歪了再检查标定板marker尺寸是否准确然后检查采样数据的位姿分布是否合理最后确认TF树中使用的末端坐标系是tool0而不是tool0_controller如果以上都排除了还有一个容易被忽略的点机械臂负载会影响末端实际位置。如果机械臂末端装了较重负载加上负载时重新做一次标定或至少测量一下负载下的TCP精度。UR机械臂在有负载时关节会有一点柔性变形这个变形在快速运动中会被放大标定和应用时的运动速度保持一致也能减少一部分误差。6. 从标定到实战的一点经验标定出来只是第一步真正把标定结果用起来还要做不少工程化处理。我自己在实际项目里摸索出几个心得。第一标定结果要写成一个独立的静态变换发布节点不要每次都在业务代码里读文件计算。标定完成后用static_transform_publisher发布camera_color_optical_frame到cam_base_frame的静态变换这样TF树里就自然多了一条链路后续所有基于TF的计算可以直接复用。rosrun tf2_ros static_transform_publisher 0.4321 -0.1024 0.5217 0.9998 -0.0011 -0.0046 \ camera_color_optical_frame cam_base_frame第二涉及视觉引导的抓取不要只用图像中心坐标做局部定位尽量用深度相机的点云做目标点修正。D435i的深度图在近距离有毫米级精度远距离则会随着距离平方衰减我一般控制在0.3到0.8米范围内使用。第三工程上建议做一层标定有效性检查。每次开机后用一个位置固定的二维码或者目标物让相机定位这个目标物再转换到基座坐标和实际物理位置做对比。如果偏差突然变大说明可能有人动过相机或者标定板被移动过这时候需要重新标定。这个检查不复杂但能避免很多现场故障。手眼标定这个题目听上去和视觉算法沾边实际上更多是坐标系管理、数据采集质量和工具链使用经验的积累。我踩过的坑基本都是参数没对齐、坐标系选错、采样姿势太单一这几类把这些点控制好标定结果基本一次比一次稳定。这套流程不仅适用UR和Realsense换成其他型号的机械臂和相机只要驱动能正常发布TF思路完全一样。