简介这份资源是面向视觉SLAM初学者与进阶学习者的VIO课程配套资料包围绕视觉惯性里程计这一核心主题系统梳理从理论到实践的完整知识链路。内容覆盖视觉SLAM基础、IMU预积分、传感器融合理论、状态估计与后端优化等关键模块并配有课程作业与讲评材料帮助读者逐步建立对VIO系统的整体理解。资源共88个文件以22个pdf讲义与作业讲解、12个h头文件、11个cpp源码、10个zip作业包为主另含py脚本、cmake构建文件、md笔记及少量数据与配置文件压缩包约53.98MB目录按课程章节组织便于按模块检索学习。目前已有360人学习下载。对于希望从零入门VIO、需要结合代码实践与作业复盘来巩固滤波、优化及时间戳同步等难点的读者这份资料能提供较为完整的课程脉络与练习素材。1. 视觉惯性里程计入门从「跑不起来」到「跑得稳」的第一道坎视觉惯性里程计VIO是那种典型的「听起来不难、上手就翻车」的技术。相机给你丰富的纹理信息IMU 给你高频的运动先验两者一融合理论上位姿精度和鲁棒性都能上一个台阶。但真到自己搭环境、跑数据、调参数的时候大部分人卡在第一步数据对不齐、时间戳错位、外参标定不准跑出来的轨迹飘得亲妈都不认识。这篇笔记面向的是刚接触 VIO 课程入门、想自己动手复现一套完整流程的工程师和同学不堆公式重点讲清楚三件事VIO 到底在算什么、最小可跑通的系统怎么搭、以及那些让轨迹「玄学漂移」的坑到底出在哪。如果你已经能跑通公开数据集但换自己的设备就崩这篇同样适用。2. VIO 到底在算什么状态估计的骨架与传感器分工2.1 从「里程计」三个字拆开看里程计的本质是递推位姿。轮式里程计靠编码器积分激光里程计靠点云配准而视觉惯性里程计靠的是「图像特征约束 IMU 预积分约束」联合优化。相机提供的是环境结构信息通过特征点匹配或直接法光度误差约束的是相机在相邻帧之间的相对运动IMU 提供的是角速度和加速度积分一次得姿态变化积分两次得位置变化。两者单独用都有致命缺陷纯视觉在纹理缺失、快速运动、光照突变时容易跟丢纯 IMU 积分几秒钟就漂到不可用。VIO 的核心思路就是让 IMU 在短时间窗口内提供高频运动先验视觉在长时间窗口内提供低频但无漂移的绝对约束两者在滑动窗口优化里互相拉扯最终输出一个既平滑又不飘的轨迹。这里有个关键概念叫「预积分」。IMU 测量频率通常是 100Hz 到 200Hz而相机只有 10Hz 到 30Hz。如果在优化里把每个 IMU 测量都当做一个状态节点计算量会爆炸。预积分的作用是把两帧图像之间的所有 IMU 测量压缩成一个相对运动约束这个约束只和 IMU 零偏有关和起始状态无关所以可以在优化迭代中反复使用而不需要重新积分。常见做法是采用中值积分或龙格库塔积分在代码里通常体现为一个preintegrate()函数输入是两帧之间的 IMU 队列和当前零偏估计输出是预积分量、雅可比矩阵和协方差。2.2 传感器选型与数据同步的硬约束做 VIO 入门传感器选型直接决定你后面踩坑的数量。相机方面全局快门优于卷帘快门因为卷帘快门在快速运动时会产生果冻效应特征点位置和实际物理位置有偏差这个偏差在 VIO 里会被 IMU 预积分放大。常见入门配置是双目全局快门相机加一个消费级 IMU比如某款常见的九轴模块。IMU 方面关注三个指标零偏稳定性、噪声密度、以及和相机的硬件同步能力。零偏稳定性差的 IMU预积分约束在几秒内就会产生明显漂移优化时零偏估计会来回震荡。时间同步是另一个硬约束。相机和 IMU 如果各自用自己的时钟哪怕初始对齐了晶振漂移也会让两者在几分钟内错开几十毫秒。VIO 对时间戳的敏感度极高1 毫秒的错位在快速旋转时就能造成明显的轨迹畸变。常见做法是硬件触发同步让 IMU 的采样时刻和相机曝光时刻由同一个信号源控制如果没有硬件同步条件退而求其次用软件时间戳对齐但需要在标定阶段估计并补偿时间偏移。下面这段伪代码展示了时间偏移估计的基本逻辑# 时间偏移估计通过最小化视觉重投影误差来搜索最佳偏移量 def estimate_time_offset(cam_poses, imu_data, init_offset0.0, search_range0.05): cam_poses: 视觉里程计输出的相机位姿列表带时间戳 imu_data: IMU 测量列表带时间戳 init_offset: 初始时间偏移猜测值单位秒 search_range: 搜索范围单位秒 best_offset init_offset best_error float(inf) # 在搜索范围内以 0.1ms 为步长遍历 for offset in np.arange(init_offset - search_range, init_offset search_range, 0.0001): error 0.0 for pose in cam_poses: # 将相机时间戳加上偏移后在 IMU 数据中插值得到对应时刻的角速度 imu_ang_vel interpolate_imu(imu_data, pose.timestamp offset) # 用 IMU 角速度积分得到短时旋转增量与视觉旋转增量比较 error rotation_residual(pose.rotation_delta, imu_ang_vel) if error best_error: best_error error best_offset offset return best_offset这段代码的逻辑是视觉给出的相邻帧旋转增量是相对准确的短时内视觉旋转漂移小IMU 角速度积分也能给出旋转增量两者在时间对齐时应该一致。通过遍历时间偏移量找到让两者残差最小的偏移值。参数说明search_range一般设 0.05 秒足够覆盖大多数晶振漂移步长 0.1 毫秒是精度和计算量的折中。实际工程中这个搜索可以在线进行每积累一段数据就更新一次偏移估计。2.3 外参标定被低估的精度杀手相机和 IMU 之间的外参包括旋转和平移。旋转外参不准重力方向估计就会偏导致整个轨迹倾斜平移外参不准在旋转运动时会产生虚假的加速度耦合。很多入门者直接用 CAD 图纸上的安装尺寸当外参结果跑出来的轨迹在转弯时明显外甩。正确做法是用标定工具实际标定常见流程是手持设备在标定板前做充分的激励运动包括三个轴的旋转和平移然后用 Kalibr 或类似工具离线优化外参。标定质量可以用重投影误差和 IMU 残差来评估。如果标定后重投影误差在 0.5 像素以内IMU 残差在合理范围内说明外参可信。如果标定后跑数据仍然飘优先怀疑外参和时间偏移而不是去调优化器的权重参数。我一般会先跑一遍纯视觉里程计确认视觉本身没问题再接入 IMU 做联合优化这样出问题时能快速定位是视觉端还是融合端。3. 最小可跑通系统从数据录制到轨迹输出3.1 数据录制与格式规范跑通 VIO 的第一步是有一份质量合格的数据包。常见做法是用 ROS 的 rosbag 录制话题至少包含图像和 IMU 两路。图像话题的帧率建议 20HzIMU 话题建议 200Hz两者时间戳必须来自同一时钟源。录制时避免剧烈晃动和纯旋转因为纯旋转下视觉三角化退化IMU 虽然能提供角速度但无法约束平移容易导致尺度漂移。数据包录好后先做一轮完整性检查用rosbag info看消息数量和频率是否正常用rqt_plot把 IMU 的角速度和加速度画出来看有没有明显的零偏跳变或饱和。如果 IMU 数据在静止时角速度不为零说明零偏需要估计如果加速度模值在静止时偏离 9.8 太多说明刻度因数有问题。这些检查花不了几分钟但能避免后面大量无效调试。# 检查 rosbag 基本信息 rosbag info your_dataset.bag # 播放 bag 并查看 IMU 角速度曲线 rosbag play your_dataset.bag --clock rqt_plot /imu/data/angular_velocity/x /imu/data/angular_velocity/y /imu/data/angular_velocity/z3.2 配置文件的关键参数以常见的 VIO 框架为例配置文件通常包含相机内参、IMU 噪声参数、外参、时间偏移、优化器设置等。下面是一份典型的配置片段# 相机内参针孔模型 camera: model: pinhole intrinsics: [320.0, 320.0, 320.0, 240.0] # fx, fy, cx, cy distortion: [0.0, 0.0, 0.0, 0.0, 0.0] # k1, k2, p1, p2, k3 resolution: [640, 480] rate: 20.0 # IMU 噪声参数 imu: rate: 200.0 gyro_noise_density: 0.0002 # 单位 rad/s/√Hz gyro_random_walk: 0.00002 # 单位 rad/s²/√Hz accel_noise_density: 0.002 # 单位 m/s²/√Hz accel_random_walk: 0.0002 # 单位 m/s³/√Hz # 外参IMU 到相机的变换 extrinsics: translation: [0.05, 0.0, 0.02] # 单位米 rotation: [0.0, 0.0, 0.0, 1.0] # 四元数 x, y, z, w # 时间偏移 time_offset: 0.0 # 单位秒标定后填入 # 优化器 optimizer: window_size: 10 # 滑动窗口关键帧数量 max_iterations: 10 # 每轮优化最大迭代次数 feature_count: 150 # 每帧参与优化的特征点数量参数说明gyro_noise_density和accel_noise_density来自 IMU 数据手册的 Allan 方差曲线如果手册没给可以用 Allan 方差工具自己标定。window_size越大精度越高但计算量越大入门阶段 10 到 15 足够。feature_count不是越多越好太多会引入外点太少约束不足150 是常见经验值。外参的平移量如果不知道可以先设为零跑一遍标定工具再填回来。3.3 跑通第一个数据集并评估轨迹配置写好后启动 VIO 节点并播放数据包。第一次跑不要期望完美先看能不能输出轨迹。常见输出是/vio/odometry话题用rviz可视化或者保存成 TUM 格式的轨迹文件。评估轨迹精度需要真值公开数据集通常提供真值轨迹用evo工具对比# 保存 VIO 输出轨迹为 TUM 格式 rosbag record -O vio_output.bag /vio/odometry # 用 evo 评估绝对轨迹误差 evo_ape tum groundtruth.txt vio_output.txt -va --plotevo_ape会输出 RMSE、均值、中位数等指标。入门阶段如果 RMSE 在 0.1 到 0.3 米之间取决于场景尺度说明系统基本正常。如果 RMSE 超过 1 米或者轨迹完全对不上按以下顺序排查先看视觉前端有没有跟丢再看 IMU 预积分残差是否收敛最后检查外参和时间偏移。我一般会在配置文件里打开调试输出把每帧的特征点数量、优化迭代次数、残差变化打印出来这样能快速判断问题出在哪个环节。4. 避坑与排查让轨迹不再「玄学漂移」4.1 现象静止时轨迹缓慢漂移原因IMU 零偏没有正确估计或者加速度计刻度因数有偏差。静止时视觉没有平移约束IMU 零偏积分后产生虚假位移。解决在初始化阶段让设备静止 2 到 3 秒让优化器充分估计零偏如果仍然漂用 Allan 方差重新标定 IMU 噪声参数检查gyro_random_walk和accel_random_walk是否设得过大。4.2 现象转弯时轨迹外甩原因相机和 IMU 之间的平移外参不准旋转运动时产生虚假的离心加速度耦合。解决重新标定外参重点检查平移量的符号和量级。一个快速验证方法是手持设备绕自身 Z 轴旋转如果轨迹画出一个明显的圆而不是一个点说明外参有问题。4.3 现象快速运动时跟丢原因特征点提取数量不足或者图像曝光时间过长导致运动模糊。解决提高特征点提取阈值降低图像分辨率以缩短曝光时间或者改用直接法前端。如果硬件允许提高相机帧率到 30Hz 也能明显改善。4.4 现象优化不收敛残差震荡原因滑动窗口太小或者特征点外点太多。解决增大window_size到 15 以上启用鲁棒核函数如 Huber 核并在前端增加外点剔除逻辑。如果残差仍然震荡检查 IMU 预积分的协方差是否设得过大导致优化器不信任 IMU 约束。4.5 现象换自己的设备后完全跑不通原因内参、外参、时间偏移全部变了直接套用公开数据集的配置必然失败。解决按标定流程重新走一遍先标相机内参再标外参和时间偏移最后用短序列验证。不要跳过任何一步VIO 对参数敏感度很高差之毫厘谬以千里。5. 进阶技巧用一致性检查判断 VIO 是否「真的稳」跑通之后怎么判断你的 VIO 是真的稳还是只是在这个数据集上碰巧没飘我常用的方法是做一致性检查。具体来说把同一段数据用两种不同配置跑两遍比如一遍用滑动窗口优化一遍用滤波方案对比两条轨迹的差异。如果差异在厘米级说明系统一致性较好如果差异在米级说明某个环节对参数过于敏感需要进一步排查。另一个技巧是检查 IMU 零偏的收敛曲线。健康的 VIO 系统零偏估计应该在初始化后快速收敛并保持稳定。如果零偏估计一直在缓慢漂移说明 IMU 噪声参数设得不对或者视觉约束太弱。可以在配置文件里把零偏估计的随机游走参数调小观察零偏曲线是否变平。还有一个实用方法是做闭环检测。虽然 VIO 本身不包含闭环但你可以手动让设备回到起点看轨迹终点和起点是否重合。如果重合度在 1% 以内说明漂移控制得不错。如果不重合计算一下漂移率通常 VIO 的漂移率在 0.5% 到 2% 之间取决于场景和运动剧烈程度超过这个范围就需要检查前端特征跟踪和 IMU 预积分。最后说一个我自己的习惯每次跑新数据前先花五分钟做数据体检看 IMU 静止零偏、图像时间戳间隔、特征点数量分布。这五分钟能省掉后面至少两小时的无效调试。VIO 入门最难的不是算法本身而是对数据质量和参数含义的敬畏心。希望帮到你。本文还有配套的精品资源点击获取