计算机视觉科研【免费下载链接】openMVGopen Multiple View Geometry library. Basis for 3D computer vision and Structure from Motion.项目地址https://gitcode.com/gh_mirrors/op/openMVG点击查看免费下载OpenMVGOpen Multiple View Geometry是一个面向三维计算机视觉与运动恢复结构Structure from Motion的开源 C 库。本文围绕其openMVG_main_SfM --sfm_engine GLOBAL全局重建引擎完整讲解它的算法思想、命令行参数、源码实现与实战建议帮助你基于一份sfm_data.json和预计算的几何匹配结果一次性求解所有相机的全局位姿与场景三维点云。读完本文你将掌握全局 SfM 与增量 SfM 的本质区别、openMVG_main_SfM全部必选/可选参数的语义与默认值以及如何通过特征提取与匹配参数调优来保证全局重建的稳定性。一、背景为什么需要全局 SfMOpenMVG 的 SfM 求解阶段提供了两条主线管线参见 SfM 总览文档增量 SfMIncremental基于 [ACSfM]_ACCV 2012逐张添加图像到重建中全局 SfMGlobal基于 [GlobalACSfM]_ICCV 2013即本文主题。多视图 SfM 的目标是在一个公共的三维坐标系中估计每张图像的位姿位置与朝向以及场景的三维点云。增量方法逐张注册相机误差会沿着重建链累积产生漂移drift而全局方法一次性融合所有图像对之间的相对运动把残差误差均匀地分散到整个相机网络中从原理上避免了增量链式累积的漂移问题。全局 SfM 的算法基础是一篇 ICCV 2013 论文Global Fusion of Relative Motions for Robust, Accurate and Scalable Structure from Motion其核心思想是先用两视图几何估计图像对之间的相对运动再把所有相对运动在全局尺度上“融合”同时完成异常相对运动的剔除。二、全局 SfM 算法流程原文档给出了完整的伪代码这里逐行展开说明结合源码实现佐证Require: internal camera calibration (possibly from EXIF data) Require: pairwise geometry consistent point correspondences Ensure: 3D point cloud Ensure: camera poses compute relative pairwise rotations detect and remove false relative pairwise rotations - using composition error of triplet of relative rotations compute the global rotation - using a dense least square and approximated rotations compute relative translations - using triplet of views for stability and colinear motion support compute the global translation - integration of the relative translation directions using a l-∞ method. final structure and motion - link tracks validated per triplets and compute global structure by triangulation, - refine estimated parameter in a 2 step Bundle Adjustment - refine structure and translations - refine structure and camera parameters (rotations, translations).把这 7 个步骤映射到 OpenMVG 源码中就是GlobalSfMReconstructionEngine_RelativeMotions::Process()位于 sfm_global_engine_relative_motions.cpp的执行顺序保留最大双连通子图graph::CleanGraph_KeepLargestBiEdge_Nodes剔除匹配图中的孤立节点保证后续平均化在图连通的前提下进行计算相对旋转Compute_Relative_Rotations通过Relative_Pose_Engine为位姿图的每条边估计相对位姿并抽取其中的旋转分量sfm_global_engine_relative_motions.cpp旋转平均化Compute_Global_Rotations先做三元组旋转推理剔除组合误差过大的边再用 L1 或 L2 旋转平均化求解全局旋转sfm_global_engine_relative_motions.cpp相对平移计算Compute_Global_Translations调用GlobalSfM_Translation_AveragingSolver利用三元组视图求取相对平移以保证稳定性并支持共线运动约束sfm_global_engine_relative_motions.cpp全局平移集成通过 L1 / L2 / SoftL1l-∞ 风格等平移平均化方法把相对平移方向统一到全局坐标系初始结构计算Compute_Initial_Structure从三元组验证过的匹配构建 tracks再进行三角化得到初始三维点云sfm_global_engine_relative_motions.cpp两步 Bundle AdjustmentAdjust先固定内参和旋转、只优化结构与平移再放开旋转/平移可选放开内参进行整体精化最后剔除离群点并做一次收尾 BAsfm_global_engine_relative_motions.cpp。其中“三元组旋转推理”对应源码中的TRIPLET_ROTATION_INFERENCE_COMPOSITION_ERROR模式GlobalSfM_rotation_averaging.hpp对每个三元组 (i, j, k) 检验R_ij * R_jk * R_ki与单位矩阵的偏离角度超过 5° 的组合误差边会被剔除GlobalSfM_rotation_averaging.cpp。三、运行前提输入数据准备原文档明确说明了两条关键前提管线输入一条sfm_data.json文件 一份预计算的匹配结果match 目录内参要求管线只会处理已知近似焦距的图像intrinsic id无效未知内参的图像会被直接忽略。因此完整的全局 SfM 流程是 OpenMVG 四步管线见 SfM 总览文档中的最后一步图像列表openMVG_main_SfMInit_ImageListing生成sfm_data.json参见 SfMInit_ImageListing 文档特征提取openMVG_main_ComputeFeatures提取 SIFT 等区域特征参见 ComputeFeatures 文档匹配计算openMVG_main_ComputeMatches计算两两匹配并做几何过滤参见 ComputeMatches 文档SfM 求解openMVG_main_SfM --sfm_engine GLOBAL。四、命令行用法与参数详解原文档给出的标准调用命令$ openMVG_main_SfM --engine GLOBAL -i Dataset/matches/sfm_data.json -m Dataset/matches/ -o Dataset/out_Global_Reconstruction/注意--engine是文档写法实际源码中对应的是-s|--sfm_engine详见下文“参数与源码对应关系”。4.1 必选参数参数含义[-i\|--input_file]一个 SfM_Data 场景文件sfm_data.json或二进制sfm_data.bin[-m\|--matchdir]几何匹配结果的存放目录match_dir[-o\|--outdir]输出数据存放目录output_dir从 main_SfM.cpp 可以看到这三个参数的注册代码cmd.add( make_option(i, filename_sfm_data, input_file) ); cmd.add( make_option(m, directory_match, match_dir) ); cmd.add( make_option(o, directory_output, output_dir) );源码还会在启动时做多项校验输出目录不存在则自动创建main_SfM.cpp-m目录下需要存在image_describer.json以确定区域类型main_SfM.cpp匹配文件按matches.f.txt / matches.f.bin / matches.e.txt / matches.e.bin的顺序自动探测main_SfM.cpp。4.2 可选参数旋转平均化[-r|--rotationAveraging]取值算法默认1L1 旋转平均化 [Chatterjee]否2L2 旋转平均化 [Martinec]是默认源码中的枚举定义在 GlobalSfM_rotation_averaging.hppenum ERotationAveragingMethod { ROTATION_AVERAGING_L1 1, ROTATION_AVERAGING_L2 2 };L2默认调用rotation_averaging::l2::L2RotationAveraging求解稠密最小二乘问题随后再做一次非线性精化L2RotationAveraging_RefineGlobalSfM_rotation_averaging.cpp。该实现基于 Daniel Martinec 的工作见 rotation_averaging_l2.hpp 与 rotation_averaging_l2.cpp。L1调用rotation_averaging::l1::GlobalRotationsRobust基于 Avishek Chatterjee 与 Venu Madhav Govindu 的论文Efficient and Robust Large-Scale Rotation Averaging2013对异常相对旋转更鲁棒见 rotation_averaging_l1.cpp 与 rotation_averaging_l1.hpp。4.3 可选参数平移平均化[-t|--translationAveraging]取值算法默认1L1 平移平均化 [GlobalACSfM]否文档标注 default见下2L2 平移平均化弦距离平方和最小化[Kyle2014]否3SoftL1 最小化 [GlobalACSfM]是默认源码枚举定义在 GlobalSfM_translation_averaging.hppenum ETranslationAveragingMethod { TRANSLATION_AVERAGING_L1 1, TRANSLATION_AVERAGING_L2_DISTANCE_CHORDAL 2, TRANSLATION_AVERAGING_SOFTL1 3, TRANSLATION_LIGT 4 };L2弦距离基于 Kyle Wilson 与 Noah Snavely 的工作最小化相对平移方向的弦距离平方和见 translation_averaging_solver_l2_chordal.cpp 与 translation_averaging_solver.hpp。SoftL1默认以 SoftL1 损失函数集成相对平移向量组bearing / n-uplets并支持d_l1_loss_threshold阈值控制鲁棒性translation_averaging_solver.hpp。额外取值 4LiGT源码还支持TRANSLATION_LIGT 4即Linear Global Translation约束求解但该算法受专利保护必须在编译时开启USE_PATENTED_LIGTCMake 选项才会生效否则运行时会直接报错退出main_SfM.cpp。原文档对取值 1 与 3 都标注了 “default”最终统一说明为[GlobalACSfM]默认设置是-r 2 -t 3这与 main_SfM.cpp 中的源码默认值完全一致int rotation_averaging_method int (ROTATION_AVERAGING_L2); int translation_averaging_method int (TRANSLATION_AVERAGING_SOFTL1);4.4 可选参数内参精化[-f|--refineIntrinsics]该参数精确控制 Bundle Adjustment 阶段哪些内参被视为常量、哪些被视为变量并且可以用|运算符自由组合取值含义ADJUST_ALL精化所有已有参数默认NONE内参保持恒定不参与精化ADJUST_FOCAL_LENGTH只精化焦距ADJUST_PRINCIPAL_POINT只精化主点位置ADJUST_DISTORTION只精化畸变系数如果有组合示例原文档完整内容ADJUST_FOCAL_LENGTH|ADJUST_PRINCIPAL_POINT→ 精化焦距与主点位置ADJUST_FOCAL_LENGTH|ADJUST_DISTORTION→ 精化焦距与畸变系数如果有ADJUST_PRINCIPAL_POINT|ADJUST_DISTORTION→ 精化主点位置与畸变系数如果有。在 main_SfM.cpp 中注册为cmd.add( make_option(f, sIntrinsic_refinement_options, refine_intrinsic_config) );传入的字符串会经cameras::StringTo_Intrinsic_Parameter_Type解析为Intrinsic_Parameter_Type位掩码main_SfM.cpp因此支持用|组合多个精化目标。该选项的实际生效位置在引擎的Adjust()中仅当精化选项不等于NONE时第三轮 BA 才会放开内参sfm_global_engine_relative_motions.cpp。4.5 其他相关参数源码补充虽然原文档聚焦 Global 引擎但openMVG_main_SfM是四引擎共用的入口INCREMENTAL / INCREMENTALV2 / GLOBAL / STELLAR见 main_SfM.cpp运行 Global 时也接受以下通用选项[-s|--sfm_engine]引擎类型字符串必须为GLOBAL大小写敏感非法值会报错退出main_SfM.cpp[-M|--match_file]直接指定匹配文件名matches.f.txt或matches.f.bin不指定时按默认名自动探测main_SfM.cpp[-e|--refine_extrinsic_config]外参精化选项ADJUST_ALL/NONE默认ADJUST_ALLmain_SfM.cpp[-P|--prior_usage]启用运动先验如 GPS 位置默认关闭main_SfM.cpp。五、源码级原理引擎内部到底做了什么5.1 引擎类结构全局引擎类是GlobalSfMReconstructionEngine_RelativeMotions继承自ReconstructionEngine对外只暴露四个配置入口sfm_global_engine_relative_motions.hppvoid SetFeaturesProvider(Features_Provider * provider); void SetMatchesProvider(Matches_Provider * provider); void SetRotationAveragingMethod(ERotationAveragingMethod eRotationAveragingMethod); void SetTranslationAveragingMethod(ETranslationAveragingMethod eTranslation_averaging_method_);引擎构造函数内部的默认方法与命令行默认值不同引擎层默认ROTATION_AVERAGING_L2TRANSLATION_AVERAGING_L1sfm_global_engine_relative_motions.cpp命令行层默认-t 3SoftL1。也就是说如果你通过源码 API 直接使用该引擎而不是命令行入口平移平均化默认是 L1这一点容易被忽略。5.2 两步实际三轮Bundle Adjustment原文档说“2 step Bundle Adjustment”但从源码看Adjust()实际执行了三轮递进精化sfm_global_engine_relative_motions.cpp精化结构与平移内参保持恒定Intrinsic_Parameter_Type::NONE、旋转保持恒定Extrinsic_Parameter_Type::ADJUST_TRANSLATION、只放开结构与平移精化结构 旋转 平移内参仍恒定外参全部放开ADJUST_ALL可选精化内参 外参 结构仅当-f不等于NONE时执行此时-f指定的内参子集也参与优化。每轮 BA 的中间结果都会以 PLY 形式落盘structure_00_refine_T_Xi.ply、structure_01_refine_RT_Xi.ply、structure_02_refine_KRT_Xi.ply便于观察每一轮精化的效果。5.3 离群点剔除与收尾清理BA 之后还有两道过滤sfm_global_engine_relative_motions.cppRemoveOutliers_PixelResidualError(sfm_data_, 4.0)按像素重投影残差剔除阈值 4.0 像素RemoveOutliers_AngleError(sfm_data_, 2.0)按观测光线夹角误差剔除阈值 2.0°。随后eraseUnstablePosesAndObservations会删除观测过少的位姿与轨道默认要求每个位姿至少 12 个三维点、每条 track 至少 3 个观测sfm_global_engine_relative_motions.cpp。由于剔除后解空间更干净最后还会再执行一次完整的 BA收尾structure_04_outlier_removed.ply。5.4 输出产物引擎成功结束后main()会导出main_SfM.cppsfm_data.bin完整重建结果视图、内参、外参、结构cloud_and_poses.ply三维点云 相机位姿的可视化文件SfMReconstruction_Report.html重建统计报告视图数、内参数、位姿数、track 数等见 sfm_global_engine_relative_motions.cpp。此外引擎运行过程还会在输出目录生成一系列中间产物包括global_relative_rotation_view_graph/global_relative_rotation_pose_graph的 Graphviz 图sfm_global_engine_relative_motions.cpp、cameraPath_translation_averaging.ply、initial_structure.ply等方便排查重建失败的具体阶段。整体管线还配有集成测试 global_SfM_test.cpp 可参考验证。六、实战建议保证全局 SfM 成功的关键原文档的 Tips 部分给出了两条直接可用的调优建议全局 SfM 依赖稠密的图像网络每张图需要与足够多的其他图像形成匹配因此需要检测更多的Regions points区域特征点来保证较高的匹配概率。请使用openMVG_main_ComputeFeatures的-p HIGH选项openMVG_main_ComputeMatches的-r .8选项。6.1 特征提取-p HIGHopenMVG_main_ComputeFeatures支持特征提取预设级别见 main_ComputeFeatures.cpp 与 ComputeFeatures 文档$ openMVG_main_ComputeFeatures -i Dataset/matches/sfm_data.json -o Dataset/matches/ -m SIFT -p HIGHHIGH预设会显著增加每张图像的特征点数量提升两两匹配的覆盖密度——这是全局平均化算法得以工作的前提。相反如果匹配图过于稀疏连通度不足Process()第一步保留最大双连通子图后可能得到空集引擎会直接失败sfm_global_engine_relative_motions.cpp。6.2 匹配计算-r .8openMVG_main_ComputeMatches的-r|--ratio参数控制描述子匹配的距离比阈值见 main_ComputeMatches.cpp 与 ComputeMatches 文档$ openMVG_main_ComputeMatches -i Dataset/matches/sfm_data.json -o Dataset/matches/ -r .8将比值阈值放宽到 0.8比默认更宽松可以保留更多候选匹配对从而让更多图像对进入相对运动估计间接提高全局图网络的稠密度。放宽阈值引入的少量误匹配会由后续的几何过滤本质矩阵/基础矩阵/单应矩阵的鲁棒估计以及全局管线中的三元组推理5° 组合误差剔除来兜底。6.3 使用现成脚本快速跑通全流程如果你不想手动串联四个步骤OpenMVG 在构建目录中会导出SfM_GlobalPipeline.py模板见 SfM_GlobalPipeline.py.in。在构建目录下直接运行$ cd openMVG_Build/software/SfM/ $ python SfM_GlobalPipeline.py [full path image directory] [resulting directory]该脚本内部会依次调用openMVG_main_SfMInit_ImageListing、openMVG_main_ComputeFeatures-p HIGH参见 SfM_StructurePipeline.py.in、openMVG_main_ComputeMatches与openMVG_main_SfM是最快体验全局重建的途径。6.4 推荐的数据目录组织结合 SfM 总览文档 的建议强烈推荐使用三目录结构images原始图像序列matches存放sfm_data.json、image_describer.json、特征、描述子与匹配文件outReconstruction存放 SfM 结果与处理日志。这能让-i、-m、-o三个参数各司其职也便于在不同引擎Incremental / Global之间复用同一份特征与匹配结果做对比实验。七、总结全局 SfM 是 OpenMVG 两条主 SfM 管线之一它以“融合相对运动”替代“逐张注册”从根本上缓解了增量方法在长序列上的漂移问题。其核心链路——三元组旋转推理 → L1/L2 旋转平均化 → 三元组相对平移 → L1/L2/SoftL1 平移平均化 → 三角化 → 多轮 Bundle Adjustment——在 GlobalSfM_rotation_averaging.hpp、GlobalSfM_translation_averaging.hpp 与 sfm_global_engine_relative_motions.cpp 中均有完整实现可供研读。实战中记住三条要点即可稳定复现输入确保sfm_data.json中的图像都有已知近似焦距否则相应图像会被忽略图网络用-p HIGH提特征、-r .8算匹配保证稠密的图像匹配网络参数默认-r 2 -t 3L2 旋转平均化 SoftL1 平移平均化即可获得良好效果若匹配噪声大可尝试 L1 旋转平均化需要精化内参时用-f按位组合ADJUST_FOCAL_LENGTH、ADJUST_PRINCIPAL_POINT、ADJUST_DISTORTION。如需进一步了解增量管线的对比实现可阅读 IncrementalSfM 文档 以及 main_SfM.cpp 中INCREMENTAL分支的代码。赞分享计算机视觉科研【免费下载链接】openMVGopen Multiple View Geometry library. Basis for 3D computer vision and Structure from Motion.项目地址https://gitcode.com/gh_mirrors/op/openMVG点击查看免费下载相关推荐OpenCV contrib 的 Structure From MotionSFM模块基于 Libmv 轻量版的多视图三维重建实战指南OpenCV contrib 的 Structure From MotionSFM模块基于 Libmv 轻量版的多视图三维重建实战指南 导读 本文围绕 o计算机视觉图像处理深度学习机器学习opencv_contrib 中 Structure From MotionSFM模块的编译安装指南Eigen、GLog、GFlags 与 Ceres Solver 依赖配置详解opencv_contrib 中 Structure From MotionSFM模块的编译安装指南Eigen、GLog、GFlags 与 Ceres S计算机视觉图像处理机器学习COLMAP完全指南从图像到3D模型的革命性Structure-from-Motion平台COLMAP完全指南从图像到3D模型的革命性Structure from Motion平台 你还在为3D重建流程复杂而烦恼还在因参数配置不当导致重建失败本计算机视觉图形学图像处理上一篇EfiGuard与HVCI的兼容性分析HyperGuard环境下的限制与对策下一篇PingFangSC字体中文Web排版的开源解决方案与最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考