论文题目P2P-Bridge: Diffusion Bridges for 3D Point Cloud DenoisingP2P-Bridge用于三维点云去噪的扩散桥会议ECCV 2024源码与预训练模型GitHub - matvogel/P2P-Bridge: Official implementation of the ECCV 2024 paper Diffusion Bridges for 3D Point Cloud Denoising. · GitHub摘要本文研究点云去噪任务提出一种新框架将扩散薛定谔桥Diffusion Schrödinger Bridge适配到点集这样的非结构化数据上。不同于以往从点特征预测逐点位移或学习噪声分布的方法本文学习成对点云之间的最优传输方案。在 PU-Net 等物体数据集以及 ScanNet、ARKitScenes 等真实世界数据集上的实验表明P2P-Bridge 相比已有方法取得了显著改进。尽管仅使用点坐标时就能获得较好的结果作者进一步证明引入 RGB 信息和逐点 DINOv2 特征还可以改善性能。一、研究背景与核心问题三维点云去噪的目标是把扫描设备得到的带噪声点集变成更接近真实几何表面的干净点集。手机 LiDAR、RGB-D 扫描中不仅存在随机位置偏移还会出现成簇离群点、虚影点、边缘扩散和表面增厚。传统滤波需要调参数深度学习方法虽然能预测逐点位移或通过 Score / Flow 学习噪声但不少模型依赖人为添加的各向同性高斯噪声训练因而不一定适应真实传感器的复杂误差。这篇论文想解决两个问题第一能否不再预设真实噪声遵循简单高斯分布而是直接从“真实带噪扫描—干净扫描”配对数据学习去噪第二扩散桥建立在有序变量之间如何把它应用到没有固定点序的点云作者的答案分别是数据到数据的 Schrödinger Bridge以及先对齐点集再进行扩散插值。二、整体框架从带噪点云直接走向干净点云论文 Figure 1真实 LiDAR 扫描经迭代去噪前后的场景与误差图Figure 1 展示了最终应用效果输入是带有扫描误差的室内重建输出仍是点云但局部表面更加接近参考扫描。P2P-Bridge 做的是点云坐标去噪而不是从点云生成 Mesh也不是补全所有缺失物体。论文 Figure 2P2P-Bridge 的数据到数据扩散桥普通生成式扩散模型往往从干净数据逐步加高斯噪声最终连接到一个简单的高斯先验逆过程再从随机噪声生成数据。P2P-Bridge 则把桥的两端直接设置为干净点云分布和真实带噪点云分布。图中的表示干净点云表示带噪点云是两者之间的中间状态。整个流程可以概括为配对干净/带噪点云 → 建立点对应关系 → 采样桥上的中间点云 → 训练去噪网络 → 从实际带噪点云迭代采样得到干净结果。训练需要配对数据推理时不需要知道当前输入的干净真值。这里要特别区分不假设真实扫描噪声服从各向同性高斯分布不等于扩散桥内部完全没有高斯随机变量。后者仍然用可解析的高斯桥后验构建训练过程两者并不矛盾。三、扩散薛定谔桥为什么能直接连接两种点云3.1 从 Schrödinger Bridge 到可训练的扩散过程Schrödinger BridgeSB的基本思想是已知起点与终点的数据分布在满足两端分布约束的条件下寻找与某个参考随机过程尽可能接近的传输路径。论文用表示干净端用表示带噪端。一般 SB 涉及耦合的随机微分方程与偏微分方程直接求解开销很大。关键简化来自已配对的边界数据训练集中有对应的。在论文采用的条件下中间状态可以从解析的高斯桥后验采样其中g(t)控制扩散强度。本质上是干净点云与带噪点云的加权插值接近 t0 时更靠近干净端接近 tT 时更靠近带噪端。由于有解析式训练时不用逐步求解昂贵的 SB 方程。3.2 预测桥噪声而不是直接分类噪声点作者训练网络预测中间点云相对干净端的归一化偏移采用论文公式5的平方误差其中是从桥后验采样的中间状态是干净训练目标t是时间步。预测出后可以估计再通过 DDPM 式迭代采样逐步向干净端移动。直观来看网络没有逐点回答“这个点是不是离群点”而是在配对监督下学习当前点云应该怎样整体移动才能沿着已学到的桥接近干净点集。而且它的输出仍是一组点坐标不需要额外估计法向或显式曲面。四、关键设计无序点云如何建立最优传输路径4.1 不先匹配点扩散插值就没有明确含义这是论文真正值得注意的地方。图像的像素有固定位置第 i 个像素通常可以和另一张图像的第 i 个像素插值点云却是无序集合。同一个物体的两张扫描即使各含 1000 个点第 1 个点也完全不必表示同一位置。如果直接按数组下标计算所谓的“中间点云”可能把不同表面位置胡乱连起来。作者借鉴 PointMixup 的最短路径插值在假设两组点数相同的情况下求解一个一对一的双射匹配表示带噪点与干净点的配对方式是所有可能的双射集合优化目标是让总体运输距离尽可能小。这不是简单地让每个点独立寻找最近邻因为独立最近邻可能导致多个点对应同一个点而这里要求一对一的整体分配。得到后重新排列干净点集再进行逐点插值才有几何意义。这一过程与最优传输Optimal Transport有关它为两个无序点集建立低代价的对应关系使桥上的路径不至于被任意点序破坏。在实际训练中每组训练配对数据只需求解一次最优匹配之后重复使用对齐结果无需每个训练迭代重新解匹配问题。论文还讨论了在随机性趋小时桥与 OT-ODE最优传输常微分方程之间的联系。4.2 网络结构与语义特征怎样帮助去噪论文 Figure 3基于 PVCNN 的扩散去噪网络网络借鉴 LION 与 PVCNN结合点/体素卷积、SA/FP 层次特征、全局特征和低分辨率层的多头注意力时间步通过正弦位置编码注入另外用 Feature Embedding 映射输入特征。模型以局部空间 Patch 为单位处理点云兼顾大型扫描的显存要求与空间对应关系。除了 XYZ作者还尝试加入 RGB 和 DINOv2 特征。RGB 来自扫描图像DINOv2 先在图像中提取像素特征再借助相机内参、位姿投影为逐点特征。其作用不是提供额外的真实几何标签而是让网络除了空间坐标之外还能利用颜色及较高层的图像语义线索。DINOv2 是性能增强选项不是运行 XYZ-only 版本的必要条件。五、实验结果与消融分析5.1 数据集与评价方式实验覆盖物体级与场景级两种难度。物体级使用PU-Net40 个训练物体、20 个测试物体和仅用于评估的PC-Net10 个物体通过 1%–3% 的各向同性高斯扰动构造输入场景级使用ScanNet与ARKitScenes利用移动设备扫描作为带噪数据、Faro 激光扫描作为干净参考。这样既检验合成噪声下的性能也检验更复杂的真实扫描误差。主要指标是 Chamfer DistanceCD和 Point-to-Mesh DistanceP2M越低越好场景表还拆分两个方向的 CD以及 P2F、F2P避免只用单向误差掩盖覆盖度问题。5.2 物体级去噪高噪声和未见物体表现如何论文 Table 1PU-Net、PC-Net 在不同点密度和噪声强度下的 CD / P2M在 PU-Net 的 10k 稀疏点云、3% 噪声条件下本文CD 3.99、P2M 1.42而 ScoreDenoise 为 4.71 / 1.94PD-Flow 为 5.19 / 2.52在 50k 密集点云、3% 噪声下本文达到1.56 / 0.84。PC-Net 作为未参与训练的评估集也显示出相对较好的跨物体适应能力。不过在 PU-Net 的 1% 低噪声设置下PD-Flow 的 CD 2.13 优于本文 2.28因此结论是多数设置尤其较高噪声下更有优势而非每一列均第一。物体实验的这些结果仅用3 步去噪获得。论文 Figure 4PU-Net 3% 高斯噪声下的物体去噪可视化Figure 4 可以重点看动物表面的厚度与轮廓P2P-Bridge 的点分布更贴近干净形状噪声残留更少。定性图像支持 Table 1 的数值趋势但不能仅凭一张图概括所有物体。5.3 真实室内场景数据到数据桥的价值论文 Table 2ScanNet 与 ARKitScenes 室内场景去噪含 XYZ / RGB / DINO 特征比较在 ScanNet 原始 Apple LiDAR 输入上XYZ-only P2P-Bridge 的CD 64.46低于 ScoreDenoise 的 68.21加入 RGBDINO 后为64.44。在更具区分度的LiDAR 3DMatch重建设置中本文 XYZ-only 的 CD 35.56加入 RGBDINO 后进一步降至34.88而 I-PFN 为 52.31。ARKitScenes 的整体 CD 则从 XYZ-only 的 20.14 改善到 RGBDINO 的19.92。这些数字显示不依赖额外图像特征已经有效视觉特征还能带来增益但不同指标的提升幅度并不一致。论文 Figure 5ScanNet前三行与 ARKitScenes后两行真实扫描的可视化比较Figure 5 用绿到红的颜色展示与 Faro 参考扫描的距离。文章指出使用简单高斯噪声训练的若干基线容易在 Patch 边界生成伪影或点聚集P2P-Bridge 则通过对真实噪声建模并对同一点的重叠 Patch 预测坐标求平均减轻这种问题。需要保留的边界是原扫描里缺失的物体结构各种去噪方法都未必能补回来因为去噪不等同于点云补全。5.4 桥的核心消融对齐与随机性哪个更重要论文 Table 3最短路径对齐与 OT-ODE 设置的消融这是全文最能解释方法必要性的表。不做点集对齐时CD / P2M 飙升到49.33 / 44.22做好对齐但不采用 OT-ODE 设置时为2.45 / 0.73两者同时采用时为2.11 / 0.65。这组对比表明先把无序点集建立合理对应是扩散桥可用的前提在这一任务中减少桥路径的随机性还能进一步提升效果。作者并未声称确定性路径永远更优而是指出补全等多解任务可能反而需要随机性。5.5 骨干网络、特征模块与采样步数论文 Table 4Minkowski、SetTransformer 与 PVCNN 骨干对比在对应 ScanNet 消融设置中PVCNN 的CD / P2M 9.76 / 14.33优于 SetTransformer 的 10.50 / 15.46 和 Minkowski 的 12.79 / 32.39。结果支持采用兼顾局部点特征与体素上下文的 PVCNN但不代表 PVCNN 对所有三维任务都最好。论文 Table 5PVC Block、全局特征、SE、Feature Embedding 与通道数的结构消融当基础通道数为 32、PVC Block 配置相同时去掉 Feature EmbeddingCD 从9.26变为9.76增加到 64 通道并调整 Block 后最优配置达到8.27 / 9.70。说明 Feature Embedding 有明确贡献但扩大网络容量带来的整体收益更显著不同层深的 Block 也并非等价。论文 Figure 6推理采样步数与 CD / P2M 的关系Figure 6 显示推理步数增加到约5–10 步时多数指标已接近平台期继续增加步数的收益有限。这与物体实验使用 3 步便能取得竞争性结果共同说明P2P-Bridge 不依赖特别长的扩散采样链但不同数据集、指标下的最佳步数并不完全相同。六、总结与思考如果把本文压缩成一句话P2P-Bridge 把点云去噪建模为带噪点集与干净点集之间的数据到数据扩散桥先通过最优一对一匹配为无序点建立合理插值路径再训练网络沿桥逐步恢复干净点云。它最有价值的设计不是简单“把扩散模型用于点云”而是解决了两个更基础的问题真实噪声的端点分布如何引入扩散过程以及无序点集之间如何定义有意义的桥接路径。Table 3 直接证明匹配的重要性Table 1–2 则显示这套方案既能处理合成噪声也能用于真实移动扫描RGB 与 DINOv2 进一步说明几何去噪可以受益于图像特征。从方法设定上看它的边界也很清楚训练依赖对应的干净/带噪点云数据点匹配要在配对数据上预计算大场景需要 Patch 处理不完整扫描中的缺失结构不能仅靠去噪解决。它提供的是一种利用真实扫描噪声监督、兼顾速度与精度的点云坐标恢复路线而不是无需训练真值、无需对应关系的通用点云修复器。