【深度学习】Paper reading：Frustum PointNets for 3D Object Detection from RGB-D Data
标题Frustum PointNets for 3D Object Detection from RGB-D Data作者Charles R. Qi, Wei Liu, Chenxia Wu, Hao Su, Leonidas J. Guibas今天介绍的文章是Frustum PointNets for 3D Object Detection from RGB-D Data–用于从RGB-D数据进行3D物体检测的视锥点云网络翻译成中文感觉怪怪的。。。文章发表在CVPR2018。本文将介绍一种3D目标检测的方法–Frustum PointNets该方法既可以应用于室内场景也可以进行室外场景的目标检测。该方法融合了2D目标检测和深度学习的方法进行3D目标定位通过对点云数据的直接处理在很强的遮挡情况下或者稀疏的点云下仍然可以非常有效的估计3D边界框。在KITTI和SUN RGB-D 3D detection的数据集上都获得了不错的成绩并且达到了实时的要求。如上图所示对给定的RGB-D数据作者首先利用卷积神经网络CNN对RGB图像生成region proposals。通过深度数据得到点云对每个region proposal转换到3D视锥中的点云。最后由Frustum PointNets在视锥中预测出一个带有方向和非模态的检测目标的回归框。其次在被每个3D视锥限制的3D空间中作者连续两次使用变种的PointNet进行3D对象的实例分割和非模态的3D边界框回归。分割网络预测感兴趣对象的3D掩膜即实例分割回归网络估计出非模态的3D边界框很有意思的是如果对象只有部分可见回归框也能够覆盖整个物体。如上图所示网络结构的可视化输出其中真阳性检测边界框为绿色假阳性边界框为红色真实值为蓝色以显示假阳性和假阴性的例子每个边界框旁边的数字和字母表示实例id和语义的类别汽车为’v’行人为’p’骑车人为’c’。可以看到3D实例分割和边界框的回归在有挑战的情况下结果都非常的不错。第一次这么官话的介绍这个论文感觉还是怪怪的。这个其实是预备啦哈哈后面详细的应该不会像这样。。。未完待续O(∩_∩)O