3D实例分割
原创技术文章，第一时间获取
SIGAI特约作者
岳麓青年
博士
3D实例分割
3D语义分割区分场景中各类对象，3D实例分割区分场景中各类别中的各种个体。近两年来，3D实例分割的关注度越来越高，相应的方法也被接连提出。众多方法的思想主要分为两类：基于候选区域的实例分割（proposal-based）和免候选区域的实例分割（proposal-free）。其中，proposal-based先获取场景中的感兴趣的候选区域，如：3D bounding boxes等，并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程（先得到候选区域，再实例分割），分割过程繁琐，则proposal-free则摒弃了基于候选区域的方式，直接通过数据特征或者结合语义分割结果，得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。
（一） proposal-based
[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi
本文思路：
先通过GSPN得到目标候选区域（object proposal），在利用R-PointNet 细化proposal得到实例分割结果。
创新点：
GSP&R-PointNet
介绍：
一种得到候选区域的办法就是简单估计物体的近似几何形状，比如3D bounding boxes，但是bounding boxes不太需要对底层对象的几何结构有很强的的理解，这可能导致boxes中包含了多物体或者单个物体的部分，本文采用analysis-by-synthesis策略，从含有噪音的场景中重建出外形得到 object proposals。另外，R-PointNet很像2D图像领域的Mask-RCNN，包含了候选区域提取和候选区域分类， R-PointNet能直接处理点云数据并给予目标候选区域得到实例标签。
[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang
本文思路：
通过计算点云的相似矩阵（similarity matrix）和对应的置信值（confidence map）得到候选区域（group proposals），并结合语义分割结果得到实例标签
创新点：
新的候选区域方法（similarity matrix + confidence map）
介绍：
本网络利用PointNet/PointNet++来提取点云的特征，然后在这些点云特征上操作分类，后端有三个模块：similarity matrix， confidence map 和sematic map，三者的作用不用。其中，similarity matrix 的作用是计算group proposals 直接获取精确的实例分割结果，confidence map即置信区间，加入置信值，起到优化的作用；semantic map 的作用是充当逐点分类器的作用。
[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou
本文思路：
先目标检测得到proposal，再在propoasl中mask prediction得到实例分割结果
创新点：
结合了2D和3D数据的特征，框架新颖。
介绍：本文思想比较简单。通过神经网络学习RGB和点云特征（这里的点云是通过RGBD中的深度信息恢复得到，并不是雷达点云），将通过2D卷积网络提取得到2D特征，反投影到对应的3D场景网格上，2D和3D特征的融合能够很大程度上提高proposal 获取的精度。在proposal中进一步预测得到实例标签。
[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang
本文思路：
先获bounding box，再mask prediction
创新点：
计算效率高
介绍:
本文提出了3D-BoNet网络，遵循了逐点的多层感知机的简单基本原理，该网络对所有实例个体进行3D bounding box的回归， 同时对每个实例个体的点云进行逐点mask预测。本网络包括两个并行的网络，1）边界框回归和2）点云mask预测。亮点就是计算效率高，不需要任何的后处理过程。（这个论文思想就是站在巨人肩膀上，利用现有网络得到全局和局部特征，后续的的proposal和prediction就很简单了）
（二） proposal-free
[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud
本文思路：
直接获得数据的特征，直接实例分割
创新点：
一种可获取数据的两种主要特征的算法
介绍:
不像传统的实例分割方法的思想：用语义标签提升实例标签。本文的技术通过聚类方法专注于实例标签。本网络将语义信息作为局部线索从中获得便利，另外将3D维度信息和3D联系纳入其中。本文的亮点在于提出了一种算法，该算法可以直接处理3D网格并学习得到两类主要的特征：针对每一个实例对象的独有的特征描述；指向实例对象中心的方向。（基于SSCNet这个网络框架改进的，大家可以重点关注一下这个网路，在ScanNet数据集中，SSCNet网路的语义分割结果评比第二）
[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang
本文思路：
通过实例分割和语义分割相互提升分割精度
创新点：
ASIS
介绍:
实际情况下，实例分割和语义分割的目的是不同的，前者在同一类中精确区分不同的个体，后者是将它们赋予同一个标签。然而，两种任务之间是可以相互合作共赢的，语义分割将点云按不同类别区分，这仅仅是实例分割的一个目标（不同类别的点云一定属于不同个体的）。实例分割对同一实例个体赋予同一标签，这与语义分割是保持一致的（同一个体的点云一定属于同一类别）。本文利用这层关系实现两种任务的共赢。并设计了ASIS模块，实现精度的相互提升。
[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham
本文思路：
通过网络获取语义标签和实例标签，通过后续优化融合两种标签，达到共赢（和上文的不同在于，一个在前端融合，一个在后端融合）
创新点：
MT-PNet+MV-CRF
介绍:
本文提出了一种多任务逐点处理的网络，同时实现两种任务：预测点云的语义类别；将点云转换为高维向量，致使相同实例的点云有着近似的表达。另外，本文提出了多值条件随机场去协调语义和实例标签。（语义分割和实例分割，这两个问题通常被单独处理，实例分割是语义分割的后续处理步骤，然而，两者之间是相互作用的，对于实例分割，实例的外形和容貌特征提取有助于区分物体种类，另一方面，不同类别的点云是不可能属于同一个实例的。这篇文章和上面有一篇论文很像。）
[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu
本文思路：
基于语义分割结果，实现实例分割
创新点：
多尺度的数据的关联性预测
介绍:
文章利用U-Net和submanifold sparse convolutions卷积处理整个室内场景点云，对每个点类别预测（语义分割）。另外，对不同尺度下相邻体素之间的关联性预测，结合语义标签，利用简单而有效的聚类算法得到点云的实例标签。
[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang
本文思路：
语义分割和实例分割结合
创新点：
新颖的损失函数
介绍:
利用SSCNet得到语义标签和实例标签，并在该网络后增加GCN网络，对实例分割结果细化。
[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich
本文思路：
语义分割和实例分割结合
创新点：
2D和3D结合
介绍:
本文的有点在于展现了2D和3D结合的网络框架用于联合语义和实例分割；同时展现了如何实现规则的2D特征和不规则的3D点云特征的融合。
注：补充网络（来源于ScanNet）
Occipital-SCS:
DPC-instance
Seg-cluster
MaskRCNN proj.
参考文献
Proposal-based
[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.
[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.
[3] Hou J , Dai A , Nie?ner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.
[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.
Proposal-free
[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.
[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.
[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.
[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.
[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.
[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird's-Eye-View Instance Segmentation[J]. 2019
记得点击右下角“好看”
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20190903A0KQB000?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
