随机采样导致网络丢失一定信息, 为了学习局部点云空间信息特征, 设计局部特征编码器(LFE), 利用位置表示和角度信息, 提升空间角度旋转鲁棒性, 并利用空间距离, 通过注意力增强原始特征, 可以学习到较完整的点云空间结构特征信息, 解释区域内不同物体的区别.

假设给定带有点云坐标和附加特征(RGB、法线等)点云集合P, LFE模块嵌入输入的点云坐标中, 利用极坐标系代替笛卡尔坐标系, 可以保证点云Z轴的旋转不变性.对于一个点p_i, 利用欧氏距离的邻域搜索算法(K-Nearest Neighbor, KNN)进行邻域点的搜索.中心点p_i和邻域点 pik之间的水平方向角和垂直方向角可表示为

$\phi _{i}^{k}=\arctan \left( \frac{y_{i}^{k}}{x_{i}^{k}} \right), $

$\varphi _{i}^{k}=\arctan \left( \frac{z_{i}^{k}}{\sqrt{x{{_{i}^{k}}^{^{2}}}+y{{_{i}^{k}}^{^{2}}}}} \right), $

其中( xik, yik, zik)表示笛卡尔坐标系中的相对坐标.

寻找邻域范围内的质心, 质心的计算为邻域内点坐标的平均值, 减去质心和中心点之间的水平方向角和垂直方向角, 对上述的角度进行更新, 得到更新后的相对水平方向角和垂直方向角:

$\phi {{_{i}^{k}}^{\prime }}=\phi _{i}^{k}-{{\theta }_{i}}, $

$\varphi {{_{i}^{k}}^{\prime }}=\varphi _{i}^{k}-{{\gamma }_{i}}, $

其中, θ _i、γ _i表示局部点云内质心和中心点之间的水平方向角和垂直方向角.

更新得到相对水平方向角 ϕik'和垂直方向角 φik'后, 根据局部方向角的设定, 位置编码特征信息中再添加相对坐标和欧氏距离, 这样可充分将点云空间结构和相对位置关系映射到网络中.特征信息拼接后进行MLP, 得到六维位置编码特征:

rik=MLP(p_i- pik$\oplus$ ϕik'$\oplus$ φik'$\oplus$‖ p_i- pik‖ ), (1)

其中, p_i、 pik表示点的x-y-z坐标, $\oplus$表示拼接, ‖ · ‖ 表示点和点之间的欧氏距离.图1是局部点云相对角度表示示意图.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 局部点云之间相对角度表示示意图Fig.1 Sketch map of relative angle representation of local point clouds

对于每个邻域点特征f ik, 利用注意力机制学习更重要的特征.这里利用特征空间的中心点特征和邻域点特征的距离差对其进行注意力的学习, 可增强原始点与点之间特征相似性.基于特征差的空间特征距离为:

f disk=exp(-mean(|f(i)-f(k)|)),

其中, f(i)表示第i个点的输入特征向量, f(k)表示第k个点的输入特征向量, |· |表示L1范数, mean(· )表示平均值, exp(· )表示负指数函数.

利用共享函数g(· )学习注意力得分, 函数g(· )由一个共享MLP和一个Softmax组成.学习的注意力打分

$s_{i}^{k}=g\left( f_{dis}^{k}, W \right)$,

其中W表示共享MLP中可以学习的权重.

通过学习到的注意力打分, 对邻域点特征f ik进行加权学习, 得到基于特征距离的注意力机制, 可以自动选择更加重要的特征, 从而得到增强后的特征:

$\tilde{f}_{i}^{k}=f_{i}^{k}\cdot s_{i}^{k}$.(2)

在由式(1)得到局部位置编码特征和由式(2)得到基于注意力的邻域特征后, 拼接二者, 得到增强后的局部特征:

cik= rik$\oplus$ f~ik.

拼接后的特征信息 cik, 既对空间位置信息进行学习, 又对邻域特征进行注意力学习加强.整体的局部特征编码器框架图如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 局部特征编码器框架Fig.2 Structure of local feature encoder

原始数据集点云数目较庞大, 需要通过特征学习聚合原始点云, 实现一点代替多点的作用, 网络学习中点云数目的减少可有效降低内存开销和节约时间成本, 因此, 本文设计混合池化聚合模块(MPP), 聚合经过LFE模块后的特征, 降低点云数目.

混合池化主要利用最大池化操作和平均池化操作, 聚合LFE学习到的局部特征信息 cik, 作为点云分割的PointNet, 采用最大池化的方法聚合逐点提取的特征, 可保证点云的排序不变性, 明显的缺点就是丢失大量的信息.为了弥补这一弊端, MPP模块利用平均池化操作学习均值特征信息.在最大池化学习到概括邻域的充分信息基础上添加平均池化学习的均值特征信息, 可以自动聚合点的信息.MPP模块得到的特征为:

$\hat{c}=\max \left( c_{i}^{k} \right)$,

$\bar{c}=avg\left( c_{i}^{k} \right)$,

其中, max(· )表示最大池化操作, avg(· )表示平均池化操作.

得到的特征进行拼接后, 经过一个共享的MLP, 得到一个较丰富的特征向量:

$\hat{f}_{i}^{k}=MLP\left( \hat{c}\oplus \bar{c} \right)$.

MPP模块框架如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 混合池化聚合模块框架Fig.3 Structure of mixed pooling polymerization module

目前在点云分割中使用最多的采样方法为最远点采样(Farthest Point Sampling, FPS)和随机采样(Random Sampling, RS).FPS的采样时间和消耗内存都高于RS, 会导致采样不均匀.RS则会导致局部出现稀疏甚至丢失点云信息的情况, 但时间和消耗内存都远小于其它算法, 因此可以利用局部特征聚合的方法弥补上述缺点.本文在编码层采用RS采样方式.

解码层网络需要将聚合的点云特征还原到初始尺度的点云, 针对点云数据集上点云数量较庞大的问题, 本文采用最近邻插值进行上采样.

大场景点云分割中一些同类别物体往往多是邻近的, 网络在经过一次编码之后, 如果可以尽可能使用一个或多个点信息代替更多点的信息, 对于提升区域内感受野将是非常有效的.

为了实现上述目的, 本文设计扩张感受野模块(DRFB), 扩大点云感受野.在1.1节和1.2节中提取的特征即是点云场景中的局部特征, 为了自动增强邻域有用特征, 本文利用残差块引入全局特征.该方式不仅在三维点云语义分割中使用, 在二维图像分割中也是一个常见的处理操作.

本文采用的采样方式为随机采样, 会导致点云大幅减少.DRFB模块的核心是LFE模块和MPP模块的扩展使用.经多次实验和经验证实, 两次的扩展效果最好.

DRFB模块框架如图4所示.图5为局部区域内点云感受野扩大演示图, 图中彩点表示聚合特征.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 扩张感受野模块框架Fig.4 Structure of dilated receptive field block

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 点云感受野扩大示意图Fig.5 Expansion of receptive field of point cloud

大场景点云分割中常用的插值方法是最近邻插值, 还有类似的插值方法(双线性插值、双三次插值等)^[24].最近邻插值是较简单的一种插值方法.当利用插值的方法还原原始点云的特征图时, 常会出现标签丢失或分配错误的情况.很多算法利用跳跃拼接的方法将编码层相同尺度的特征信息进行拼接, 同时结合编码层信息, 缺点是忽略不同尺度的点云信息, 导致场景内个别点云错分割的情况.

本文设计多尺度融合模块(MSFM), 采用类似于金字塔的结构进行解码, 与插值方法不同的是, MSFM模块没有采用自适应融合方式, 而是在解码层将不同层次编码层特征利用近邻插值方式进行上采样, 再通过MLP达到相同的维度, 然后融合获取的不同的尺度特征, 保证在基本概括每个点的同时降低网络的计算量.解码层的输出为

${{S}_{\text{out}}}=Concat(\overset{\tilde{\ }}{\mathop{{{S}_{1}}}}\, , \overset{\tilde{\ }}{\mathop{{{S}_{2}}}}\, , ..., \overset{\tilde{\ }}{\mathop{{{S}_{M}}}}\, )$

其中, $(\overset{\tilde{\ }}{\mathop{{{S}_{1}}}}\, , \overset{\tilde{\ }}{\mathop{{{S}_{2}}}}\, , ..., \overset{\tilde{\ }}{\mathop{{{S}_{M}}}}\, )$分别表示解码层不同尺度层次的特征信息.

MSFM模块覆盖解码层和编码层, 融合不同尺度层次信息, 较全面概括场景点云.该模块具体框架如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 多尺度融合模块框架Fig.6 Structure of multi-scale fusion module

CFL-Net的网络架构如图7所示, 由编码块和解码块组成.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 CFL-Net架构图Fig.7 Architecture of CFL-Net

1)编码块.大小为N× din(N表示点数, din表示维度)的点云首先送入一个全连接层中, 用于转换通道维度.接下来编码层通过DRFB模块逐层提取局部上下文特征和全局上下文特征, 编码块分别具有32、128、256、512个输出通道, 输入点云的个数按照下降率为4的随机采样减少.

2)解码块.解码块主要通过MSFM模块进行操作, 本文没有使用像RandLA-Net一样跳跃连接的方式.在编码层将不同尺度的点云特征分别利用最近邻插值完成上采样, 还原到相同原始点云数目后再进行拼接融合, 送入分类器中进行打分, 利用softmax函数预测N× nclass(N表示点数, nclass表示类数量)语义标签.此外, 使用交叉熵损失训练网络, 学习率为0.01.

本文选用S3DIS^[25]、SemanticKITTI^[26]数据集进行实验.

S3DIS数据集由6个大区域的272个房间组成, 采集方式是使用Matterport相机收集数据, 以数据为基础生成额外的RGB-D数据, 并对网格进行采样制作成点云.为了评估CFL-Net的语义分割性能, 在实验中使用标准的6倍交叉验证.网络设置的批尺寸大小为4, 由于每个场景的点云数目各不相同, 对于不同的场景本文给予不同的点云输入, 输入点数大致为30 000~38 000, 使用学习率为0.01的Adam(Adaptive Moment Estimation)优化器, 每个场景(Area1-Area6)都经历100个迭代周期的训练.

SemanticKITTI数据集由43 552个密集注释的激光雷达扫描组成, 有22个序列.每次扫描都是一个带有10⁵个点的大型点云.正式来说, 序列00~07和09~10(19 130次扫描)用于训练, 序列08(4 071次扫描)用于验证, 序列11~21(20 351次扫描)用于在线测试.原始三维点只有三维坐标, 无颜色信息.

本文采用总体精确度(Overall Accuracy, OA)、平均类别准确度(Mean Accuracy, mAcc)和类别平均交并比(Mean Intersection over Union, mIoU)作为评价指标.假设实验中的类别一共有k类, 定义p_ii表示类别i的预测标签等于真实标签的个数, p_ij表示类别i的预测标签为j的个数, 那么mIoU指标可以表示为

mIoU= 1k∑i=0k-1[p_ii( ∑j=0k-1p_ij+ ∑j=0k-1p_ji-p_ii)^-1],

mAcc可以表示为

mAcc= 1k∑i=0k-1[p_ii( ∑j=0k-1p_ij)^-1],

OA可以表示为

OA= ∑i=0k-1pii∑i=0k-1∑j=0k-1pij.

为了验证CFL-Net的先进性和有效性, 选择如下对比网络:PointNet^[5]、RandLA-Net^[7]、KPConv^[8]、SSP+SPG(Supervized SuperPoint+Superpoint Gra- phs)^[11]、RSNet(Recurrent Slice Network)^[27]、SPG (Superpoint Graph)^[28]、PointCNN^[29]、Point-Web^[30]、ShellNet^[31]、PointASNL^[32]、SCF-Net^[33]、 CBL(Contras- tive Boundary Learning)^[34]、RangeNet++^[35]、Polar- Net^[36]、STPC(Spatial Transformer Point Convolu- tion)^[37]、MPF(Multi-projection Fusion)^[38].

在S3DIS数据集上使用6折交叉验证的方法.各网络对S3DIS数据集上13个类别物体的性能对比如表1所示, 各网络在S3DIS数据集上的指标值对比如表2所示, 表中黑体数字表示最优值.表1中mIoU表示每个类别在6折交叉验证得到的平均交并比, 表2中mIoU表示13个类别平均后得到的6折交叉验证结果.

表1

Table 1

表1(Table 1)

表1 各网络在S3DIS数据集13个类别上的mIoU对比 Table 1 mIoU comparison of 13 categories of each network on S3DIS dataset % 网络 Ceiling Floor Wall Beam Column Window Door Table Chair Sofa Bookcase Board Clutter PointNet 88.0 88.7 69.3 42.4 23.1 47.5 51.6 54.1 42.0 9.6 38.2 29.4 35.2 RSNet 92.5 92.8 78.6 32.8 34.4 51.6 68.1 59.7 60.1 16.4 50.2 44.9 52.0 SPG 89.9 95.1 76.4 62.8 47.1 55.3 68.4 73.5 69.2 63.2 45.9 8.7 52.9 PointCNN 94.8 97.3 75.8 63.3 51.7 58.4 57.2 71.6 69.1 39.1 61.2 52.2 58.6 PointWeb 93.5 94.2 80.8 52.4 41.3 64.9 68.1 71.4 67.1 50.3 62.7 62.2 58.5 ShellNet 90.2 93.6 79.9 60.4 44.1 64.9 52.9 71.6 84.7 53.8 64.6 48.6 59.4 PointASNL 95.3 97.9 81.9 47.0 48.0 67.3 70.5 71.3 77.8 50.7 60.4 63.0 62.8 KPConv 93.6 92.4 83.1 63.9 54.3 66.1 76.6 57.8 64.0 69.3 74.9 61.3 60.3 RandLA-Net 93.1 96.1 80.6 62.4 48.0 64.4 69.4 69.4 76.4 60.0 64.2 65.9 60.1 SCF-Net 93.3 96.4 80.9 64.9 47.4 64.5 70.1 71.4 81.6 67.2 64.4 67.5 60.9 CBL 94.1 94.2 85.5 50.4 58.8 70.3 78.3 75.7 75.0 71.8 74.0 60.0 62.4 CFL-Net 93.7 96.6 81.8 67.7 51.7 64.7 72.5 73.0 84.4 71.9 65.9 68.7 62.4

表1 各网络在S3DIS数据集13个类别上的mIoU对比 Table 1 mIoU comparison of 13 categories of each network on S3DIS dataset %

表2

Table 2

表2(Table 2)

表2 各网络在S3DIS数据集上的指标值对比 Table 2 Index value comparison of different networks on S3DIS dataset 网络 出处 点数 mIoU/% OA/% mAcc/% PointNet 2017(CVPR) - 47.6 78.6 66.2 RSNet 2018(CVPR) - 56.5 - 66.5 SPG 2018(CVPR) - 62.1 86.4 73.0 PointCNN 2019(CVPR) - 65.4 88.1 75.6 PointWeb 2019(CVPR) - 66.7 87.3 76.2 ShellNet 2019(ICCV) - 66.8 87.1 - PointASNL 2020(CVPR) - 68.7 88.8 79.0 KPConv 2019(ICCV) - 70.6 - 79.1 RandLA-Net 2020(CVPR) 40000 70.0 88.0 82.0 SCF-Net 2021(CVPR) 40000 71.6 88.4 82.7 CBL 2022(CVPR) - 73.1 89.6 79.4 CFL-Net 35000 73.2 89.1 83.7

表2 各网络在S3DIS数据集上的指标值对比 Table 2 Index value comparison of different networks on S3DIS dataset

由表1和表2可看出, CFL-Net的mIoU值在每个类别上并不都是最高的, 但是对于结构相似复杂和较小的物体(Sofa、Beam和Chair等), CFL-Net表现出较优性能, 这也表明CFL-Net的有效性.

为了验证CFL-Net的可靠性, 在S3DIS数据集内比较具有挑战性的场景5(Area5)上进行单独的对比实验, 各网络指标值对比如表3所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 各网络在S3DIS数据集内区域5上的指标值对比 Table 3 Index value comparison of Area 5 of each network on S3DIS dataset % 网络 mIoU mAcc PointNet - 49.0 PointWeb 60.2 66.6 PointCNN 57.3 - SPG 58.0 66.5 SSP+SPG 61.7 68.2 RandLA-Net 62.5 - SCF-Net 63.8 - CBL 69.2 75.2 CFL-Net 66.2 87.3

表3 各网络在S3DIS数据集内区域5上的指标值对比 Table 3 Index value comparison of Area 5 of each network on S3DIS dataset %

由表3可看出, CLF-Net基本领先于其它对比网络, 即使在mIoU值上未超过CBL, 但是在mAcc值上远高于CBL.

由于SemanticKITTI数据集的场景和点云数量都多于S3DIS数据集, 分割类别种类也多, 原始点云还不包含颜色信息, 所以更加具有挑战性.本文在SemanticKITTI数据集上进行相应的分割测试, 各网络具体mIoU值对比如表4所示, 各类别的mIoU值对比如表5和表6所示, 表中黑体数字表示最优值.表4的mIoU表示各网络对19个类别的平均交并比, 表5和表6的mIoU表示19个类别平均后的交并比结果.

表4

Table 4

表4(Table 4)

表4 各网络在SemanticKITTI数据集上的mIoU值对比 Table 4 mIoU comparison of different networks on SemanticKITTI dataset 网络 点数 mIoU/% PointNet 50000 14.6 SPG 50000 17.4 PointNet++ 50000 20.1 PointASNL 50000 46.8 RangeNet++ - 52.2 RandLA-Net 50000 53.9 PolarNet - 54.3 STPC 50000 54.6 MPF - 55.5 CFL-Net 35 000 55.7

表4 各网络在SemanticKITTI数据集上的mIoU值对比 Table 4 mIoU comparison of different networks on SemanticKITTI dataset

表5

Table 5

表5(Table 5)

表5 各网络在SemanticKITTI数据集9个类别上的mIoU值对比 Table 5 mIoU comparison of 9 categories of each network on SemanticKITTI dataset % 网络 Car Bicycle Motorcycle Truck Other-vehicle Person Bicyclist Motorcyclist Road PointNet 46.3 1.3 0.3 0.1 0.8 0.2 0.2 0.0 61.6 SPG 49.3 0.2 0.2 0.1 0.8 0.3 2.7 0.1 45.0 PointNet++ 53.7 1.9 0.2 0.9 0.2 0.9 1.0 0.0 72.0 PointASNL 87.9 0.0 25.1 39.0 29.2 34.2 57.6 0.0 87.4 RangeNet++ 91.4 25.7 34.4 25.7 23.0 38.3 38.8 4.8 91.8 RandLA-Net 94.2 26.0 25.8 40.1 38.9 49.2 48.2 7.2 90.7 PolarNet 93.8 40.3 30.1 22.9 28.5 43.2 40.2 5.6 90.8 STPC 94.7 48.9 35.7 34.4 24.5 51.1 48.9 15.3 90.8 MPF 93.4 30.2 38.3 26.1 28.5 48.1 46.1 18.1 90.6 CFL-Net 94.1 32.6 37.8 40.3 31.3 51.2 54.1 17.4 90.4

表5 各网络在SemanticKITTI数据集9个类别上的mIoU值对比 Table 5 mIoU comparison of 9 categories of each network on SemanticKITTI dataset %

表6

Table 6

表6(Table 6)

表6 各网络在SemanticKITTI数据集另10个类别上的mIoU值对比 Table 6 mIoU comparison of other 10 categories of each network on SemanticKITTI dataset % 网络 Parking Sidewalk Other-ground Building Fence Vegetation Trunk Terrain Pole Traffic-sign PointNet 15.8 35.7 1.4 41.4 12.9 31.0 4.6 17.6 2.4 3.7 SPG 0.6 28.5 0.6 64.3 20.8 48.9 27.2 24.6 15.9 0.8 PointNet++ 18.7 41.8 5.6 62.3 16.9 46.5 13.8 30.0 6.0 8.9 PointASNL 24.3 74.3 1.8 83.1 43.9 84.1 52.2 70.6 57.6 36.9 RangeNet++ 65.0 75.2 27.8 87.4 48.6 80.5 55.1 64.6 47.9 55.9 RandLA-Net 60.3 73.7 20.4 86.9 56.3 81.4 61.3 66.8 49.2 47.7 PolarNet 61.7 74.4 21.7 90.0 61.3 84.0 65.5 67.8 51.8 57.5 STPC 63.6 74.1 5.3 90.7 61.5 82.7 62.1 67.5 51.4 47.9 MPF 62.3 74.5 30.6 88.5 59.7 83.5 59.7 69.2 49.7 58.1 CFL-Net 58.4 73.4 19.1 88.0 57.8 81.4 62.1 66.3 51.8 51.3

表6 各网络在SemanticKITTI数据集另10个类别上的mIoU值对比 Table 6 mIoU comparison of other 10 categories of each network on SemanticKITTI dataset %

由表4可知, CFL-Net性能较优, 由此说明CFL-Net的有效性.

对于一些复杂较小的物体, CFL-Net表现出较优性能, 这主要得益于CFL-Net局部编码器精炼位置信息和角度信息, 并且对特征进行增强, 对于局部特征提取的鲁棒性较优.

对于一些较稀疏和庞大的物体, 分割性能一般, 主要是由于在全局特征和局部特征关联上提取不充足.虽然CFL-Net的最优表现较少, 但是大多数接近于较优.

实验对比说明, CFL-Net的实验结果优于一些先进的网络, 这也间接验证CFL-Net设计的有效性.

针对模型参数计算量大小问题, 本文选择Point-Net、KPConv、RandLA-Net、SCF-Net、CBL作为对比网络.

各网络参数量和mIoU直观对比如图8所示, 通过对比图也可以看出, CFL-Net在复杂度和精度上基本都是最优的.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同网络参数精度直观对比图Fig.8 Visual comparison of different network parameter accuracies

各网络在S3DIS、SemanticKITTI数据集上的复杂性分析如表7和表8所示, 表中黑体数字表示最优值.

表7

Table 7

表7(Table 7)

表7 各网络在S3DIS数据集上的语义复杂性分析 Table 7 Semantic complexity analysis of different networks on S3DIS dataset 网络 参数量/M 推理时间/s mIoU/% PointNet 3.6 - 47.6 KPConv 15.0 600.0 70.6 RandLA-Net 5.0 - 70.0 SCF-Net 12.1 563.6 71.6 CBL 18.6 - 73.1 CFL-Net 6.1 520.0 73.2

表7 各网络在S3DIS数据集上的语义复杂性分析 Table 7 Semantic complexity analysis of different networks on S3DIS dataset

表8

Table 8

表8(Table 8)

表8 各网络在SemanticKITTI数据集上的语义复杂性分析 Table 8 Semantic complexity analysis of different networks on SemanticKITTI dataset 网络 参数量/M mIoU/% PointNet 3.5 14.6 PointNet++ 6 20.1 RangeNet++ 50 52.2 RandLA-Net 1.2 53.9 PolarNet 14 54.3 CFL-Net 1.5 55.7

表8 各网络在SemanticKITTI数据集上的语义复杂性分析 Table 8 Semantic complexity analysis of different networks on SemanticKITTI dataset

CFL-Net参数计算量虽然略高于RandLA-Net, 但是相比RandLA-Net, mIoU值在S3DIS数据集上提高3.2%, 在SemanticKITTI数据集上提高1.8%, 而且CFL-Net的计算量小于SCF-Net, 因此效果也更优.

为了验证CFL-Net每个模块设计的必要性及有效性, 本文针对每个模块在S3DIS数据集的Area5上进行单独的训练和测试, 具体消融实验如下.

为了验证加入水平方向角和垂直方向角的有效性, 在位置编码特征信息中选取不同的组合, 具体如下表示.

1)组合1.

rik=MLP(p_i$\oplus$ pik).

2)组合2.

rik=MLP(p_i$\oplus$ pik$\oplus$‖ p_i- pik‖ ).

3)组合3.

rik=MLP(p_i$\oplus$ pik$\oplus$ ϕik'$\oplus$ φik').

4)组合4(CFL-Net).

rik=MLP(p_i- pik$\oplus$ ϕik'$\oplus$ φik'$\oplus$‖ p_i- pik‖ ).

5)组合5.

rik=MLP(p_i$\oplus$ pik$\oplus$ ϕik'$\oplus$ φik'$\oplus$‖ p_i- pik‖ ).

6)组合6.

rik=MLP(p_i$\oplus$ pik$\oplus$p_i- pik$\oplus$ ϕik'$\oplus$ φik'‖ pi_- pik‖ ).

各组合在S3DIS数据集上的mIoU值对比如表9所示, 表中黑体数字表示最优值.由表可见, 添加方向角比一些网络使用相对直角坐标位置更有效.

表9

Table 9

表9(Table 9)

表9 不同编码组合对算法的影响 Table 9 Effect of different coding combinations on algorithm % 组合 mIoU Area5 6折交叉 组合1 54.2 62.2 组合2 54.2 61.1 组合3 59.5 66.3 组合4 66.2 73.2 组合5 59.0 64.7 组合6 59.2 67.1

表9 不同编码组合对算法的影响 Table 9 Effect of different coding combinations on algorithm %

RandLA-Net只将编码的局部位置信息和邻域点特征拼接组成局部特征编码模块, CFL-Net利用注意力机制对特征进行加权学习.RandLA-Net和CFL-Net在S3DIS数据集上的mIoU值对比如表10所示.由表可见, 注意力机制可提升网络的有效性.

表10

Table 10

表10(Table 10)

表10 注意力机制对算法的影响 Table 10 Effect of attention mechanism on algorithm % 网络 mIoU Area5 6折交叉 RandLA-Net 62.8 70.2 CFL-Net 66.2 73.2

表10 注意力机制对算法的影响 Table 10 Effect of attention mechanism on algorithm %

很多网络在聚合特征模块使用自注意力池化, 而CFL-Net使用最大池化和平均池化组合的方式.各种池化方式的mIoU值对比如表11所示, 表中黑体数字表示最优值.由表可见, 最大池化+平均池化会降低网络的计算量.如果将两种池化单独使用会导致很多信息丢失, 效果不佳.删除平均池化, 网络的mIoU值下降约4%, 删除最大池化, 网络的mIoU值下降约3%, 都大幅降低算法效果.使用平均池化的方法在理论上也聚合局部特征, 提取模块学习的特征, 但是从宏观上看, 没有最大池化概括总体特征, 也会导致分割精度不高.

表11

Table 11

表11(Table 11)

表11 池化方式对算法的影响 Table 11 Effect of pooling methods on algorithm % 池化方式 mIoU Area5 6折交叉 最大池化 58.9 65.5 平均池化 59.4 67.4 自注意力池化 60.5 70.4 最大池化+平均池化 66.2 73.2

表11 池化方式对算法的影响 Table 11 Effect of pooling methods on algorithm %

搜索邻域点常使用搜索方式是邻域搜索(KNN)和球查询(Ball Query).球查询不用针对每个点, 利用欧氏距离搜索的方式进行搜索, 而是划定一个球域且选择其内的点, 在计算量方面略小于KNN搜索.为了保证网络获取点云的均匀性和一致性, 本文采取的方式为KNN搜索.针对K值的选择, 在S3DIS、Seman-ticKITTI数据集上进行对比实验, 具体mIoU值如表12所示, 表中黑体数字表示最优值.由表可见, K=16时CFL-Net性能最优.

表12

Table 12

表12(Table 12)

表12 不同K值对算法的影响 Table 12 Effect of different K values on algorithm % K S3IDS SemanticKITTI Area1 Area2 Area3 Area4 Area5 Area6 2 36.7 31.2 33.3 32.1 39.5 35.4 22.1 4 57.1 46.1 56.6 44.4 53.8 59.9 45.5 8 68.8 57.4 71.1 59.8 62.5 75.5 52.3 16 76.8 62.9 79.5 64.0 66.2 82.0 55.7 32 73.1 54.4 73.2 56.1 61.3 71.1 50.1

表12 不同K值对算法的影响 Table 12 Effect of different K values on algorithm %

点云语义分割过程中遇到相似或者紧密连接的物体, 可能会误判为同种类别.针对此问题, 分别使用下采样和多尺度融合, 具体mIoU值如表13所示.

表13

Table 13

表13(Table 13)

表13 下采样和多尺度融合对算法的影响 Table 13 Effect of downsampling and multi-scale fusion on algorithm% mIoU Area5 6折交叉 下采样 60.0 70.3 多尺度融合 66.2 73.2

表13 下采样和多尺度融合对算法的影响 Table 13 Effect of downsampling and multi-scale fusion on algorithm%

由表13可看出, 将编码层和解码层同尺度的点云特征信息进行连接, 可提升分割效果.但由于分割过程中点云下采样的跨步较大, 一次随机采样会导致丢失很多点, 故利用多尺度还原特征进行尺度拼接可有效解决大量信息丢失的问题.

S3DIS数据集覆盖超过6 000 m², 包含约70 000个RGB图像, 以及相应的深度、表面法线、语义注释等信息, 但其室内空间狭小、形状类似以及环境摆放杂乱程度都会影响语义分割精度, 因此具有挑战性.本文针对比较典型的场景房间进行可视化测试.

CFL-Net在具有挑战性的Area5上的俯瞰语义分割结果如图9所示.由图可看出, CFL-Net在几十个房间的语义分割结果还是较为接近基准真值, 侧面说明CFL-Net的有效性.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 S3DIS数据集Area5场景上的俯瞰可视化语义分割结果Fig.9 Visual semantic segmentation results of Area5 scene on S3DIS dataset

CFL-Net和RandLA-Net在S3DIS数据集上的定性结果如图10所示.由图中红色标注的部分可看出, CFL-Net在语义分割上更优.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 S3DIS数据集上典型房间的可视化语义分割结果Fig.10 Visual semantic segmentation results of typical room on S3DIS dataset

SemanticKITTI数据集是由德国波恩大学开发的基于汽车Lidar大型户外数据集, 使用先进的光探测和测距传感器, 不受照明影响距离的精确测量.由于数据集上点数稠密、类别丰富、几何信息更精确, 因此具有挑战性.

本文经过测试后对其点云帧序列进行可视化, 语义分割可视化结果如图11所示.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 CFL-Net在SemanticKITTI数据集上的可视化语义分割结果Fig.11 Visual semantic segmentation results of CFL-Net on SemanticKITTI dataset