本文提出局部-非局部卷积模块为基本单元构成的卷积神经网络, 框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 局部-非局部交互卷积神经网络框图Fig.1 Architecture of local-nonlocal interactive convolution neural network

网络首先通过一个特征图卷积及四个局部-非局部卷积, 分层次地进行特征提取, 并将提取特征记为{F_t }t=15.再通过自适应系数{ ω˙t}t=15融合上述五组特征:

F_out= ∑t=15ω˙tMLP(F_t),

其中MLP(· )表示多层感知器.对融合后的特征F_out进行一次MLP, 获得一个全局特征表示:

F_global=MLP(F_out).

然后对得到的F_global进行最大池化(Max Pooling, Max)和平均池化(Mean Pooling, Mean)操作, 并拼接池化操作后的两个高维特征, 得到最终的形状描述子:

f_global=[Max(F_global)‖ Mean(F_global)],

其中‖ 表示矢量拼接操作.最后, 将f_global输入全连接网络中, 预测最终的分类得分.

给定一个具有N个点的点云X, 记为

X={x_i }i=1N∈ R^{N× (3+C)},

其中每个点含三维坐标p_i=(x_i, y_i, z_i), 并将

F={f_i }i=1N∈ R^{N× C}

记为点云中每个点的特征, 其中C为特征维度.对于每个点, 首先按照输入的坐标使用KNN寻找邻域点, 计算两点的距离:

Distance^X(p_i, p_j)=‖ p_i-p_j‖ ,

其中‖ · ‖ 表示欧几里得范数.至此可得到坐标空间下每个中心点p_i的k个最近邻点的索引idx^X.再按照索引idx^X找到对应的k个点的特征(f i1X, f i2X, …, f ikX), 方便后续进行特征聚合.同时根据找到的点计算邻域内的坐标差, 可得

M_i=( pi1-p_i, pi2-p_i, …, pik-p_i).

然后, 根据几何共享网络中的特征图卷积构造3D结构张量

C_i=M_i MTi,

对C_i进行特征值分解, 得

C_i=Q_iλ _i QTi,

其中, λ _i为对应的特征值, Q_i为特征值对应的特征向量.对于得到的特征值, 按从大到小的顺序排列为 λi1≥ λi2≥ λi3≥ 0, 即对于任一个点p_i, 根据上述操作可得对应的特征值λ _i=( λi1, λi2, λi3).最后, 将三维坐标替换为特征值, 再次使用KNN.需要注意地是, 此时应根据特征值计算两点的距离:

Distance^E(p_i, p_j)=‖ λ _i-λ _j‖ .

同样地, 也可得到一个关于特征值空间的索引值idx^E及对应的特征(f i1E, f i2E, …, f ikE).最后根据得到的特征值和特征向量扩充网络的初始坐标输入:

F₁=MLP([p_i‖ λ _i‖ Re(Q_i)]),

其中Re(· )表示Reshape维度打平操作.

由1.2节可知, 经过特征图卷积后得到输入特征F₁、坐标空间的索引idx^X和特征值空间的索引idx^E.如图2所示, 在局部-非局部卷积模块中, 对于第l层中任一个点p_i, 始终按照两种索引, 通过两个分支分别对其特征进行拼接, 得到局部特征{H ijlX}j=1k和非局部特征{H ijlE}j=1k, 对于∀ j=1, 2, …, k,

H ijlX=[f ilX‖ (f ijlX-f il)], H ijlE[f ilE(f ijlEf il],

其中, l=2, 3, 4, 5, 表示网络层数.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 局部-非局部交互卷积模块结构图Fig.2 Structure of local-nonlocal interactive convolution module

为了提取更丰富的特征, 传统方法通常会加深网络层数.然而, 简单的堆叠卷积层可能会产生网络退化问题.随着网络加深, 特征的学习也容易出现冗余问题.为了缓解上述问题, 本文采用残差连接^[18]对同种特征在相邻层之间传输信息进行交互作用, 得到局部残差特征{ H︿ijlX}j=1k和非局部残差特征{ H︿ijlE}j=1k:

H︿ijlX=H ijlX+ Hij(l-1)X, H︿ijlEH ijlEHij(l-1)E

其中+表示逐点相加.当且仅当l=2时,

H︿ij2X=H ij2X=[f i2X‖ (f ij2X-f i2)], H︿ij2EH ij2E[f i2E(f ij2Ef i2].

值得注意地是, 不同于DGCNN^[14]等在卷积网络中动态更新图结构, 即每层都生成新的索引构造新图, 但又考虑到每个卷积层都重新构图的复杂性, 本文在保留所有输入点的前提下仅构图一次, 并在之后始终使用已得到两种索引构图, 通过加深网络的方法达到尽可能让每个点包含更多其余点的特征信息的目的, 甚至效果更优.

然而, 此做法可能不足以表示每个邻域, 原因如下:1)三维空间中固定约束下的特征学习会削弱点在高维特征空间中的泛化能力; 2)邻域在表示封闭区域时可能存在冗余问题.

为了解决这些问题并增强特征的泛化能力, 本文通过两分支的交互作用增强每个分支中的特征.具体而言, 首先根据非局部残差特征和局部索引点特征学习得到局部增强特征 f˙ijlXj=1k,

f˙ijlX=MLP H︿ijlE+f ijlX,

并补充到局部残差特征中, 得到局部交互特征{ SijlX}j=1k,

SijlX= H︿ijlX‖f˙ijlX.

再根据局部交互特征和非局部索引点特征学习得到非局部增强特征 f˙ijlEj=1k,

f˙ijlE=MLP H︿ijlX+f ijlE,

并补充到非局部残差特征中作为非局部交互特征{ SijlE}j=1k,

SijlE= H︿ijlE‖f˙ijlE.

最后, 拼接两组交互后的特征, 实现特征融合.但此时特征表示的依旧是整个邻域的特征, 所以本文使用MLP和Max操作, 将邻域点的特征聚合到中心点上, 同时得到第l层的输出, 作为第l+1层的输入:

F_l= Maxj∈[1, k]{MLP([ SijlX‖ SijlE])}.

在深度学习中, 低层次的特征具有较强的几何信息, 而高层次的特征具有较强的语义信息, 较好地融合不同层次的特征, 可获得更丰富且更具有区分度的特征, 进一步提高网络的分类性能.矢量拼接是一种经典的特征融合方法, 但忽略不同层次特征的重要性区别.为了更合理地融合不同层次的特征, 本文设计自适应特征融合方法, 用于点云分类.首先分别为不同层次的特征分配初始影响权重, 然后自适应地调整权重, 使各层次特征可得到更有效的融合, 具体做法如下.

经过之前的操作, 网络通过卷积模块共输出5组特征:F₁, F₂, F₃, F₄, F₅, 并且具有不同的通道维度.

为了实现多层次特征融合, 首先通过MLP操作将5个不同维度的特征映射到同一通道维度(128)以便于逐点相加.再给定任意权重向量ω ={ω _t }t=15, 使用softmax函数归一化到[0, 1]后, 作为实际的初始权重, 即

ω˙t= exp(ωt)∑t=15exp(ωt),

其中ω 在训练过程中通过梯度反向传播算法学习.最后, 将权重与对应特征相乘, 得到融合特征:

F_out= ω˙1MLP(F₁)+ ω˙2MLP(F₂)+ ω˙3LP(F3₎+ ω˙4LP(F4₎+M ω˙5P(F5)_.

在训练阶段, 本文使用与DGCNN^[14]相同的训练策略, 基于标签平滑策略(平滑因子为0.2), 使用交叉熵损失函数计算损失, 并使用整体精度(Overall Accuracy, OA)和类平均精度(mean Accu-racy, mAcc)作为分类的评价指标.

在NVIDIA GeForce RTX 2080Ti GPU上进行实验, 并使用随机梯度下降(Stochastic Gradient De-scent, SGD)优化器进行优化.局部-非局部交互卷积神经网络各层中参数的尺寸如表1所示.训练轮数为500轮, 初始学习率为0.1, 随后通过余弦退火函数衰减到0.001, 批量大小为12, 随机种子数为1, 动量系数为0.9.

表1

Table 1

表1(Table 1)

表1 局部-非局部交互卷积神经网络中各层参数设置 Table 1 Parameter settings of each layer of local-nonlocal interactive convolution neural network 层名 输入尺寸 输出尺寸 输入层 B× N× 3 - 特征图卷积层 B× N× 3 B× N× 64 局部-非局部卷积层1 B× N× 64 B× N× 64 局部-非局部卷积层2 B× N× 64 B× N× 64 局部-非局部卷积层3 B× N× 64 B× N× 64 局部-非局部卷积层4 B× N× 64 B× N× 128 自适应特征融合层 B× N× {128i }i=15 B× N× 1024 最大池化层 B× N× 1024 B× 1× 1024 平均池化层 B× N× 1024 B× 1× 1024 拼接层 B× 1× {1024i }i=12 B× 1× 2048 全连接层 B× 1× 2048 {512, 256, c}

表1 局部-非局部交互卷积神经网络中各层参数设置 Table 1 Parameter settings of each layer of local-nonlocal interactive convolution neural network

本文选择ModelNet40^[19]、ScanObjectNN^[20]数据集进行实验.ModelNet40数据集是3D形状分类任务中常用的基准数据集, 主要由40个类别的12 311个CAD生成网格组成, 其中9 843个用于训练, 其余2 468个用于测试.此外, 从网格表面均匀采样相应的数据点, 再通过移动到原点并缩放到单位球体进行进一步预处理.对于文中每个点云样本, 只输入1 024个点的三维坐标.

ScanObjectNN数据集是一个新发布的现实世界对象数据集, 包含15个类别约15 000个对象.尽管类别少于ModelNet40数据集, 但由于复杂的背景、缺失的部分和各种变形, 比合成的同类数据集更具有实际挑战性.

为了在训练阶段增加样本数量并提高样本的多样性, 本文采用如下两种数据增强方式:1)在[-0.8, 1.25]范围内对已有数据进行随机各向异性缩放; 2)对已有数据增加服从N(0, 0.01)分布的随机抖动.

本文选取如下对比方法:PointNet^[4]、PointNet++^[5]、SpiderCNN^[11]、PointCNN^[12]、ECC^[13]、DGCNN^[14]、SO-Net(Self-Organizing Network)^[21]、Kd-Network^[22]、ConvPoint(Continuous Convolutions for Point Cloud Processing)^[23]、PCNN(Point CNN)^[24]、PointConv^[25]、A-CNN(Annularly CNN)^[26]、RS-CNN(Relation-Shape CNN)^[27]、GAPointNet(Graph Attention Based Point Neural Network for Exploiting Local Feature of Point Cloud)^[28]、DRNet(Dense-Resolution Network)^[29]、PointASNL(Robust Point Clouds Processing Using Nonlocal Neural Networks with Adaptive Samp-ling)^[30]、Geo-CNN(Geometric-Induced CNN)^[31]、3DmFV(3D Modified Fisher Vector)^[32]、PointGLR(Point Global-Local-Bidirectional Reasoning)^[33].

各方法在ModelNet40、ScanObjectNN数据集上的分类精度如表2和表3所示, 表中黑体数字表示最优结果.

表2

Table 2

表2(Table 2)

表2 各方法在ModelNet40数据集上的分类精度 Table 2 Classification accuracy of different methods on ModelNet40 dataset 方法 输入格式 输入点数 mAcc/% OA/% ECC 坐标 1024 83.2 87.4 PointNet 坐标 1024 86.0 89.2 PointNet++ 坐标 1024 89.0 89.9 SO-Net 坐标+法向量 2048 87.3 90.9 Kd-Network 坐标 32768 88.5 91.8 SpiderCNN 坐标+法向量 5120 89.0 91.8 ConvPoint 坐标 1024 88.5 91.8 PointCNN 坐标 1024 88.1 92.2 PCNN 坐标 1024 - 92.3 PointConv 坐标+法向量 1024 90.2 92.5 A-CNN 坐标+法向量 1024 90.3 92.6 DGCNN 坐标 1024 90.2 92.9 RS-CNN 坐标 1024 - 92.9 GAPointNet 坐标 1024 - 93.0 DRNet 坐标 1024 - 93.1 PointASNL 坐标+法向量 1024 - 93.2 Geo-CNN 坐标+法向量 1024 91.1 93.4 本文算法 坐标 1024 91.0 93.4

表2 各方法在ModelNet40数据集上的分类精度 Table 2 Classification accuracy of different methods on ModelNet40 dataset

表3

Table 3

表3(Table 3)

表3 各方法在ScanObjectNN数据集上的分类精度 Table 3 Classification accuracy of different methods on ScanObjectNN dataset 方法 输入格式 输入点数 mAcc/% OA/% 3DmFV 坐标 2048 58.1 63.0 PointNet 坐标 2048 63.4 68.2 SpiderCNN 坐标 2048 69.8 73.7 PointConv 坐标 2048 75.3 77.4 PointNet++ 坐标 2048 75.4 77.9 DGCNN 坐标 2048 73.6 78.1 PointCNN 坐标 2048 75.1 78.5 PointGLR 坐标 2048 78.0 80.3 本文算法 坐标 2048 78.8 81.6

表3 各方法在ScanObjectNN数据集上的分类精度 Table 3 Classification accuracy of different methods on ScanObjectNN dataset

由表2可看出, 在ModelNet40数据集上, 本文算法的OA值达到93.4%, 超过大多数方法或与其持平, mAcc值处于对比算法中的次优水平.同时值得注意地是, 本文算法输入仅为1 024个点的坐标信息, 而部分持平或被超越的方法采用输入更多的点数甚至选择输入更多的信息.这在一定程度上也体现本文算法优势.

由表3可看出, 在ScanObjectNN数据集上, 本文算法在采用相同输入格式和点数的情况下, mAcc值和OA值分别超出次优方法0.8%和1.3%, 大幅提高点云分类的性能.

除了对比分类精度之外, 本文也进行复杂性分析.为了公平起见, 在相同的条件(NVIDIA GeForce RTX 2080Ti)下进行测试.各方法的性能对比如表4所示.由表可看出, 本文算法在参数量上处于中等偏高的水平.虽然训练耗时相对较多, 但推理速度较快, 精度也较高.总之, 本文算法在复杂度和性能之间实现良好的权衡.

表4

Table 4

表4(Table 4)

表4 各方法在ModelNet40数据集上的性能对比 Table 4 Performance comparison of different methods on ModelNet40 dataset 方法 参数量 每轮 训练时间/s 每个样本 测试时间/ms 精度/% PointNet 3.7× 106 208.34 19.2 89.2 PointNet++ 1.8× 106 179.77 97.6 90.7 PCNN 8.2× 106 324.58 117.0 92.3 DGCNN 1.9× 106 92.99 6.1 92.9 本文算法 2.9× 106 537.88 17.6 93.4

表4 各方法在ModelNet40数据集上的性能对比 Table 4 Performance comparison of different methods on ModelNet40 dataset

本文采用T-SNE(T-distributed Stochastic Neigh-bor Embedding)^[34]对网络得到的部分形状描述子进行可视化, 更好地展示本文算法得到的形状描述子具有的判别能力, 具体如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 本文算法在2个数据集上的T-SNE可视化Fig.3 T-SNE visualization of the proposed algorithm on 2 datasets

由图3可看出, 本文算法得到的形状描述子具有良好的判别能力, 能有效地对不同类别进行分类, 即同一类别之间的距离较小, 不同类别之间的距离较大.这也从一定程度上体现局部-非局部交互卷积模块可提取到更丰富且具有更深层次结构的形状特征.

本节主要讨论局部-非局部卷积神经网络中不同组件对分类性能的影响, 结果如表5和表6所示, 在表中, -表示网络中不添加该组件, 􀳫表示网络中使用该组件.

表5

Table 5

表5(Table 5)

表5 局部-非局部交互卷积模块中组件的消融实验结果 Table 5 Ablation experiment results of components in local-nonlocal interactive convolution module% 组件 ModelNet40 ScanObjectNN 局部 非局部 交互 mAcc OA mAcc OA √ - - 90.1 92.6 75.8 79.0 - √ - 90.1 92.5 75.1 78.7 √ √ - 90.3 92.8 76.9 79.6 √ √ √ 90.4 93.0 77.9 80.4

表5 局部-非局部交互卷积模块中组件的消融实验结果 Table 5 Ablation experiment results of components in local-nonlocal interactive convolution module%

由表5可看出, 单独使用局部特征和非局部特征的效果并不如两者结合使用后理想, 而两个不同特征分支之间的交互也提高性能.由表6可看出, 单独使用残差连接和自适应融合对网络的分类性能都有所提升, 同时使用时效果更佳.这也证实本文算法中各组件的可行性和优势性.

表6

Table 6

表6(Table 6)

表6 局部-非局部卷积神经网络中组件的消融实验结果 Table 6 Ablation experiment results of components in local-nonlocal convolutional neural network% 组件 ModelNet40 ScanObjectNN 残差连接 自适应融合 mAcc OA mAcc OA - - 90.4 93.0 77.9 80.4 √ - 90.9 93.3 78.6 81.3 - √ 90.6 93.1 78.1 80.8 √ √ 91.0 93.4 78.8 81.6

表6 局部-非局部卷积神经网络中组件的消融实验结果 Table 6 Ablation experiment results of components in local-nonlocal convolutional neural network%

为了降低超参数不可控的影响, 本文网络中仅有两个超参数:聚合邻域点的数量k和卷积模块数量t.本节通过两组对比实验, 分析k、t对分类性能的影响, 结果如表7和表8所示.

表7

Table 7

表7(Table 7)

表7 在ModelNet40数据集上k对本文算法的影响 Table 7 Influence of k on the proposed algorithm on ModelNet40 dataset k mAcc/% OA/% 5 88.5 91.9 10 90.2 92.8 15 90.2 93.0 20 91.0 93.4 25 90.3 93.0 30 90.6 93.1

表7 在ModelNet40数据集上k对本文算法的影响 Table 7 Influence of k on the proposed algorithm on ModelNet40 dataset

表8

Table 8

表8(Table 8)

表8 在ModelNet40数据集上t对本文算法影响 Table 8 Influence of t on the proposed algorithm on ModelNet40 dataset t mAcc/% OA/% 1 86.9 90.5 2 89.8 92.4 3 90.2 93.0 4 91.0 93.4 5 90.9 93.2

表8 在ModelNet40数据集上t对本文算法影响 Table 8 Influence of t on the proposed algorithm on ModelNet40 dataset

由表7可见, 在一定范围内, k对性能的影响作用并不大, 即网络本身提取的结构特征已较充分.同时也证实:当k过小时, 会导致特征提取不充分, 分类结果显著降低; 当k过大时, 也会由于信息冗余使分类性能有所降低.因此, 当k=20时, 本文算法的分类性能达到最优.

由表8可知, 只使用一次卷积模块时分类精度最低, 这主要是因为在点云的每个顶点周围只考虑一个小的感受野.所以如果不考虑多个局部-非局部交互卷积模块, 特征信息将无法聚合更大范围的信息, 感受野也会受限.同时可看到, 当局部-非局部交互卷积模块的数量逐渐增加时, 精度会先增加后降低, 并且在t=4时精度达到最优.这可能是因为神经网络太深时, 训练难度会大幅增加, 而当层数特别深时, 网络需要的内存和时间都会大幅增加.