基于增强空谱特征网络的空间感知协同表示算法
刘双1, 张永1
1.辽宁师范大学 计算机与信息技术学院 大连 116081
通讯作者:

张 永,博士,教授,主要研究方向为数据挖掘、智能计算.E-mail:zhyong@lnnu.edu.cn.

作者简介:

刘 双,硕士研究生,主要研究方向为机器学习、智能计算.E-mail:lnnu_liushuang@163.com.

摘要

高光谱图像具有高维度、带间相关性较高、样本数量较少等诸多问题,直接利用表示学习算法对高光谱图像进行分类会导致严重的维数灾难.对于高光谱图像,不是所有的光谱带都可用于特定的分类任务.因此,文中提出基于增强空谱特征网络的空间感知协同表示算法.依据高光谱图像内在的低维流形构建基于空谱特征的分层网络.利用训练的网络对高维数据进行特征提取,并利用空间感知协同表示算法进行分类.在两个高光谱数据集Indian Pines和Pavia University上的实验表明文中算法的有效性.

关键词: 表示学习; 空谱特征; 分层网络; 流形学习
中图分类号:TP 751; TP 183
Spatial Aware Collaborative Representation Based on Augmented Spatial Spectral Features Network
LIU Shuang1, ZHANG Yong1
1. School of Computer and Information Technology, Liaoning Nor-mal University, Dalian 116081
Corresponding author:
ZHANG Yong, Ph.D., professor. His research interests include data mining and intelligent computing.

AboutAuthor:
LIU Shuang, master student. Her research interests include machine learning and intelligent computing.

Abstract

The curse of dimensionality can be caused by directly using representation learning to classify hyperspectral image due to high dimensionality, high correlation between bands and limited samples of the hyperspectral image. For the hyperspectral image, not all spectral bands are available for specific classification tasks. Therefore, spatial aware collaborative representation based on augmented spatial spectral features network is proposed in this paper. A hierarchical spatial spectral features network is built according to the low dimensional manifolds inherent in the hyperspectral image. Features of high dimensional data are extracted by training network. Spatial aware collaborative representation algorithms are utilized for classification. Experiments on two hyperspectral remote sensing datasets, Indian Pines and Pavia University, verify the effectiveness of the proposed algorithm.

Key words: Key Words Representation Learning; Spatial Spectral Feature; Hierarchical Network; Manifold Learning

本文责任编委 陶卿

Recommended by Associate Editor TAO Qing

高光谱图像(Hyperspectral Image, HSI)是具有超高分辨率的三维立体图像, 由一维光谱特征和二维空间信息共同组成[1].近年来, 高光谱图像因其显著优势, 在目标检测[2]、环境管理[3]、矿物测绘[4]中发挥重要作用.上述应用需要对特定场景内的像素进行分类, 学者们将支持向量机(Support Vector Machine, SVM)[5]、极端学习机(Extreme Learning Machine, ELM)[6]、随机森林(Random Forest, RF)[7]、表示学习(Representation Learning, RL)[8]等机器学习算法应用于高光谱图像分类.

基于表示学习的分类方法由稀疏 表示(Sparse Representation, SR)[9]和协同表示(Collaborative Representation, CR)[10]共同组成, 核心思想是通过训练样本表示测试样本, 利用“ 表示残差” 将测试样本赋予重构误差最小的一类.与传统机器学习算法不同, 稀疏表示依赖于来自相同类别的像素具有相似光谱特性的假设, 测试样本可由来自相同类的少量训练样本线性表示[11].Chen等[12]基于属于同一类别的高光谱像素大致位于同一低维子空间的假设, 将稀疏表示理论引入高光谱图像的分类任务中, 提出基于联合稀疏表示(Joint SR, JSR)的分类算法.然而, Zhang等[13]指出在基于稀疏表示的分类过程中起决定因素的是协同表示而非稀疏表示.受此启发, Li等[14]和Xiong等[15]对高光谱图像进行平滑处理, 融合空间特征与光谱特征, 提出联合协同表示(Joint CR, JCR)分类算法, 直接对原始像素特征进行联合协同表示.Su等[16]和Yang等[10]分别提出基于内核特征和局部自适应字典的联合协同表示分类算法.Jiang等[17]为了更有效地融合高光谱图像光谱和空间信息, 开发封闭形式的解决方案, 提出基于联合空间感知的协同表示算法(Joint Spatial Aware CR Classification, JSACR).

由于高光谱图像具有维度较高、带间相关性较高、样本数量较少等诸多问题, 直接利用表示学习算法对高光谱图像进行分类需要付出巨大的计算资源和存储容量, 还会受到严重的维数灾难、空间同质性和异质性的影响.在高光谱图像中, 并非所有的光谱带都可用于特定的分类任务.因此, Yu等[18]指出在训练分类器之前需要对高光谱图像进行降维处理.Zhang等[19]认为基于高光谱图像的降维方法大致分为线性变换和非线性变换两种.

主成分分析(Principal Component Analysis, PC-A)和线性判别分析(Linear Discriminant Analysis, LDA)是两种典型的子空间线性变换方法, 但不能有效揭示数据的非线性结构.为了更好地挖掘高维数据潜在的低维流形结构, 研究人员提出局部线性嵌入(Locally Linear Embedding, LLE)、局部保持投影(Local Preserving Projection, LPP)、邻域保持嵌入(Neighborhood Preserving Embedding, NPE)和正则化局部判别嵌入(Regularized Local Discriminant Embedding, RLDE)[20]等基于流形学习的特征提取方法.

基于流形学习的特征提取算法有助于缓解因小样本引起的统计不充分、不完善等问题, 进一步保障高光谱图像的分类性能.但是, 算法只针对高光谱图像的光谱信息进行单层特征提取, 仍存在较明显的缺点.1)对于高光谱图像而言, 具有较小光谱距离的两个样本可能具有较大的空间像素距离, 即“ 同谱异类” 现象.仅使用光谱域欧几里德距离测量样本之间的相似度, 不足以揭示差异样本之间的内在联系, 可能导致分类不足或分类过度.2)在特征提取的过程中仅考虑“ 单层” 处理而不是基于“ 深层” 的特征提取方式, 在一定程度上降低特征学习的能力.

近年来, 深度学习(Deep Learning, DL)作为特征提取技术, 在计算机视觉领域发挥巨大优势.相比基于手工的特征提取方法, 深度学习模型可分层学习数据内部的高级特征, 既简化分类过程又增强算法的鲁棒性[21].深度学习模型的强大优势使自身逐步扩展到高光谱图像分类领域.Chen等[22]使用多层堆叠式自动编码器(Stacked Autoencoder, SAE)提取高光谱图像的光谱特征和空间特征, 将深度学习的概念引入高光谱图像的分类任务中.Chen等[23]使用类似的处理方式, 提出基于深信网络(Deep Belief Networks, DBN)的高光谱图像分类方法, 详细分析单层受限玻尔兹曼机(Restricted Boltzmann Ma-chine, RBM)和多层深信网络的有效性.为了更好地提取高光谱图像的深层特征, Zhao等[24]和Cao等[25]分别将降维算法和主动学习与卷积神经网络(Convolutional Neural Networks, CNN)结合, 提出基于特征融合的高光谱图像分类算法.

除了上述传统的深度学习方法, 一些新的深度学习模型逐渐在高光谱图像分类领域取得良好的分类效果.Kang等[26]提出基于Gabor滤波的深度网络(Gabor Filtering Deep Network, GFDN), 对高光谱图像的前3个主要分量执行Gabor滤波, 提取Gabor特征, 将Gabor特征和光谱特征简单堆叠以形成融合特征, 利用稀疏自动编码器深度网络对融合特征进行分类.Xu等[27]提出基于随机区域的深度网络(Random Patches Network, RPNet), 直接将取自原始高光谱图像的随机区域数据(无需任何训练)作为卷积核, 组合浅层卷积特征和深层卷积特征进行分类.

传统的深度学习模型具备提取数据内部高级特征的能力, 并在分类准确性方面优于其它传统分类方法.但深度学习模型各层之间是全连接的, 需要训练大量参数, 在训练样本有限时会对特征提取产生较大影响.与此同时, GFDN、RPNet并未完全根据高光谱图像的内在特征提取数据的光谱域特征和空间域特征, 大气环境和仪器噪声在很大程度上会制约提取效果.为了解决上述问题, Zhou等[28]借鉴传统深度学习模型的分层方式, 将光谱特征学习与空间特征学习模块以分层学习的方式融合在一个深度模型中, 提出基于高光谱图像的分层空谱特征网络(Spatial Spectral Feature Network, SSN).王军浩等[29]为了最大程度地避免同谱异类或异谱同类对图像分类产生的干扰, 将分层空谱特征网络融合在特征字典的构建过程中, 使构建的字典兼具空谱特性, 提高字典的判别性.虽然空谱特征网络在一定程度上取得较优的分类效果, 但在光谱维度特征提取过程中需要采用线性判别分析对数据进行处理.

由此可见, 基于线性变换的特征提取方法在一定程度上会忽略高光谱图像的内在低维流形结构, 不能有效揭示数据的非线性特征.整合空谱特征网络和空间感知协同表示算法在高光谱图像分类过程中的优点, 本文提出基于增强空谱特征网络的空间感知协同表示算法(Spatial Aware Collaborative Representation Based on Augmented SSN, SACR-ASSN).依据高光谱图像内在的低维流形, 构建基于空谱特征的深度网络.利用训练的网络对高维数据进行特征提取, 并利用空间感知协同表示算法进行分类.在Indian Pines、Pavia University数据集上的实验表明本文算法的有效性.

1 相关工作

近年来, 表示学习在高光谱图像分类领域受到广泛关注.表示学习通常分为稀疏表示和协同表示, 核心思想是通过训练样本表示测试样本, 并利用“ 表示残差” 将测试样本赋予重构误差最小的一类.Wright等[11]在人脸识别领域提出基于稀疏表示的分类算法, 在二维图像分类中的分类效果和识别能力良好, 研究者逐渐将其扩展到高光谱图像的分类任务中.然而, Zhang等[13]指出在基于稀疏表示的分类过程中起决定因素的是基于封闭形式的协同表示而非稀疏表示.

假设一个高光谱数据集具有d个光谱维度、C个类别、M+N个样本,

X=[x1, x2, …, xN]∈ Rd× N

表示其中的N个训练样本,

Y=[y1, y2, …, yM]∈ Rd× M

表示其中的M个测试样本.给定一个像素级测试样本y∈ Rd× 1,

J(α )= y-22+λ Ω (α ),

其中, y-22表示协同表示的重构误差, 正则化参数λ 用于平衡重构误差和稀疏先验之间的关系.不同的稀疏先验条件Ω 对表示学习的结果会产生一定影响.此处的稀疏先验条件Ω 为二范数情况, 当稀疏先验条件Ω 为一范数时, 目标函数将变成传统的稀疏表示.可利用

α * =arg minαJ(α ),

求解协同表示最佳的表示系数:

$\boldsymbol{\alpha}^{*}=\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{y}$,

其中I表示单位矩阵.

为了以一种更稳定的形式对基于像素级的测试样本进行线性组合, 确保测试样本与训练样本之间的测量距离尽可能小, Li等[30]在传统协同表示框架上提出基于最近子空间算法(Nearest Regularized Subspace, NRS), 结合最近子空间分类与距离加权的Tikhonov正则项, 尝试通过每个类别中标记样本的线性组合为每个测试样本找到正则化的协同表示.给定一个像素级测试样本y∈ Rd× 1, 基于最近子空间的目标函数为

J(α )= y-22+λ Γ yα 22,

其中, Tikhonov正则项Γ y∈ RN× N表示一个对角矩阵, 对角线元素表示测试样本与所有训练数据之间的欧几里得距离.如果训练样本xi与测试样本y之间的距离较大, 训练样本xi的贡献就较小(即对应的表示系数α i较小), 反之亦然.Tikhonov矩阵可定义为

$\boldsymbol{\Gamma}_{y}= \left(\begin{array}{ccccc}\left\|\boldsymbol{y}-\boldsymbol{x}_{1}\right\|_{2} & 0 & \cdots & 0 \\ 0 & \left\|\boldsymbol{y}-\boldsymbol{x}_{2}\right\|_{2} & \cdots & 0 \\ \vdots & \vdots & & \vdots \\ 0 & 0 & \cdots & \left\|\boldsymbol{y}-\boldsymbol{x}_{N}\right\|_{2}\end{array}\right)$

其中, x1∈ Rd× 1, x2∈ Rd× 1, …, xN∈ Rd× 1, 表示训练样本集合中的列向量.可利用

α * =arg minαJ(α )

求解最近子空间最佳的表示系数

α * = (XTX+λΓTyΓy)-1XTy.

从最近子空间的表示参数可看出, Γ y∈ RN× N可增强训练样本与测试样本间的相似度, 以此达到一个较稳定的形式, 对测试样本进行重构.

针对高光谱图像而言, 相邻像素点通常由相似材料组成并与局部邻域内像素具有相似特征.然而, SR、CR、NRS最初是按照像素级分类器设计, 仅利用高光谱图像的光谱域特征, 忽略相邻位置的空间信息.为了克服上述问题, Jiang等[17]提出基于封闭形式的空间感知协同表示算法, 采用集成分类器的工作原理, 直接将空间特征诱导的正则项合并到目标函数中.给定一个测试样本y∈ Rd× 1, 基于空间感知协同表示的目标函数表示为

J(α )= y-22+λ Γ yα 22+γ ‖ diag(sy)α 22,

其中, 正则化参数λ 用于控制位置先验(光谱信息)的贡献度, γ 用于控制空间先验(空间信息)的贡献度.与光谱特征正则项Γ y相似, 空间特征正则项diag(sy)∈ RN× N也是对角矩阵, 对角线元素表示训练样本与测试样本在低维空间中的相干性.在低维空间域中:如果训练样本xi与测试样本y相邻(即si较小), 训练样本xi对测试样本的重构会起到较大作用, α i可能是一个相对较大的值; 反之亦然.分别使用(ei, fi)表示训练样本xi的像素坐标, (ey, fy)表示测试样本y的像素坐标, 计算二者之间的空间相干性:

si= [dist((ei, fi), (ey, fy))]c,

其中, dist(· )表示欧几里得距离, c用于调整空间先验距离衰减速度的平滑参数.当c值较大时, 空间相干性模型将分配更接近于0的权重, 严重惩罚远离测试样本y的像素点, 使模型变得更具灵活性.在实验中通常将max(s)除以s, 进一步将空间相干性标准化在(0, 1]内.可利用

α * =arg minαJ(α )

求解空间感知协同表示的表示系数:

$\boldsymbol{\alpha}^{*}=\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}+\lambda \boldsymbol{\Gamma}_{y}^{\mathrm{T}} \boldsymbol{\Gamma}_{y}+\gamma \operatorname{diag}\left(\boldsymbol{s}_{y}\right)\right)^{-1} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{y}$.

考虑到中心像素的上下文信息, 空间感知协同表示也可如同文献[14], 扩展到联合形式:

$\begin{aligned} J(\boldsymbol{\alpha})=& \|\tilde{\boldsymbol{y}}-\widetilde{\boldsymbol{X}} \boldsymbol{\alpha}\|_{2}^{2}+\\ & \lambda\left\|\widetilde{\boldsymbol{\Gamma}}_{y} \boldsymbol{\alpha}\right\|_{2}^{2}+\gamma\left\|\operatorname{diag}\left(\tilde{\boldsymbol{s}}_{y}\right) \boldsymbol{\alpha}\right\|_{2}^{2}, \end{aligned}$

其中, 文献[14]已详细地叙述联合上下文信息的 y˙X˙的求解过程, 此处不进一步赘述.如同求解空间感知协同表示的优化参数, 联合形式的表示参数为

$\boldsymbol{\alpha}^{*}=\left(\widetilde{\boldsymbol{X}}^{\mathrm{T}} \widetilde{\boldsymbol{X}}+\lambda \widetilde{\boldsymbol{\Gamma}_{y}}^{\mathrm{T}} \widetilde{\boldsymbol{\Gamma}}_{y}+\gamma \operatorname{diag}\left(\boldsymbol{s}_{y}\right)\right)^{-1} \widetilde{\boldsymbol{X}}^{\mathrm{T}} \tilde{\boldsymbol{y}}$.

一旦确定最终的表示参数后, 可利用

$\operatorname{class}(\boldsymbol{y})=\arg \min _{l=1, 2, \cdots, C}\left\|\boldsymbol{y}-\boldsymbol{X}_{l} \boldsymbol{\alpha}_{l}^{*}\right\|_{2}^{2}$.

对测试样本进行估计.

2 增强空谱特征网络

高光谱图像由于高维度、高非线性和小样本问题, 迫切需要提取和处理深层抽象特征, 从而使深度特征提取成为高光谱图像分类的核心问题[31].受传统深度特征提取的启发, 本文提出增强的空谱特征网络(Augmented SSN, ASSN).利用光谱特征模块(Spectral Features Module, SpeFM)提取高光谱图像中每个像素的光谱特征.在光谱特征模块之后添加空间特征模块(Spatial Features Module, SpaFM), 提取原始图像的空谱特征.为了充分提取高光谱图像更深层次的特征, 网络将一系列光谱特征模块和空间特征模块通过分层方式组合, 具体过程如图1所示.

图1 增强空谱特征网络流程图Fig.1 Flow chart of augmented spatial spectral features network

光谱特征模块由正则化局部判别嵌入(RLDE)实现.针对传统的高光谱图像光谱特征提取, 主成分分析和线性判别分析是两种典型的子空间线性变换方法, 但不能有效揭示数据的非线性结构.为了更好地挖掘高维数据的潜在低维流形结构, 研究人员将样本的先验知识引入图嵌入框架中, 提高分类性能, 提出RLDE, 通过集成近邻信息和数据点之间的类属关系, 解决奇异值和过度拟合的问题.

给定一个二维训练样本集

X=[x1, x2, …, xN]∈ Rd× N,

标签矩阵集

L=[l1, l2, …, lN]∈ RN,

其中, xi表示训练样本集中的第i个样本点, li表示第i个样本点对应的类别标签, d表示样本点的维度(或称为当前元素具有的光谱域信息).

为了充分挖掘高维数据内部的流形结构和判别信息, 构造类内邻接图Gw(Ww, Ew)和类间邻接图Gb(Wb, Eb).对于类内邻接图Gw(Ww, Ew), 采用欧氏距离求取任意2个来自相同类别的样本点xixj的间距.如果xjxiK近邻内, 在2个样本点间创建1条边并利用热核公式

$w_{i j}=\exp \left(-\frac{\left\|\boldsymbol{x}_{i}-\boldsymbol{x}_{j}\right\|^{2}}{t}\right)$

为其赋予权重wij, 反之将两点间的权重赋值为0.对于类间邻接图Gb(Wb, Eb), 也采用欧氏距离求取任意2个来自不同类别的样本点xiyi的间距.如果yixiK近邻内, 在两个样本点间创建一条边并利用热核公式

$w_{i i}=\exp \left(-\frac{\left\|\boldsymbol{y}_{i}-\boldsymbol{x}_{i}\right\|^{2}}{t}\right)$

为其赋予权重wii, 反之将两点间的权重赋值为0.

通过构建的2个无向邻接图, 类内、类间图拉普拉斯矩阵可表示为

Lw=Dw-Ww, Lb=Db-Wb,

其中DwDb分别表示关于WwWb各列和的对角矩阵.RLDE在图嵌入框架中执行光谱域局部判别, 从

$\max _{W_{\text {ASF }}} \frac{\operatorname{tr}\left\{\boldsymbol{W}_{\text {ASF }}^{\mathrm{T}}\left[(1-\alpha) \boldsymbol{X} \boldsymbol{L}_{b} \boldsymbol{X}^{\mathrm{T}}+\alpha \boldsymbol{X} \boldsymbol{X}^{\mathrm{T}}\right] \boldsymbol{W}_{\text {ASF }}\right\}}{\left.\boldsymbol{\operatorname { W }}_{\text {ASF }}^{\mathrm{T}}\left[(1-\alpha) \boldsymbol{X} \boldsymbol{L}_{w} \boldsymbol{X}^{\mathrm{T}}+\alpha \operatorname{diag}\left(\boldsymbol{X} \boldsymbol{L}_{w} \boldsymbol{X}^{\mathrm{T}}\right)\right] \boldsymbol{W}_{\text {ASF }}\right\}}$, ,

中找到最佳投影WASF∈ Rd'× l.其中, α ∈ [0, 1]表示正则化参数, tr(· )表示矩阵的迹, diag(· )表示矩阵的对角化.

RLDE的目标函数分子项中的正则项XXT用于保留最大的数据方差.分母项中的对角化正则项diag(XLwXT)在保持对角线数目不变的前提下仅减少XLwXT的非对角线元素.尽管矩阵的迹没有变化, 但对角正则化允许大的特征值减小, 而小或趋近于零的特征值增大, 因此, 该目标函数定义的正则化局部保留散射矩阵是正定的, 在不影响局部类内邻域保留能力的前提下, 改善了解的稳定性, 更适用于基于小样本的高光谱图像特征提取.

求解

[(1-α )XLbXT+α XXT]WASF= λ [(1-α )XLwXT+α diag(XLwXT)]WASF

对应的前l个最大的特征向量, 得到正则化局部判别嵌入最佳的投影矩阵

WASF=[wASF1, wASF2, …, wASFl]∈ Rd'×l.

获取最佳的投影矩阵WASF后, 逐像素地对高维原始数据3D_Data∈ RL× W× d进行滤波处理, 形成低维的光谱特征数据3D_DataRL×W×NumSpe.

空间特征模块将利用自适应加权滤波器(Adaptive Weighted Filter, AWF)对低维的光谱特征数据3D_Data进行空间特征提取[28], AWF可定义为

WSpai, j= Si, jj=1i=1m×mSi, j.

其中:m× m表示自适应加权滤波器的大小; Si, j表示局部区域内中心像素与窗口内其余像素点间的相似度量, 使用$\exp \left(-\frac{\left\|p_{0}-p_{i, j}\right\|^{2}}{\delta}\right)$表示, p0表示局部区域内的中心像素, pi, j表示位于第i行第j列的像素, δ 表示局部区域内的中心像素与窗口内其余点间距离的标准差,

δ = 1std(d), d(i-1)× m+j= p0-pi, j2.

从自适应加权滤波器的定义可看出, 定义的过滤器是平滑的, 权重由局部区域内像素的相似性决定, 同一类别内的中心像素及其相邻像素之间的权重较大.此外, 局部区域内的像素通常表示高光谱图像的相同材料.因此, 获得的相同类别内的像素变得更相似.获取最佳的自适应加权滤波器 WSpai, j后, 可通过加权相邻像素的总和生成中心像素的新表示.实际上, 高光谱图像可能包含大小不同的同质区域.基于多尺度的自适应加权滤波器可用于捕获高光谱图像的不同空间结构, 按照空间滤波器的数量进行堆叠形成新的像素, 形成空谱特征数据SS_DataRL×W×(NumSpe×NumSpa).当以迭代的方式执行空谱特征学习模块时, 可形成更深度层次的网络.具体过程如算法1.

算法 1 ASSN

输入 高维原始数据3D_Data∈ RL× W× d,

网络层数NumStage, 光谱滤波数量Numspe,

空间滤波数量NumSpa, 自适应窗口大小m× m

输出 具有增强信息的训练样本ftrain, ASSN

step 1 对高维原始数据进行归一化处理, 并按比例随机提取训练样本, 获取与之对应的索引矩阵Tr_idx和标签矩阵TrainLabels.

for i=1∶ NumStage

step 2 SpeFM.

step 2.1 根据RLDE求解最佳的投影矩阵WASF.

step 2.2 利用最佳的投影矩阵WASF逐像素地对高维原始数据3D_Data∈ RL× W× d进行滤波处理, 形成低维的光谱特征数据3D_DataRL×W×NumSpe.

step 3 SpaFM

step 3.1 获取当前自适应窗口大小m× m, 并对低维光谱特征数据3D_DataRL×W×NumSpe进行预处理.

step 3.2 在当前窗口m× m下对低维光谱特征数据按像素进行加权滤波处理.

step 3.3 将加权滤波后的数据按照空间滤波次数NumSpa进行堆叠, 形成新的空谱特征数据

SS_Data.

end for

在分类阶段利用增强空谱特征网络对原始的高维数据进行特征提取, 将具有增强信息的训练样本和测试样本提供给空间感知协同表示算法进行分类.给定一个测试样本yR(NumSpe×NumSpa)×1, 基于空间感知协同表示的目标函数为

$J(\boldsymbol{\alpha})=\left\|\boldsymbol{y}-\boldsymbol{f}_{\text {train }} \boldsymbol{\alpha}\right\|_{2}^{2}+\lambda\left\|\boldsymbol{\Gamma}_{y} \boldsymbol{\alpha}\right\|_{2}^{2}+ \gamma\left\|\operatorname{diag}\left(\boldsymbol{s}_{y}\right) \boldsymbol{\alpha}\right\|_{2}^{2^{.}} $其中:正则化参数λ 用于控制位置先验(光谱信息)的贡献度; γ 表示空间先验(空间信息)的贡献度; Γ y表示光谱特征正则项, 对角线元素表示测试样本与所有训练数据之间的欧几里得距离; diag(sy)表示空间特征正则项, 对角线元素表示训练样本与测试样本在低维空间中的相干性.空间感知协同表示的表示系数:

α * =arg minαJ(α )= (fTtrainftrain+λΓTyΓy+γdiag(sy))-1fTtrainy,

在确定最终的表示系数后, 使用

class(y)=arg minl=1, 2, , Cy-ftrainlαl* 22

对测试样本进行估计.

基于增强空谱特征网络的测试过程如算法2所示.

算法 2 增强空谱特征网络测试

输入 高维原始数据3D_Data∈ RL× W× d, ASSN

输出 分类准确率

step 1 按比例随机提取测试样本, 获取与之对应的索引矩阵Te_idx和标签矩阵TestLabels.

step 2 利用增强空谱特征网络对高维原始数据3D_Data∈ RL× W× d进行特征提取.

step 3 根据测试样本对应的索引矩阵提取具有增强信息的测试样本ftest.

step 4 将具有增强信息的训练样本和测试样本提供给空间感知协同表示算法以进行分类.

增强空谱特征网络测试框图如图2所示.

图2 增强空谱特征网络测试流程图Fig.2 Testing process of augmented spatial spectral features network

3 实验及结果分析

为了验证本文算法在高光谱图像分类中的有效性, 在常规的Indian Pines、Pavia University数据集上进行分类仿真模拟实验.对比算法如下:SVM、局部二进制模式的联合稀疏(Local Binary Pattern JSR, LBP-JSR)[32]、JSACR、局部松弛多核协同表示(Region-Relaxed Multiple Kernel Collaborative Representation, R2MK-CR)[33]、随机多图(Random Multi-graphs, RMG)[34]、Gabor滤波深度网络(Gabor Fil-tering Deep Network, GFDN)[26]、RPNet[27]、SSN[28]、融合分层深度网络的联合稀疏表示(Fusing Hierar-chical Deep Network-JSR, FHDN-JSR)[29].

为了验证ASSN在特征提取方面具有的优势, 对比算法如下:SVM、核极限学习机(Kernel Extreme Learning Machine, KELM)[35]、JSR、JCR、JSACR.

使用如下指标评估分类性能:总体准确率(Overall Accuracy, OA)、平均准确率(Average Accu-racy, AA)、Kappa系数、特定类别的准确率(Class Accuracy, CA).

3.1 数据集及参数设置

Indian Pines数据集为利用NASA的机载可见/红外成像光谱仪(AVIRIS)传感器在印第安纳州西北部采集的农作物和天然植被覆盖情况.在固定区域内产生145× 145个像素区域和220条光谱带, 光谱的波长范围为0.4~2.45 μ m, 从可见光覆盖到中红外光, 空间分辨率为20 m.实验中为了避免噪声和吸水现象, 去除第104~108个、第150~163个和第220个光谱带.数据集包含玉米、大豆、草皮、树木等16种真实的地面覆盖物, 总计10 249个样本点, 根据文献[36]选取训练样本1 048个、测试样本9 201个.表1列出数据集特定类别的训练样本数量和测试样本数量.

表1 Indian Pines数据集样本信息 Table 1 Sample information on Indian Pines dataset

Pavia University数据集是德国航空航天局利用反射光学系统成像光谱仪(ROSIS)传感器在意大利帕维亚市采集的大学区域基建材料覆盖情况.在固定区域内产生610× 340个像素区域和115条光谱带, 光谱的波长范围为0.43~0.86 μ m, 空间分辨率为1.3 m.在实验中为了避免噪声和吸水现象, 去除12个光谱带.数据集包含沥青、草地、碎石、树木、彩绘金属板等9种真实的地面基建材料, 总计42 776个样本点, 根据文献[37]选取训练样本2 138个、测试样本40 638个.表2列出数据集特定类别的训练样本数量和测试样本数量.

表2 Pavia University数据集样本信息 Table 2 Sample information on Pavia University dataset

在利用联合空间感知协同表示分类器对特征数据进行分类时, 目标函数中存在3个变换的参数:cγ λ .本文根据文献[17]和文献[37], 固定任意2个参数, 利用五折交叉验证的策略调整第3个参数.通过参数对OA的贡献度选取最优的表示参数, 在Indian Pines数据集上, c=4、γ =0.000 1、λ =0.01, 在Pavia University数据集上, c=8、γ =0.000 1、λ =0.01.本文算法的网络层数设置为6, 光谱特征模块和空间特征模块依次嵌套在网络中.自适应窗口m=3, 5, 7, 9, 11.为了更好地处理高光谱图像边界上的像素, 采用边界像素自身的镜面反射填充图像.在Indian Pines数据集上, 光谱滤波数量Numspe=15、空间滤波数量Numspa=5, 在Pavia University数据集上, 光谱滤波数量Numspe=30、空间滤波数量Numspa=5.

3.2 分类效果对比

为了验证本文算法的有效性, 各算法在Indian Pines、Pavia University数据集上的分类准确率如表3表4所示.各算法在2个数据集上的分类结果如图5和图6所示.

表3 各算法在Indian Pines数据集上的分类准确率对比 Table 3 Classification accuracy comparison of different algorithms on Indian Pines dataset
表4 Pavia University数据集上的分类准确率对比 Table 4 Classification accuracy comparison of different algorithms on Pavia University dataset

图3 各算法在Indian Pines数据集上的分类结果Fig.3 Classification results of different algorithms on Indian Pines dataset

图4 各算法在Pavia University数据集上的分类结果Fig.4 Classification results of different algorithms on Pavia University dataset

由结果可看出, 基于空谱结合的分类算法优于SVM.在Indian Pines数据集上, 相比SVM, 基于空谱结合的分类算法的OA提高12.26%, AA提高14.62%, Kappa系数提高14.03%.在Pavia Univer-sity数据集上也可观察到类似的结果.

不同于表示学习算法(LBP-JSR、JSACR、R2MK-CR), 本文算法对高维度原始数据进行特征处理, 在充分挖掘光谱特征和空间特征数据之间的相关性和特异性的基础上, 对高维数据进行特征提取, 而表示学习算法直接对原始数据进行分类.在Indian Pines数据集上, 相比表示学习算法, 本文算法的OA提高0.75%~1.35%.在Pavia University数据集上, 相比表示学习算法, 本文算法的OA提高0.44%~2.24%.

图嵌入算法(RMG)与本文算法的相关性在于, 二者均是将图论引入高光谱的分类过程中, 这种基于流形结构的分类算法在处理小样本问题时效果较显著.Indian Pines数据集上存在较明显的数据分配不均现象, 尤其是类别1、7、9、16分配的样本数据较少.由表3可看出, 相比其它机器学习算法, RMG在处理小样本问题时具有较明显优势, 1、7、9、16特定类别的准确率最高.由实验结果可看出, 基于流形学习的分类算法在高光谱图像的分类过程中优势明显.

深度学习算法(GFDN、RPNET)与本文算法的相关性和区别在于, 二者均采用分层深度网络的方式进行特征提取.本文算法同时提取高光谱数据的空谱特征, 深度学习算法通过特征融合的方式整合深度网络处理后的空谱特征.在Indian Pines数据集上, 相比深度学习算法, 本文算法的OA提高0.29%~0.8%, AA提高0.36%~0.72%, Kappa系数提高0.62%~1.09%.在Pavia University数据集上, 相比深度学习算法, 本文算法的OA提高0.29%~0.8%, AA提高0.58%~1.03%, Kappa系数提高0.4%~1.06%.

空谱特征网络(FHDN-JSR、SSN)与本文算法的相关性和区别在于, 二者是根据高光谱图像的独特性设计的分层深度网络, 均属于基于预处理的分类算法.本文算法在提取原始数据空谱特征的过程中充分考虑光谱特征数据之间的流形结构, 而非单一提取数据内部的光谱反射率.由实验结果可看出, 光谱数据内部的流形结构对实验结果产生一定影响.在Indian Pines数据集上, 相比空谱特征网络, 本文算法的OA提高0.16%~0.95%, AA提高0.36%~0.72%, Kappa系数提高0.62%~1.09%.在Pavia University数据集上, 相比空谱特征网络, 本文算法的OA提高0.47%~0.55%, AA提高0.39%~1.06%, Kappa系数提高0.62%~0.73%.

为了充分验证ASSN特征提取性能, 分别采用5种分类算法(SVM、KELM、JSR、JCR、JSACR)进行验证, 实验结果如表5表6所示.由表可看出, ASSN在特征提取方面具有较好的提取能力.对于空谱特征数据, 利用联合空间感知的协同表示分类算法会产生更高的分类准确率.这是由于在高光谱图像分类领域, 基于空谱特征的分类器主要分为基于预处理的分类器、基于后处理的分类器、混合分类器和集成分类器[38].基于空谱特征网络的分类算法属于基于预处理的分类机制, 光谱特征和空间特征依次在网络层级之间处理.相比常规的单层特征提取, 分层深度网络机制具有较好的优势, 但是仍分割光谱特征与空间特征之间的关联度.基于联合空间感知的协同表示分类器属于集成分类器, 在分类过程中没有严格地分离光谱特征和空间特征, 对特征提取过程中可能存在的缺陷进行弥补, 达到更优的分类准确率.

表5 不同特征网络在Indian Pines数据集上的分类准确率对比 Table 5 Classification accuracy comparison of different feature networks on Indian Pines dataset
表6 不同特征网络在Pavia University数据集上的分类准确率对比 Table 6 Classification accuracy comparison of different feature networks on Pavia University dataset
4 结束语

本文提出基于增强空谱特征网络的空间感知协同表示算法.算法分为特征网络搭建和协同表示分类两部分.在特征网络搭建过程中, 将一系列光谱特征模块和空间特征模块以分层方式组合.光谱特征模块充分考虑光谱数据之间的流形结构, 利用正则化局部判别嵌入算法对高维原始数据进行特征提取, 而非单一地提取数据内部的光谱反射率.空间特征模块利用多尺度自适应加权滤波器捕获高光谱图像的不同空间结构, 最终形成空谱特征数据, 相比常规特征提取分层特征网络具有较好的优势, 但仍分割光谱特征与空间特征之间的关联度.在协同表示分类过程中, 基于空间感知的协同表示分类器属于集成分类器, 具有封闭形式的解决方案, 可同时合并空间信息和光谱信息, 对特征提取过程中可能存在的缺陷进行弥补, 以此达到更优的分类准确率.在两个标准的高光谱图像数据集Indian Pines、Pavia University上的相关实验表明本文算法的有效性.今后将针对判别性字典的构建进行更深入的研究, 更好地利用表示学习算法对高光谱图像进行分类.

参考文献
[1] JIA S, SHEN L L, ZHU J S, et al. A 3-D Gabor Phase-Based Co-ding and Matching Framework for Hyperspectral Imagery Classification. IEEE Transactions on Cybernetics, 2018, 48(4): 1176-1188. [本文引用:1]
[2] OU X F, ZHANG Y M, WANG H P, et al. Hyperspectral Image Target Detection via Weighted Joint K-Nearest Neighbor and Multitask Learning Sparse Representation. IEEE Access, 2020, 8: 11503-11511. [本文引用:1]
[3] SZABÓ L, BURAI P, DEÁK B, et al. Assessing the Efficiency of Multispectral Satellite and Airborne Hyperspectral Images for Land Cover Mapping in an Aquatic Environment with Emphasis on the Water Caltrop(Trapa Natans). International Journal of Remote Sensing, 2019, 40(13): 5192-5215. [本文引用:1]
[4] QIN Q M, ZHANG Z L, CHEN L, et al. Oil and Gas Reservoir Exploration Based on Hyperspectral Remote Sensing and Super-Low-Frequency Electromagnetic Detection. Journal of Applied Remote Sensing, 2016, 10(1). DOI: DOI:10.1117/1.JRS.10.016017. [本文引用:1]
[5] XIANG P, ZHOU H X, LI H, et al. Hyperspectral Anomaly Detection by Local Joint Subspace Process and Support Vector Machine. International Journal of Remote Sensing, 2020, 41(10): 3798-3819. [本文引用:1]
[6] SU H J, TIAN S F, CAI Y, et al. Optimized Extreme Learning Machine for Urban Land Cover Classification Using Hyperspectral Imagery. Frontiers of Earth Science, 2017, 11(4): 765-773. [本文引用:1]
[7] ZHANG Y Q, CAO G, LI X S, et al. Cascaded Rand om Forest for Hyperspectral Image Classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(4): 1082-1094. [本文引用:1]
[8] TU B, ZHANG X F, WANG J P, et al. Noisy Labels Detection in Hyperspectral Image via Class-Dependent Collaborative Representation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(12): 5076-5085. [本文引用:1]
[9] AYDEMIR M S, BILGIN G. Semi-supervised Sparse Representation Classifier( S3 RC) with Deep Features on Small Sample Sized Hyperspectral Images. Neurocomputing, 2020, 399: 213-226. [本文引用:1]
[10] YANG J H, QIAN J X. Joint Collaborative Representation with Shape Adaptive Region and Locally Adaptive Dictionary for Hyperspectral Image Classification. IEEE Geoscience and Remote Sen-sing Letters, 2020, 17(4): 671-675. [本文引用:2]
[11] WRIGHT J, YANG A Y, GANESH A, et al. Robust Face Recognition via Sparse Representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227. [本文引用:2]
[12] CHEN Y, NASRABADI N M, TRAN T D. Hyperspectral Image Classification Using Dictionary-Based Sparse Representation. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10): 3973-3985. [本文引用:1]
[13] ZHANG L, YANG M, FENG X C. Sparse Representation or Co-llaborative Representation: Which Helps Face Recognition? // Proc of the International Conference on Computer Vision. Washington, USA: IEEE, 2011: 471-478. [本文引用:2]
[14] LI W, DU Q. Joint Within-Class Collaborative Representation for Hyperspectral Image Classification. IEEE Journal of Selected To-pics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2200-2208. [本文引用:3]
[15] XIONG M M, RAN Q, LI W, et al. Hyperspectral Image Classification Using Weighted Joint Collaborative Representation. IEEE Geoscience and Remote Sensing Letters, 2015, 12(6): 1209-1213. [本文引用:1]
[16] SU H J, ZHAO B, DU Q, et al. Kernel Collaborative Representation with Local Correlation Features for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 1230-1241. [本文引用:1]
[17] JIANG J J, CHEN C, YU Y, et al. Spatial-Aware Collaborative Representation for Hyperspectral Remote Sensing Image Classification. IEEE Geoence and Remote Sensing Letters, 2017, 14(3): 404-408. [本文引用:3]
[18] YU H Y, GAO L R, LIAO W Z, et al. Global Spatial and Local Spectral Similarity-Based Manifold Learning Group Sparse Representation for Hyperspectral Imagery Classification. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3043-3056. [本文引用:1]
[19] ZHANG H, LIU W J, LÜ H H. Spatial-Spectral Joint Classification of Hyperspectral Image with Locality and Edge Preserving. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 2240-2250. [本文引用:1]
[20] ZHOU Y C, PENG J T, CHEN C L P. Dimension Reduction Using Spatial and Spectral Regularized Local Discriminant Embedding for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(2): 1082-1095. [本文引用:1]
[21] LI S T, SONG W W, FANG L Y, et al. Deep Learning for Hyperspectral Image Classification: An Overview. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709. [本文引用:1]
[22] CHEN Y S, LIN Z H, ZHAO X, et al. Deep Learning-Based Cla-ssification of Hyperspectral Data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2094-2107. [本文引用:1]
[23] CHEN Y S, ZHAO X, JIA X P, et al. Spectral-Spatial Classification of Hyperspectral Data Based on Deep Belief Network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392. [本文引用:1]
[24] ZHAO W Z, DU S H. Spectral-Spatial Feature Extraction for Hyperspectral Image Classification: A Dimension Reduction and Deep Learning Approach. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4544-4554. [本文引用:1]
[25] CAO X Y, YAO J, XU Z B, et al. Hyperspectral Image Classification with Convolutional Neural Network and Active Learning. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(7): 4604-4616. [本文引用:1]
[26] KANG X D, LI C C, LI S T, et al. Classification of Hyperspectral Images by Gabor Filtering Based Deep Network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sen-sing, 2018, 11(4): 1166-1178. [本文引用:2]
[27] XU Y H, DU B, ZHANG F, et al. Hyperspectral Image Classification via a Rand om Patches Network. ISPRS Journal of Photogra-mmetry and Remote Sensing, 2018, 142: 344-357. [本文引用:2]
[28] ZHOU Y C, WEI Y T. Learning Hierarchical Spectral-Spatial Features for Hyperspectral Image Classification. IEEE Transactions on Cybernetics, 2016, 46(7): 1667-1678. [本文引用:3]
[29] 王军浩, 闫德勤, 刘德山, . 高光谱图像分类的融合分层深度网络联合稀疏表示算法. 模式识别与人工智能, 2020, 33(4): 303-312.
(WANG J H, YAN D Q, LIU D S, et al. Joint Sparse Representation Fusing Hierarchical Deep Network of Hyperspectral Image Classification. Pattern Recognition and Artificial Intelligence, 2020, 33(4): 303-312. ) [本文引用:2]
[30] LI W, TRAMEL E W, PRASAD S, et al. Nearest Regularized Subspace for Hyperspectral Classification. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 477-489. [本文引用:1]
[31] MU C, GUO Z, LIU Y. A Multi-scale and Multi-level Spectral-Spatial Feature Fusion Network for Hyperspectral Image Classification. Remote Sensing, 2020, 12(1): 125-147. [本文引用:1]
[32] TU B, KUANG W L, ZHAO G Z, et al. Hyperspectral Image Cla-ssification by Combining Local Binary Pattern and Joint Sparse Representation. International Journal of Remote Sensing, 2019, 40(24): 9484-9500. [本文引用:1]
[33] LIU J J, WU Z B, XIAO Z Y, et al. Region-Based Relaxed Multiple Kernel Collaborative Representation for Hyperspectral Image Classification. IEEE Access, 2017, 5: 20921-20933. [本文引用:1]
[34] GAO F, WANG Q, DONG J Y, et al. Spectral and Spatial Classification of Hyperspectral Images Based on Rand om Multi-graphs. Remote Sensing, 2018, 10(8): 1271-1291. [本文引用:1]
[35] CHEN C, WEI L, SU H J, et al. Spectral-Spatial Classification of Hyperspectral Image Based on Kernel Extreme Learning Machine. Remote Sensing, 2014, 6(6): 5795-5814. [本文引用:1]
[36] TU B, ZHANG X F, KANG X D, et al. Hyperspectral Image Classification via Fusing Correlation Coefficient and Joint Sparse Representation. IEEE Geoence and Remote Sensing Letters, 2018, 15(3): 340-344. [本文引用:1]
[37] LI W, ZHANG Y X, LIU N, et al. Structure-Aware Collaborative Representation for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 7246-7261. [本文引用:2]
[38] HE L, LI J, LIU C Y, et al. Recent Advances on Spectral-Spatial Hyperspectral Image Classification: An Overview and New Guidelines. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(3): 1579-1597. [本文引用:1]