基于最小<em> p-</em>范数的宽度学习系统

引用本文

郑云飞, 陈霸东. 基于最小 p-范数的宽度学习系统 . 模式识别与人工智能, 2019,32(1): 51-57
ZHENG Yunfei, CHEN Badong. Least p-Norm Based Broad Learning System . PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2019,32(1): 51-57. 复制到剪切板

Doi: 10.16451/j.cnki.issn1003-6059.201901007
Permissions

《模式识别与人工智能》编辑部所有

基于最小 p-范数的宽度学习系统

郑云飞¹, 陈霸东¹

1.西安交通大学电子与信息工程学院人工智能与机器人研究所西安 710049

通讯作者：

陈霸东,博士,教授,主要研究方向为信号处理、机器学习、脑机接口.E-mail:chenbd@mail.xjtu.edu.cn.

作者简介：

郑云飞,博士研究生,主要研究方向为机器学习、脑机接口.E-mail:zhengyf@stu.xjtu.edu.cn.

收稿日期: 2018-10-18 接受日期: 2018-12-17

资助项目: 国家重点基础研究发展计划(973计划)项目(No. 2015CB351703)、国家自然科学基金项目(No. 91648208)资助

摘要

在宽度学习系统的基础上,以误差矢量的 p-范数为损失函数,结合固定点迭代策略,提出基于最小 p-范数的宽度学习系统.通过灵活设置 p的取值( p≥1),提出的最小 p-范数宽度学习系统能较好应对不同噪声的干扰,实现对不确定数据的建模任务.数值实验表明,在高斯、均匀、脉冲噪声干扰环境下,文中系统均能保持良好性能.将该系统应用于脑电图分类任务,在大多数被试上都能取得较高的分类精度.

关键词: 宽度学习系统; 最小 p-范数; 固定点迭代; 脑电图分类

中图分类号:TP 18

Least p-Norm Based Broad Learning System

ZHENG Yunfei¹, CHEN Badong¹

1.Institute of Artificial Intelligence and Robotics, School of Electronic and Information Engineering, Xi'an Jiaotong University, Xi'an 710049

Corresponding author:CHEN Badong, Ph.D., professor. His research interests include signal processing, machine learning and brain computer interface.

About the Author:ZHENG Yunfei, Ph.D.candidate. His research interests include machine learning and brain computer interface.

Abstract

Based on the broad learning system(BLS), a least p-norm based BLS(LP-BLS) is proposed, and it takes the p-norm of error vector as loss function and combines the fixed-point iteration strategy. With the proposed LP-BLS, the interferences from different noises can be well dealt with by flexibly setting the value of p( p≥1), so that the modeling task of unknown data can be better completed. Numerical experiments show that the good performance of the proposed method can always be maintained with Gaussian noise, uniform noise and impulse noise. Finally, the system is applied to electroencephalogram(EEG) classification task and achieves a higher classification accuracy on most subjects.

Key words: Key Words Broad Learning System; Least p-Norm; Fixed-Point Iteration; Electroencephalogram(EEG) Classification

文章图片

深度神经网络学习模型已成功应用于诸多回归及分类问题的建模研究.典型的深度神经网络学习模型包括深度玻尔兹曼机(Deep Boltzmann Ma-chines, DBM)^[1]、深度置信网络(Deep Belief Networks, DBN)^[2]、卷积神经网络(Convolutional Neural Networks, CNN)^{[3, 4]}等.为了有效建立网络模型, 这些深度学习方法需不断调整神经网络的层数及每层网络所需的节点数, 然后采取迭代的方式确定各个层与层之间的连接权.在数据量庞大时, 调整十分耗时, 给实际应用带来困难.

为了应对这一难题, Chen等^[5]提出宽度学习系统(Broad Learning System, BLS)并证明其具有通用的逼近能力(Universal Approximation Capability)^[6].BLS首先将原始的输入数据经过一系列的随机映射, 形成特征节点矩阵.然后在特征节点矩阵的基础上, 经过一系列的随机增强变换, 形成增强节点矩阵.最后将所有的特征节点矩阵和增强节点矩阵送入输出端, 并借助伪逆求出隐层与输出层之间的连接权.由于在生成特征节点矩阵和增强节点矩阵的过程中, BLS所有的隐层连接权都是随机产生, 并且一直保持不变, 最终只需求出隐层与输出层之间的连接权, 这给整个训练过程带来极大的便利.此外, 当特征节点或增强节点数目不足时, BLS使用自己的增量学习范式^[5], 从而可快速实现模型的重建.

在实际应用中, BLS不仅在手写字体识别等大规模数据集^[5]上表现优异, 而且在小样本数据集的回归及分类任务中也取得令人满意的结果^[6].然而, BLS在求解隐层与输出层之间连接权的过程中, 默认采用最小二乘法的正则化版本求解该参数.由于这种方式难以有效抑制非高斯噪声或异常值带来的负面影响^[7], BLS系统的稳定性被降低.因此, 有必要寻找一种更可靠且有效的输出权求解方式.

在自适应滤波领域, 为了应对不同类型噪声的干扰, 误差的p次幂常用于构造损失函数(一般形式为J(e)= ${|e|}^{p}$ ), 产生不同形式的自适应滤波算法.当p=1时, 相应的算法称为符号算法(Sign Algorithm, SA)^[8], 对脉冲噪声具有极强的鲁棒性.当p=2时, 相应的算法称为最小均方算法(Least Mean Square, LMS)^[9], 在高斯噪声干扰环境下是最优的选择.当p=3和p=4时, 相应的算法分别命名为最小平均绝对值3阶算法(Least Mean Absolute Third , LMAT)^[10]和最小平均4阶算法(Least Mean Fourth, LMF)^[11], 它们在均匀噪声干扰下的滤波性能优于LMS.

除了采取单一的p值外, 由多个p值组合的损失函数也考虑用于构造一般形式的自适应滤波器, 包括最小平均混合范数算法(Least Mean Mixed-Norm, LMMN)^[12]和稳健的混合范数算法(Robust Mixed-Norm, RMN)^[13].结合p=2与p=4, LMMN的滤波性能优于LMS与LMF.结合p=1与p=2, RMN的鲁棒性接近SA, 同时在高斯噪声干扰环境下可以逼近LMS的滤波性能.此外, Pei等^[14]从理论上证明当p≥ 1时, 由误差的p次幂构成的损失函数是一个关于待优化参数的凸函数, 在优化过程中不会出现落入局部极小值的现象.在实际应用中, 并不需要将p的取值局限于正整数, 进一步体现在递归全局最小平均p-范数算法(Recursive Total Least Mean p-norm, RTLMP)^[15]、核递归最小平均p-范数算法(Kernel Recursive Least Mean p-norm, KRLMP)^[16]及递归最小平均p-阶超限学习机(Recursive Least Mean p-Power Extreme Learning Machine, RLMP-ELM)^[17]中.

由于误差的不同阶次信息在自适应滤波领域中表现优异, 本文将其用于求解BLS的输出权, 得到基于最小p-范数的宽度学习系统(Least p-norm Based BLS, LP-BLS).在LP-BLS中, 随机设置p的取值(p≥ 1), 适应变化的噪声环境, 增强原始BLS的鲁棒性.数值仿真实验表明, 在数据中含有未知噪声干扰时, LP-BLS能较好完成数据建模任务.当与共空间模式(Common Spatial Pattern, CSP)^[18]结合对脑电波(Electroencephalogram, EEG)数据进行分类时, LP-BLS的分类性能优于BLS.

1 宽度学习系统

图1给出宽度学习系统的基本结构示意图.图中

X= $[{x^{T}}_{1}, {x^{T}}_{2}, \dots, {x^{T}}_{N}]^{T}$ ∈ R^N^×^M,

为N个M维的输入矢量组成的输入矩阵,

Y= $[{y^{T}}_{1}, {y^{T}}_{2}, \dots, {y^{T}}_{N}]^{T}$ ∈ R^N^×^C,

为N个C维的输出矢量构成的输出矩阵, Z₁, Z₂, …, Z_k为特征节点矩阵, H₁, H₂, …, H_m为增强节点矩阵, W为隐层和输出层之间的连接权矩阵.下面具体介绍它们之间的相互联系.

	Figure Option View Download New Window
	图1 宽度学习系统的基本结构示意图Fig.1 Basic structure of broad learning system

首先, X经过k组特征映射, 形成k组特征节点矩阵Z₁, Z₂, …, Z_k:

Z_i=ϕ _i(XW_ei+β _ei)∈ R^N^×^q, i=1, 2, …, k.

其中:ϕ _i通常默认为一个线性变换, q为每组特征映射对应的特征节点数目; W_ei∈ R^M^×^q、 β _ei∈ R^N^×^q分别为随机产生的权值矩阵、偏置矩阵.

为了得到输入数据的稀疏表示, 随机产生的W_ei和β _ei通过一个稀疏自编码器^{[5, 19]}进行微调.将所有的特征节点矩阵拼接成一个整体, 得到总的特征节点矩阵:

Z^k=[Z₁, Z₂, …, Z_k]∈ R^N^×^kq.

进一步, Z^k经过m组增强变换, 形成m组“ 增强节点” 矩阵H₁, H₂, …, H_m:

H_j=ξ _j(Z^kW_hj+β _hj)∈ R^N^×^r, j=1, 2, …, m.

其中, r为每组增强变换对应的增强节点数目; W_hj∈ R^kq^×^r、 β _hj∈ R^N^×^r也为随机产生的权值矩阵、偏置矩阵.值得注意的是, 这里的ξ _j为一个非线性激活函数, 一般可将其设置为双曲正切函数:

ξ _j(x)=tanh(x).

将所有的增强节点矩阵拼接成一个整体, 得到总的增强节点矩阵:

H^m=[H₁, H₂, …, H_m]∈ R^N^×^mr.

为了方便表示, 这里引入新的变量

U=[Z^k, H^m]∈ R^N^×^L, L=kq+mr,

系统的最终估计输出为

$\dot{Y}$ =UW,

其中 $\dot{Y}$ 表示输出矩阵的估计值.因为所有的 ${W_{ei}, β_{ei}}_{i = 1}^{k}$ 和 ${W_{hj}, β_{hj}}_{j = 1}^{m}$ 在随机产生后保持不变, 目标变成找到一个合适的W, 使 $\dot{Y}$ 与Y之间的差异性尽可能得小.Chen等^[5]将上述优化问题建模为

arg $\min_{W}$ （ ${(Y - \dot{Y})}_{2}^{2}$ + $\frac{λ}{2} {(W)}_{2}^{2}$ ）,

其中λ 为正则化参数.所以, 有

W= ${(U}^{T} {U + λI)}^{- 1}$ U^TY, (1)

当λ → 0时, 易得

W=U^†Y,

其中

U^†= $\lim_{λ \to 0} {(U}^{T} {U + λI)}^{- 1}$ U^T,

表示U的伪逆, I为单位矩阵.上式即为当前求解BLS默认方式.它为回归和分类问题最优权的求解提供一个统一的解决方案:在回归问题中, 通常有C=1, 此时待求解的W为一个L× 1的矢量; 在分类问题中, C为一个大于1的整数, 此时待求解的W为一个L× C的矩阵.

2 基于最小p-范数的宽度学习系统

在原始的BLS中, 利用正则化的最小二乘法求解最优W, 虽然会极大地方便训练过程, 但是也降低BLS的鲁棒性.这是由于正则化的最小二乘法采用误差矢量的2-范数构造损失函数, 难以有效抑制非高斯噪声污染或异常值带来的负面影响.鉴于此种情况, 本文以误差矢量的p-范数为损失函数, 提出LP-BLS.

首先考虑C=1 的情况, 即一般的回归问题.当C=1时, 输出为一个N× 1维的矢量:

y= $[y_{1}, y_{2}, \dots, y_{N}]^{T}$ ∈ R^N^{× 1}.

同时, 待求解的权为一个L× 1维的矢量, 表示为w.容易得到估计误差矢量

e=[e₁, …, e_n, …, e_N],

其中

e_n=y_n- ${u^{T}}_{n}$ w,

为第n个样本对应的估计误差, u_n∈ R^1×^L为变换后的输入矩阵U∈ R^N^×^L中的第n个行矢量, y_n∈ R为输出矢量y中的第n个元素.根据p-范数的定义, 误差矢量的p-范数可表示为

‖ e‖ _p= $(\overset{N}{\sum_{n = 1}} {|e_{n}|}^{p})^{\frac{1}{p}}$ .

不失一般性, 本文采用上述p-范数的p次幂(即 $‖ e ‖_{p}^{p}$ )构造损失函数, 并结合正则项 $\frac{λ}{2}$ ‖ w $‖_{2}^{2}$ 得到如下的优化问题:

arg $\min_{w}$ ( $\overset{N}{\sum_{n = 1}} {|e_{n}|}^{p}$ + $\frac{λ}{2}$ ‖ w $‖_{2}^{2}$ ).

令

J(w)= $\overset{N}{\sum_{n = 1}} {|e_{n}|}^{p}$ + $\frac{λ}{2}$ ‖ w $‖_{2}^{2}$ ,

则

$\begin{array}{l} \frac{\partial J (w)}{\partial w} = \overset{N}{\sum_{n = 1}} p {|e_{n}|}^{p - 1} sign (e_{n}) u_{n} + λw = \\ \overset{N}{\sum_{n = 1}} p {|e_{n}|}^{p - 2} (u_{n} w - y_{n}) u_{n} + λw = \\ U^{T} Λ_{w}^{-} (Uw - y) + λw, \end{array}$

其中

$Λ_{w}^{-}$ =pdiag[ ${|e_{1}|}^{p - 2}$ , ${|e_{2}|}^{p - 2}$ , …, ${|e_{N}|}^{p - 2}$ ],

为一个由估计误差构成的对角阵.令

$\frac{\partial J (w)}{\partial w}$ =0,

可得

w= $(U^{T} Λ_{w}^{+} {U + ρI)}^{- 1}$ U^T $Λ_{w}^{+}$ y, (2)

其中

ρ = $\frac{λ}{p}$ ,

$Λ_{w}^{+}$ = $\frac{Λ_{w}^{-}}{p}$ diag[ ${|e_{1}|}^{p - 2}$ , ${|e_{2}|}^{p - 2}$ …, ${|e_{N}|}^{p - 2}$ .

相比式(1), 式(2)中引入一个与误差有关的加权对角矩阵 $Λ_{w}^{+}$ .当p=2时, 由于 $Λ_{w}^{+}$ =I, 式(2)中的解就退化成经典的正则化的最小二乘解.众所周知, 采用正则化的最小二乘法求解输出权在高斯噪声情况下是最优的选择, 但却难以抑制非高斯噪声污染或异常值带来的负面影响.面对此类情况, 可以通过改变p值以增强系统的鲁棒性.

例如:当某些训练样本被异常值干扰时, 对应的估计误差也非常大(幅值通常大于甚至远大于1).此时, 设置1< p< 2, 可将 $Λ_{w}^{+}$ 中异常样本对应的对角元幅度限制在1以下, 这在一定程度上能削弱异常数据带来的负面影响.

接下来, 考虑C> 1且C为整数的情况, 其对应一般的分类问题.此时, 系统输出Y为一个N× C维的矩阵, 相应的待求解权W为一个L× C维的矩阵.根据矩阵分块原理, 将Y和W表示成如下的分块矩阵形式:

Y=[y₁, y₂, …, y_C]∈ R^N^×^C , W=[w1_,w2_,…, wC_]∈ RL^×^C,(3)

其中, y₁, y₂, …, y_C为C个维度为N× 1的列矢量, w₁, w₂, …, w_C为C个维度为L× 1的列矢量.利用式(2)中的结果, 可得

w_c= $(U^{T} Λ_{w_{c}}^{+} {U + ρI)}^{- 1}$ U^T $Λ_{w_{c}}^{+}$ y_c, c=1, 2, …, C.(4)

将式(4)代入式(3), 得到输出权W的最终表达式.不难发现, 当p≠ 2时, 式(2)和式(4)都是一个关于w或w_c的隐式方程, 因此需要找到一种有效的策略发现它们的真实解.

固定点迭代^[20]是一种通过迭代方式求解隐式方程解的手段, 已成功应用于机器学习与信号处理领域^{[21, 22, 23]}.鉴于此种情况, 也采用固定点迭代策略求解式(2)和式(4).以式(2)为例, 令

f(w)= $(U^{T} Λ_{w}^{+} {U + ρI)}^{- 1}$ U^TΛ y,

则固定点迭代的核心迭代过程可表示为

w(t)=f(w(t-1)),

其中w(t)为第t个迭代时刻得到的输出权的解.在实际操作中, 可以随机给定一个初始化的权矢量w(0)∈ R^L^{× 1}, 并设定一个最大迭代次数上限值(如30), 从而达到开启与终止迭代过程的目的.

3 数值仿真实验

在推导LP-BLS的过程中, 采取分情况讨论的方式.首先考虑C=1的情况, 这实质上对应一般的回归问题.对于C> 1且C为整数的情形, 直接利用C=1时求得的结果.这意味着分类问题的求解是建立在对一般回归问题的求解基础之上.因此, 有必要先行评估它在回归问题中的表现.

本节使用常见的sinc函数曲线^[24]拟合任务测试LP-BLS的回归性能, 描述如下:

y(x)= $\{\begin{array}{l} \frac{\sin (x)}{x}, & x \neq 0 \\ 1, & x = 0 \end{array}$

其中x的取值服从[-10, 10]上的均匀分布.在仿真实验中, 借助上式产生500个训练样本和500个测试样本, 并在训练样本的输出上加入不同的噪声干扰, 包括:1)均值为0, 方差为0.01的高斯噪声; 2)分布在[-0.4, 0.4\]上的均匀噪声; 3)脉冲噪声.这里的脉冲噪声由η _iB_i产生^[25], η _i为一个成功率为

P(η _i=1)=0.03

的伯努利过程; B_i的取值服从均值为0, 方差为100 $δ_{y}^{2}$ 的高斯分布, $δ_{y}^{2}$ 为训练样本输出对应的方差.

为了充分评估LP-BLS的性能, 将原始的BLS作为对比方法, 并定义测试均方根误差(Testing Root Mean Square Error, TRMSE)为

TRMSE= $\sqrt[]{\frac{1}{N_{te}} \overset{N_{te}}{\sum_{n = 1}} (\dot{y} (n) - y (n))^{2}}$ ,

其中, N_te=500为测试样本的数目, $\dot{y}$ (n)和y(n)分别为第n个测试样本的估计输出与期望输出.在隐层节点的构建方面, 仅采用一组增强变换, 即m=1.同时, 采用与文献[6\]、文献[26\]、文献[27\]相同的网格搜索法确定特征映射组的数目k、每组特征映射对应的特征节点数目q、增强变换对应的特征节点数目r的最佳组合.它们的搜索范围分别为1∶ 1∶ 10, 1∶ 1∶ 10和1∶ 2∶ 100.此外, 所有算法的正则化参数均固定为2^-30.

表1为不同噪声干扰环境下, BLS和LP-BLS的TRMSE及相关参数设置.

表1 不同噪声干扰环境下BLS和LP-BLS的TRMSE及相应的节点参数设置 Table 1 TRMSE and corresponding node parameters setting of BLS and LP-BLS under different noise environments

由表可见, 通过选择p=2, p=2.5与p=1.5, LP-BLS在高斯、均匀及脉冲噪声干扰环境下总能达到一个很小TRMSE.但对于BLS, 在脉冲噪声干扰环境下, 性能出现严重退化.

这是由于在BLS中, 默认p=2, 使其难以有效抑制异常干扰带来的负面影响.实验表明, LP-BLS更适合于噪声统计特性未知情况下数据的建模任务.接下来, 结合实际的EEG分类任务, 进一步测试LP-BLS的性能.

4 脑电图分类实验

实验数据采用第三届国际脑机接口竞赛的IVa公开数据集^{[28, 29]}, 包含从5个健康被试测得的EEG数据.每个被试都要执行280次运动想象任务, 包括右手运动想象任务(类一)和右脚运动想象任务(类二).在他(她)执行运动想象任务的过程中, 带有118个电极的脑电帽, 用于采集他(她)的脑电信号.采集到的脑电信号分为两组:一组用于训练, 另外一组作为测试.具体到每个被试aa、al、av、aw、ay, 他们对应的训练实验次数分别为168, 224, 84, 56和28.同时, 他们对应的测试实验次数分别为112, 56, 196, 224和252.

为了去除与运动想象无关的数据片段, 对于每个训练或测试试验数据, 选择性地截取在每个指令下达后的0.5 s~2.5 s数据片段作为有效样本.这些样本会通过一个起止频率为8 Hz与30 Hz的5阶巴特沃斯带通滤波器进行滤波处理.在此基础上, 使用共空间模式(CSP)^[18]提取这些样本的有效特征.类似于文献^[30]、文献^[31], 使用6个空域滤波器构造最终的特征向量.这些得到的特征向量与相应的标签将用于训练分类器并测试分类器的分类性能.

除了LP-BLS与原始的BLS, 线性判别式分析(Linear Discriminant Analysis, LDA)^[32]、k-最近邻(k-NearestNeighbor, KNN)^[33]、支持向量机(Support Vector Machine, SVM)^[34]、超限学习机(Extreme Learning Machine, ELM)^[24]也用于执行第三届国际脑机接口竞赛IVa公开数据集上的分类任务.在这些算法中, KNN与SVM直接调用Matlab自带的工具箱.

为了得到相应算法的最佳分类精度, 同样采取网格搜索法确定它们的参数配置.具体地, 对于原始的BLS 和LP-BLS, 正则化参数设置为2^-30, 网络节点参数的搜索范围为1∶ 1∶ 10, 1∶ 1∶ 10和1∶ 2∶ 100, 同时LP-BLS中p的取值在{1.5, 2.0, 2.5, 3.0} 中选取.对于ELM, 默认选用sigmoid激活函数, 正则化参数设置为 2^-30, 节点参数的搜索范围为1∶ 2∶ 300 .对于KNN, k的搜索范围为1∶ 1∶ 20.对于SVM, 选用高斯核函数, 核参数的取值在{2^-7, 2^-6, …, 2⁶, 2⁷}中选取.

表2给出不同算法在第三届国际脑机接口竞赛公开数据集IVa上取得的最佳分类精度.表中每个被试对应的分类精度都是在10个蒙特卡洛运行的基础上求平均得到.由表可见, LP-BLS在除了aa和ay以外的其它3个被试上都能取得最高的分类精度, LP-BLS在5个被试上取得的平均分类精度也是最高的.对于BLS, 虽然整体上表现出比LDA、KNN、SVM、ELM更强的分类能力, 但是分类精度依然低于LP-BLS.

表2 不同算法在第三届国际脑机接口竞赛公开数据集IVa上取得的最佳分类精度 Table 2 Best classification results of different algorithms on dataset IVa of BCI competition III %

5 结束语

在宽度学习系统(BLS)的基础上, 本文以误差矢量的p-范数为损失函数, 结合固定点迭代策略, 提出基于最小p-范数的宽度学习系统(LP-BLS).数值实验表明, p-范数的引入大幅增强BLS应对复杂噪声干扰的能力.在第三届国际脑机接口竞赛IVa公开数据集上, LP-BLS的EEG分类能力优于LDA、KNN、SVM、ELM、BLS.后续研究工作将重点放在推导LP-BLS的增量学习范式上, 并考虑在更多EEG数据集上测试其分类性能.

参考文献

文献选项

[1]	SALAKHUTDINOV R, HINTON G. An Efficient Learning Proce-dure for Deep Boltzmann Machines. Neural Computation, 2014, 24(8): 1967-2006. [本文引用:1]
[2]	HINTON G E, OSINDERO S, TEH Y W. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 2006, 18(7): 1527-1554. [本文引用:1]
[3]	KARPATHY A, TODERICI G, SHETTY S, et al. Large-Scale Video Classification with Convolutional Neural Networks // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2014: 1725-1732. [本文引用:1]
[4]	王林玉, 王莉, 郑婷一. 基于卷积神经网络和关键词策略的实体关系抽取方法. 模式识别与人工智能, 2017, 30(5): 465-472. (WANG L Y, WANG L, ZHENG T Y. Entity Relation Extraction Based on Convolutional Neural Network and Keywords Strategy. Pa-ttern Recognition and Artificial Intelligence, 2017, 30(5): 465-472. [本文引用:1]
[5]	CHEN C L P, LIU Z L. Broad Learning System: An Effective and Efficient Incremental Learning System without the Need for Deep Architecture. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(1): 10-24. [本文引用:5]
[6]	CHEN C L P, LIU Z L, FENG S. Universal Approximation Capabi-lity of Broad Learning System and Its Structural Variations. IEEE Transactions on Neural Networks and Learning Systems, 2018. DOI: DOI:10.1109/TNNLS.2018.2866622. [本文引用:2]
[7]	CHEN B D, XING L, WU Z Z, et al. Smoothed Least Mean p-Power Error Criterion for Adaptive Filtering. Digital Signal Processing, 2015, 40: 154-163. [本文引用:1]
[8]	SHAO T G, ZHENG Y R, BENESTY J. An Affine Projection Sign Algorithm Robust Against Impulsive Interferences. IEEE Signal Processing Letters, 2010, 17(4): 327-330. [本文引用:1]
[9]	LIU W F, PRINCIPE J C. HAYKIN S. Kernel Adaptive Filtering: A Comprehensive Introduction. New York, USA: John Wiley & Sons, 2010. [本文引用:1]
[10]	ZHAO H Q, YU Y, GAO S B, et al. A New Normalized LMAT Algorithm and Its Performance Analysis. Signal Processing, 2014, 105: 399-409. [本文引用:1]
[11]	WALACH E, WIDROW B. The Least Mean Fourth(LMF) Adaptive Algorithm and Its Family. IEEE Transactions on Information Theory, 1984, 30(2): 275-283. [本文引用:1]
[12]	CHAMBERS J A, TANRIKULU O, CONTANTINIDES A G. Least Mean Mixed-Norm Adaptive Filtering. Electronic Letters, 1994, 30(19): 1574-1575. [本文引用:1]
[13]	CHAMBERS J, AVLONITIES A. A Robust Mixed-Norm Adaptive Filter Algorithm. IEEE Signal Processing Letters, 1997, 4(2): 46-48. [本文引用:1]
[14]	PEI S C, TSENG C C. Least Mean p-Power Error Criterion for Adaptive FIR Filter. IEEE Journal on Selected Areas in Communications, 1994, 12(9): 1540-1547. [本文引用:1]
[15]	常冬霞, 冯大政. 脉冲噪声环境的一种递归全局最小平均 p-范数算法. 电子学报, 2003, 31(3): 426-428. (CHANG D X, FENG D Z. An Recursive Total Least Mean p-Norm Algorithm Applied in Alpha-Stable Noise Environments. Acta Electronica Sinica, 2003, 31(3): 426-428. [本文引用:1]
[16]	赵知劲, 张笑菲. 核递归最小平均 p-范数算法. 信号处理, 2017, 33(4): 523-527. (ZHAO Z J, ZHANG X F. Kernel Recursive Least Mean p-Norm Algorithm. Journal of Signal Processing, 2017, 33(4): 523-527. [本文引用:1]
[17]	YANG J, YE F, RONG H J, et al. Recursive Least Mean p-Power Extreme Learning Machine. Neural Networks, 2017, 91: 22-33. [本文引用:1]
[18]	BLANKERTZ B, TOMIOKA R, LEMM S, et al. Optimizing Spatial Filters for Robust EEG Single-Trial Analysis. IEEE Signal Processing Magazine, 2008, 25(1): 41-56. [本文引用:2]
[19]	SUN W J, SHAO S Y, ZHAO R, et al. A Sparse Auto-Encoder-Based Deep Neural Network Approach for Induction Motor Faults Classification. Measurement, 2016, 89: 171-178. [本文引用:1]
[20]	AGARWAL R P, MEEHAN M, O'REGAN D. Fixed Point Theory and Applications. Cambridge, UK: Cambridge University Press, 2001. [本文引用:1]
[21]	CHEN B D, XING L, WANG X, et al. Robust Learning with Kernel Mean p-Power Error Loss. IEEE Transactions on Cybernetics, 2018, 48(7): 2101-2113. [本文引用:1]
[22]	CHEN B D, WANG J J, ZHAO H Q, et al. Convergence of a Fixed-Point Algorithm under Maximum Correntropy Criterion. IEEE Signal Processing Letters, 2015, 22(10): 1723-1727. [本文引用:1]
[23]	ZHANG Y, CHEN B D, LIU X, et al. Convergence of a Fixed-Point Minimum Error Entropy Algorithm. Entropy, 2015, 17(8): 5549-5560. [本文引用:1]
[24]	HUANG G B, ZHU Q Y, SIEW C K. Extreme Learning Machine: Theory and Applications. Neurocomputing, 2006, 70(1/2/3): 489-501. [本文引用:2]
[25]	SHI L M, LIN Y. Convex Combination of Adaptive Filters under the Maximum Correntropy Criterion in Impulsive Interference. IEEE Signal Processing Letters, 2014, 21(11): 1385-1388. [本文引用:1]
[26]	HSU C W, LIN C J. A Comparison of Methods for Multiclass Su-pport Vector Machines. IEEE Transactions on Neural Networks, 2002, 13(2): 415-425. [本文引用:1]
[27]	LIANG N Y, ARATCHANDRAN P S, HUANG G B, et al. Cla-ssification of Mental Tasks from EEG Signals Using Extreme Lear-ning Machine. International Journal of Neural Systems, 2006, 16(1): 29-38. [本文引用:1]
[28]	BLANKERTZ B, MULLER K R, KRUSIENSKI D J, et al. The BCI Competition III: Validating Alternative Approaches to Actual BCI Problems. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2006, 14(2): 153-159. [本文引用:1]
[29]	DOMHEGE G, BLANKERTZ B, CURIO G, et al. Boosting Bit Rates in Noninvasive EEG Single-Trial Classifications by Feature Combination and Multiclass Paradigms. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 993-1002. [本文引用:1]
[30]	LOTTE F, GUAN C T. Regularizing Common Spatial Patterns to Improve BCI Designs: Unified Theory and New Algorithms. IEEE Transactions on Biomedical Engineering, 2011, 58(2): 355-362. [本文引用:1]
[31]	WANG H X, LI X M. Regularized Filters for L1-Norm-Based Common Spatial Patterns. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2016, 24(2): 201-211. [本文引用:1]
[32]	韩鸿哲, 王志良, 刘冀伟, 等. 基于线性判别分析和支持向量机的步态识别. 模式识别与人工智能, 2005, 18(2): 160-164. (HAN H Z, WANG Z L, LIU J W, et al. Gait Recognition Based on Linear Discriminant Analysis and Support Vector Machine. Pa-ttern Recognition and Artificial Intelligence, 2005, 18(2): 160-164. [本文引用:1]
[33]	KELLER J M, GRAY M R, GIVENS J A. A Fuzzy K-Nearest Neighbor Algorithm. IEEE Transactions on Systems, Man, and Cybernetics, 1985, 15(4): 580-585. [本文引用:1]
[34]	CORTES C, VAPNIK V. Support-Vector Networks. Machine Lear-ning, 1995, 20(3): 273-297. [本文引用:1]

2014

0.0

... 典型的深度神经网络学习模型包括深度玻尔兹曼机(Deep Boltzmann Ma-chines, DBM)^[1]、深度置信网络(Deep Belief Networks, DBN)^[2]、卷积神经网络(Convolutional Neural Networks, CNN)^[3,4]等 ...

2006

0.0

2014

0.0

2017

0.0

2018

0.0

... 为了应对这一难题,Chen等^[5]提出宽度学习系统(Broad Learning System, BLS)并证明其具有通用的逼近能力(Universal Approximation Capability)^[6] ...

... 此外,当特征节点或增强节点数目不足时,BLS使用自己的增量学习范式^[5],从而可快速实现模型的重建 ...

... 在实际应用中,BLS不仅在手写字体识别等大规模数据集^[5]上表现优异,而且在小样本数据集的回归及分类任务中也取得令人满意的结果^[6] ...

... _ei通过一个稀疏自编码器^[5,19]进行微调 ...

... Chen等^[5]将上述优化问题建模为 ...

2018

0.0

... 为了应对这一难题,Chen等^[5]提出宽度学习系统(Broad Learning System, BLS)并证明其具有通用的逼近能力(Universal Approximation Capability)^[6] ...

... 在实际应用中,BLS不仅在手写字体识别等大规模数据集^[5]上表现优异,而且在小样本数据集的回归及分类任务中也取得令人满意的结果^[6] ...

2015

0.0

... 由于这种方式难以有效抑制非高斯噪声或异常值带来的负面影响^[7],BLS系统的稳定性被降低 ...

2010

0.0

... 当p=1时,相应的算法称为符号算法(Sign Algorithm,SA)^[8],对脉冲噪声具有极强的鲁棒性 ...

2010

0.0

... 当p=2时,相应的算法称为最小均方算法(Least Mean Square, LMS)^[9],在高斯噪声干扰环境下是最优的选择 ...

2014

0.0

... 当p=3和p=4时,相应的算法分别命名为最小平均绝对值3阶算法(Least Mean Absolute Third , LMAT)^[10]和最小平均4阶算法(Least Mean Fourth, LMF)^[11],它们在均匀噪声干扰下的滤波性能优于LMS ...

1984

0.0

1994

0.0

... 除了采取单一的p值外,由多个p值组合的损失函数也考虑用于构造一般形式的自适应滤波器,包括最小平均混合范数算法(Least Mean Mixed-Norm, LMMN)^[12]和稳健的混合范数算法(Robust Mixed-Norm, RMN)^[13] ...

1997

0.0

1994

0.0

... 此外,Pei等^[14]从理论上证明当p#cod#x02265 ...

2003

0.0

常冬霞, 冯大政. 脉冲噪声环境的一种递归全局最小平均 p-范数算法. 电子学报, 2003, 31(3): 426-428.

(CHANG D

, FENG D

. An Recursive Total Least Mean p-Norm Algorithm Applied in Alpha-Stable Noise Environments. Acta Electronica Sinica, 2003, 31(3): 426-428.

A recursive total least l p -norm (RTLMP) algorithm is developed to recursively compute the total least l p -norm solution for adaptive finite impulse response(FIR) filters.Due to the existence of the non-Gaussian α -stable noise,the performance of signal processing algorithms designed under the Gaussian assumption may degrade seriously.In this paper,a new adaptive algorithm based on the classical power iteration is developed which can minimize the L p norm of the error function.The performance of the algorithm is evaluated via simulations.It is shown that the new algorithm achieves superior convergence rate.

Key Lab for Radar Signal Processing,Xidian University,Xi'an,Shaanxi 710071,China

本文给出了适应于α-稳定噪声环境的一种递归全局最小平均P-范数算法,其可用于递归计算自适应滤波和系统辨识问题的全局最小平均P-范数算法.针对α-稳定噪声的冲击性,本文所提出的自适应算法采用了有名的power迭代法,并通过计算机仿真比较了有关算法的性能.

... 在实际应用中,并不需要将p的取值局限于正整数,进一步体现在递归全局最小平均p-范数算法(Recursive Total Least Mean p-norm, RTLMP)^[15]、核递归最小平均p-范数算法(Kernel Recursive Least Mean p-norm, KRLMP)^[16]及递归最小平均p-阶超限学习机(Recursive Least Mean p-Power Extreme Learning Machine, RLMP-ELM)^[17]中 ...

2017

0.0

2017

0.0

2008

0.0

... 当与共空间模式(Common Spatial Pattern, CSP)^[18]结合对脑电波(Electroencephalogram, EEG)数据进行分类时,LP-BLS的分类性能优于BLS ...

... 在此基础上,使用共空间模式(CSP)^[18]提取这些样本的有效特征 ...

2016

0.0

... _ei通过一个稀疏自编码器^[5,19]进行微调 ...

2001

0.0

... 固定点迭代^[20]是一种通过迭代方式求解隐式方程解的手段,已成功应用于机器学习与信号处理领域^[21,22,23] ...

2018

0.0

... 固定点迭代^[20]是一种通过迭代方式求解隐式方程解的手段,已成功应用于机器学习与信号处理领域^[21,22,23] ...

2015

0.0

... 固定点迭代^[20]是一种通过迭代方式求解隐式方程解的手段,已成功应用于机器学习与信号处理领域^[21,22,23] ...

2015

0.0

... 固定点迭代^[20]是一种通过迭代方式求解隐式方程解的手段,已成功应用于机器学习与信号处理领域^[21,22,23] ...

2006

0.0

... 本节使用常见的sinc函数曲线^[24]拟合任务测试LP-BLS的回归性能,描述如下: ...

... 除了LP-BLS与原始的BLS,线性判别式分析(Linear Discriminant Analysis, LDA)^[32]、k-最近邻(k-NearestNeighbor, KNN)^[33]、支持向量机(Support Vector Machine, SVM)^[34]、超限学习机(Extreme Learning Machine, ELM)^[24]也用于执行第三届国际脑机接口竞赛IVa公开数据集上的分类任务 ...

2014

0.0

... _iB_i产生^[25],#cod#x003b7 ...

2002

0.0

2006

0.0

2006

0.0

... 4 脑电图分类实验实验数据采用第三届国际脑机接口竞赛的IVa公开数据集^[28,29],包含从5个健康被试测得的EEG数据 ...

2004

0.0

... 4 脑电图分类实验实验数据采用第三届国际脑机接口竞赛的IVa公开数据集^[28,29],包含从5个健康被试测得的EEG数据 ...

2011

0.0

... 类似于文献^[30]、文献^[31],使用6个空域滤波器构造最终的特征向量 ...

2016

0.0

... 类似于文献^[30]、文献^[31],使用6个空域滤波器构造最终的特征向量 ...

2005

0.0

1985

0.0

1995

0.0