给定源域

D_s={(x_{s, 1}, y_{s, 1}), (x_{s, 2}, y_{s, 2}), …, (x_{s, n}, y_{s, n})},

有n个带标签的源域样本x_s, 目标域

D_t={x_{t, 1}, x_{t, 2}, …, x_{t, m}}

有m个不带标签的样本x_t, x∈X, y∈Y, X为一个特征空间, Y为一个标签空间.假设源域和目标域的特征空间和标签空间相同, 即X_s=X_t, Y_s=Y_t, 属于同质迁移学习, 但它们的边缘、条件及联合概率分布都不同.迁移学习的目标是利用源域D_s为目标域D_t学习标签y_t.

迁移学习的域适应方法通常是将源域和目标域映射到一个相同的子空间内, 利用降维的方法学习它们的特征变换矩阵, 常用的降维方法是主成分分析(Principal Component Analysis, PCA)^[20].假设

X=[x_s, x_t]

为由源域和目标域数据组成的输入矩阵, I∈ R^{(n+m)× (n+m)}为单位矩阵,

H=I- 1n+m1

为中心矩阵, 协方差矩阵可表示为XHX^T.PCA的目标是通过

maxATA=Itr(A^TXHX^TA)

找到一个正交变换矩阵A∈ R^{(n+m)× k}, 使数据在降维过程中的方差最大, 从而保留更多的数据信息.其中, k为降维后的维度, tr(· )为矩阵的迹.

本文提出基于无监督域适应的可区分联合匹配算法(DJM).首先最小化源域与目标域的相同类的类内距离, 提高域的可迁移性, 完成跨域特征匹配.然后最大化不同类的类间距离, 提高分类时的可区分性.最后通过结构化稀疏性对源域实例进行重加权.目标函数如下:

minA(d_T-μ d_F+λ‖A‖ _{2, 1}),

其中, μ> 0, λ> 0, 为2个权重参数, ‖ · ‖ _{2, 1}为l_{2, 1}范式, d_T为相同类之间的距离, d_F为不同类之间的距离, A为特征变换矩阵.通过降维使源域和目标域的特征更匹配.

2.4.1 类内距离

在传统的迁移学习中, 常用MMD测量两个域之间的分布差异, 采用的分布一般是边缘分布和条件分布的近似结合.本文采用基于DJP-MMD^[17]的联合概率分布, 这样两个域之间的距离可根据式(1)表示为

d(D_s, D_t)=d(P(x_s|y_s)P(y_s), P(x_t|y_t)P(y_t)),

相同类之间的距离表示为

其中:c=1, 2, …, C为源域的标签集合, =1, 2, …, C表示目标域的标签集合;H表示再生核希尔伯特空间;E[· ]表示样本的均值,

x_{s, i}表示源域的第i个样本,

Ds(c)={x_{s, i}:x_{s, i}∈D_s∧y(x_{s, i})=c}

表示源域中c类样本的集合, n^c=| Ds(c)|表示源域中c类样本个数.相应地, 源域部分可整合为

同样, 目标域部分可表示为

其中, x_{t, j}表示目标域的j个样本,

Dt(c)={x_{t, j}:x_{t, j}∈D_t∧y(x_{t, j})=c}

表示目标域中c类样本集合.

整合式(2)和式(3)可得到d_T, 再利用PCA^[20]对其进行矩阵化, 可得

其中, Mc=c^可根据文献[8]进行矩阵构造,

2.4.2 类间距离

源域和目标域中不同类之间的距离d_F根据DJP-MMD可表示为

与d_T类似, 将上式拆解后整理, 可得到新的d_F计算方法, 再利用矩阵技巧对其进行变化, 可得

和式(4)类似, 可构造为

常见的实例重加权方法包括核均值匹配^[13]、样本选取^[19]和对负迁移实例重加权^[15].但这些方法仅是单纯的实例重加权, 如何将它们与特征匹配统一以获得更优性能还没有一个较好的解决方案.本文对变换矩阵A使用l_{2, 1}-norm结构稀疏正则化器^[21], 将行稀疏性引入变换矩阵A中, 因为矩阵的每行都对应一个实例, 因此行稀疏性从本质上实现实例重加权, 其表现形式如下:

‖A_s‖ _{2, 1}+‖A_t‖ .(8)

值得注意的是:1)本文只针对源域的实例进行重加权, 对于目标域的实例采用正则化处理; 2)为了提高目标域伪标签的准确性, 本文采用迭代优化操作.具体地说, 就是在每次迭代中执行DJM.再利用特征转换过的实例Z=A^TX训练分类器, 基于训练好的分类器更新目标域的伪标签.然后, 使用更新后的伪标签重复执行DJM, 直至收敛.在这个过程中, 特征转换矩阵A在不断地变化, ‖A_s‖ _{2, 1}+‖A_t‖ 也随之变化.利用这种正则化形式, DJM对相关实例的迁移更高效, 对不相关实例引起的域差异更鲁棒.

本文算法有3个目标:1)最小化源域与目标域中相同类之间的距离; 2)最大化源域和目标域中不同类之间的距离; 3)对变换矩阵进行实例重加权.根据上述分析, 本文结合式(4)、式(6)和式(8), 得到DJM的目标函数:

上式利用拉格朗日乘子法进行优化, 可得

其中Φ={φ₁, φ₂, …, φ _k}为拉格朗日乘子.

对L求偏导, 并令∂L/∂A=0, 优化问题可转换成一个求广义特征值分解问题:

求解式(10), 可得到特征变换矩阵A和k个特征向量.在式(10)中, G为一个单位对角矩阵, 由 求偏导所得.当x_i∈D_s时, G中的元素

g_ii=12‖ai‖2.(11)

当x_i∈D_t时, 保持单位对角矩阵不变^[16].

对非线性情况, 可将核映射ψ:x|→ψ(x)应用到X上, 表示为

K=ψ(X)^Tψ(X)∈ R^{(n+m)× (n+m)},

核映射可利用线性核或高斯核构造.目标函数(9)可改写为

优化方法类似.

本文算法步骤如下.

算法1 DJM

输入 源域特征矩阵X_s, 目标域特征矩阵X_t,

源域标签y_s, 子空间维度k, 权衡参数μ,

正则化参数λ, 迭代次数T

输出 特征转换矩阵A, 分类器f在基分类器上训练X_s, 并用于预测X_t得到伪标签 , 构造矩阵X=[X_s, X_t], 利用式(5)和式(7)初始化矩阵 和 , G←I

Repeat

求解式(10)中的广义特征值分解问题, 并采用k

个特征向量构建矩阵A

利用{A^TX_s, y_s}训练分类器f

更新目标域的伪标签 =f(A^TX_t)

利用式(5)、式(7)和式(11)更新矩阵 、 、G

Until 收敛

Return 分类器f

本文使用6个广泛应用的数据集USPS、MNIST、Semeion^[22]、Office^[23]、Caltech、COIL20, 构造18组不同的迁移任务, 数据集的具体描述如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 类型 样本数 特征数 类别 域 USPS 字符型 1800 256 10 U MNIST 字符型 2000 256 10 M Semeion 字符型 1593 256 10 S Office 对象型 1410 800 10 A, W, D Caltech 对象型 1120 800 10 C COIL20 对象型 1440 1024 20 CO1, CO2

表1 实验数据集 Table 1 Experimental datasets

USPS、MNIST、Semeion为3个通用的手写体识别数据集, 广泛应用于机器学习算法评测的各方面.USPS数据集包括7 291幅训练图像和2 007幅测试图像, 图像大小为16× 16.MNIST数据集包括60 000幅训练图像和10 000幅测试图像, 图像大小为28× 28.Semeion数据集包括1 593幅图像, 图像大小为16× 16.3个数据集分别服从不同的概率分布, 包含10个类别, 每个类别是1~10之间的某个数.本文选取USPS中任意1 800幅图像、MNIST中任意2 000幅图像和Semeion中全部图像进行实验.

Office数据集由3个现实世界的对象域组成:Amazon, Webcam, DSLR, 包含4 652幅图像和31个类别.Caltech数据集是用于对象识别的标准数据库, 包含30 607幅图像和256个类别.Office、Caltech数据集上有10个通用的类别, 因为Office、Caltech数据集上对象遵循不同的分布, 可用领域自适应实现跨域识别.本文采用Office-10+Caltech-10的数据集进行实验.

COIL20数据集包含20个对象类别, 共1 440幅图像, 每个对象类别包括72幅图像, 每幅图像拍摄时对象水平旋转5° (共360° ).每幅图像大小为32× 32, 表征为1 024维的向量.实验中将该数据集划分为2个不相交的子集COIL1和COIL2.COIL1数据集包括位于拍摄角度为[0° , 85° ]∪ [180° , 265° ](第一、三象限)的所有图像, COIL2包括拍摄角度为[90° , 175° ]∪ [270° , 355° ](第二、四象限)的所有图像.子集COIL1、COIL2的图像因为拍摄角度不同服从不同的概率分布.

本文采用如下7种对比算法:1 Nearest Neighbor Classifier(1NN), Transfer Component Ana-lysis(TCA)+1NN, Transfer Joint Matching(TJM)+1NN, JDA+1NN, BDA+1NN, Easy Transfer Learning(EasyTL), JPDA+1NN.

1NN为传统机器学习中常用算法, 除了EasyTL^[24], 其它算法都是基于1NN进行分类.EasyTL不使用通用分类器, 根据数据到类中心点的距离进行分类, BDA^[12]、EasyTL^[24]、JPDA^[9]都是近期提出的迁移学习算法.

为了更公平合理地进行对比, 实验中TCA、JDA、BDA的最优参数根据文献[12]设置, TJM、JPDA的参数根据文献[9]和文献[16]设置, EasyTL无需设置参数.

实验涉及到的参数如下:降维后的特征维度k, 类内距离和类间距离之间的权衡参数μ, 实例重加权的权重参数λ .在本文实验中, 都使用线性核函数, 迭代次数T=10, 其中Office-10+Caltech-10数据集上参数设置为k=30, λ=1, μ=0.3.USPS+MNIST、USPS+Semeion、COIL2数据集上参数设置为k=30, λ=1, μ=0.05.

本文将分类器对目标域D_t分类的准确率作为评价标准:

其中, 表示目标域的伪标签, y(x)表示目标域的真实标签, |· |表示满足条件的数量.

根据表1, 本文构造18组学习任务.根据数据集的不同属性, 划分为3类:1~4组学习任务基于手写数字数据集; 5~6组学习任务基于COIL20数据集; 7~18组学习任务基于Office数据集.

各算法在18组学习任务上的迁移准确率如表2所示, 表中黑体数字表示最优结果.由表可知, DJM在大部分任务上准确率最优, 平均准确率达到58.13%, 比传统机器学习算法(1NN)提高15.75%, 比BDA提高4.43%.

表2

Table 2

表2(Table 2)

表2 各算法在18组任务上的迁移准确率 Table 2 Transfer accuracy of different algorithms on 18 tasks % 组别 任务 1NN TCA TJM JDA BDA EasyTL JPDA DJM 1 USPS vs. MNIST 44.70 52.20 41.40 56.85 57.10 30.95 44.70 59.55 2 MNIST vs. USPS 65.94 54.28 42.94 61.56 62.33 54.50 65.94 70.06 3 USPS vs. Semeion 54.93 52.04 45.39 51.73 51.16 33.58 54.93 52.54 4 Semeion vs. USPS 54.33 55.22 53.78 50.44 55.28 27.06 54.33 65.72 5 COIL1 vs. COIL2 83.61 88.61 89.86 95.42 95.28 77.22 83.61 89.86 6 COIL2 vs. COIL1 82.78 86.39 89.86 95.00 95.00 74.22 82.78 91.25 7 Caltech vs. Amazon 23.70 44.89 46.76 41.65 42.80 50.10 47.60 50.52 8 Caltech vs. Webcam 25.76 36.61 38.98 34.58 38.31 49.49 45.76 45.08 9 Caltech vs. DSLR 25.48 45.86 44.59 45.22 49.68 48.40 46.50 45.86 10 Amazon vs. Caltech 26.00 40.78 39.45 36.95 37.58 43.01 40.78 43.37 11 Amazon vs. Webcam 29.83 37.63 42.03 35.59 36.95 40.68 40.68 43.39 12 Amazon vs. DSLR 25.48 31.85 45.22 45.22 43.95 38.85 40.76 49.04 13 Webcam vs. Caltech 19.86 27.16 30.19 28.94 26.36 29.65 34.55 36.60 14 Webcam vs. Amazon 22.96 30.69 29.96 32.05 31.42 35.18 33.82 47.81 15 Webcam vs. DSLR 59.24 90.45 89.17 91.08 89.81 77.07 89.17 90.45 16 DSLR vs. Caltech 26.27 32.50 31.43 30.01 29.65 31.17 34.73 35.17 17 DSLR vs. Amazon 28.50 31.52 32.78 30.79 31.73 31.94 34.66 39.25 18 DSLR vs. Webcam 63.39 87.12 85.42 92.20 92.20 69.49 91.19 90.85 平均值 42.38 51.43 51.07 53.07 53.70 46.81 53.69 58.13

表2 各算法在18组任务上的迁移准确率 Table 2 Transfer accuracy of different algorithms on 18 tasks %

为了更直观地进行观察, 将TJM、BDA、JPDA、DJM在18组任务上的结果进行可视化处理(TCA、JDA可看成特殊的BDA), 结果如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 各算法在18组任务上的可视化结果Fig.1 Visualization results of different algorithms on 18 tasks

在18组任务上, DJM在11组任务上最优, 在剩余7组任务上虽未取得最优效果, 但也有较好表现.COIL20数据集为分割图像, 无法获取整幅图像完整的信息, 使用联合概率分布则显劣势, 故使用联合概率分布的JPDA与DJM在此表现都不突出, 但相比JPDA, DJM结合实例重加权, 在另一方面弥补不足, 迁移效果相对较佳.由此可看出DJM在各类图像数据集上的有效性和鲁棒性.

相比同样进行实例重加权的TJM, DJM在所有任务上的表现更佳.针对领域自适应问题, TJM仅考虑减少两个域之间的边缘概率分布, 而不考虑条件概率分布和联合概率分布的情况, 所以在一些边缘分布相差不大, 而条件分布有显著差异的数据集上, TJM并不能获得较好结果.

与之不同的是, DJM不仅考虑边缘和条件结合的联合概率分布情况, 还更分开处理相同类别和不同类别的联合概率分布.由实验结果可看出, 在域自适应时, 考虑联合概率分布优于仅考虑边缘概率分布.

BDA和JPDA在18组任务上的表现基本相当, 但不如DJM.BDA减少源域和目标域之间的边缘概率分布和条件概率分布的差异, 实现领域自适应; JPDA减少相同类(增加不同类)联合概率分布, 实现领域自适应.

不同于BDA和JPDA, DJM不仅综合考虑源域和目标域之间的分布不同, 更对源域实例进行重加权, 提高对不相关实例迁移的鲁棒性.

为了进一步验证DJM的优越性, 引入弗里德曼检验(Friedman Test)方法^[25].该方法通过重复测量ANOVA的非参数等价物, 对不同算法在同个数据集上的结果进行排序, 最后得到不同算法在所有数据集上的平均等级.取值越低, 等级越高.Fried-man检验结果如下:1NN为6.83, TCA为4.86, TJM为4.92, JDA为4.64, BDA为4.17, EasyTL为5.08, JPDA为3.58, DJM为1.92.由此可知, DJM数值最低, 等级最高.

DJM主要涉及3部分:相同类分布d_T、不同类分布d_F、实例重加权.为了验证各部分的重要性, 随机选取4组任务进行消融实验, 结果如图2所示.仅考虑d_T部分的准确率最低, 随着d_F和实例重加权的加入, 每个任务的准确率逐步递增.以任务7和任务17为例, 可明显看出d_F和实例重加权的重要性, 都能大幅提升DJM的准确率.由此证实3部分在DJM中都必不可少.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各部分在4组任务上的准确率对比Fig.2 Accuracy comparison of different parts on 4 tasks

本文选用任务7~任务9、任务14、任务15、任务18共6组迁移任务, 验证T, k, λ, μ在DJM中的敏感性.

首先是对于算法收敛性的分析.保持其它参数值不变, 令T=1, 2, …, 20.T对准确率的影响如图3所示.由图3可看出, 算法的收敛速度很快, 在大部分任务上, 仅迭代5次, 准确率就趋于稳定.但在任务9上有轻微浮动.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 迭代次数T对准确率的影响Fig.3 Influence of iteration number T on accuracy rate

再分析特征变换矩阵A的维度k.令k=10, 20, …, 100, k对准确率的影响如图4所示.任务9和任务14在维度较低时表现较优, 维度越大反而结果越差.任务8受维度影响明显, 而其它任务在低维时的表现都较差, 维度较大时趋于稳定.当k=30, 40时, 所有任务表现都较优, 由此可看出变换矩阵A的重要性.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 维度k对准确率的影响Fig.4 Influence of dimension k on accuracy rate

权重参数λ对准确率的影响如图5所示.λ∈ [0.5, 1]时效果最佳.当λ< 0.5时, 实例重加权在迁移时的效果很弱, 由此得到的结果也不令人满意.当λ> 1时, 实例重加权的权重过大, 特征迁移的效果较弱.从λ的变化可明显看出, 只有当特征迁移与实例重加权重要性相当时才能得到最佳结果.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 权重参数λ对准确率的影响Fig.5 Influence of weighting parameter λ on accuracy rate

μ表示增强分类时的可区分性的权重参数, μ对准确率的影响如图6所示.由图可看出, μ∈ [0.01, 0.7], DJM较鲁棒, 当μ> 1时, 准确率开始明显下降, 故在实验中不能仅单一增强可区分性, 还应注意与迁移性的平衡.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 权重参数μ对准确率的影响Fig.6 Influence of weighting parameter μ on accuracy rate