将有标签的A数据集作为源域(Source), 无标签的B数据集作为目标域(Target).一幅原始图像对应若干种裁剪方式, 因此将按照规定方式裁剪后的图像作为基本样本单位, 命名为裁剪子图.设源域原始图像集合

I_s={I_s(0), I_s(1), …, I_s(k)},

每幅原始图像对应若干个裁剪子图, 裁剪子图集合

B_s={B_s(0), B_s(1), …, B_s(n)},

源域裁剪子图对应的美学标签集合

a_s={a_s(0), a_s(1), …, a_s(n)}.

设目标域原图集合

I_t={I_t(0), I_t(1), …, I_t(k)},

裁剪子图集合

B_t={B_t(0), B_t(1), …, B_t(n)},

目标域裁剪子图对应的美学标签集合

a_t={a_t(0), a_t(1), …, a_t(n)}.

在本任务中, 研究者设计算法预测目标域子图的美学分数, 并从中筛选更优的裁剪方式.问题在于:目标域标签a_t是缺失的, 只能利用源域裁剪子图B_s、源域美学标注a_s和目标域裁剪子图B_t训练算法, 再通过算法预测 P_t作为目标域子图的美学预测.另外, 设P_s作为源域子图的美学预测.

本任务的目的是减小算法在目标域上的预测误差, 即减小

${E_t}({B_t}, {a_t}) = \mathop {\mathop \sum \limits_{i = 1} }\limits^N D({P_t}(i), {a_t}(i)).$

由于目标域标签a_t缺失, 无法直接约束E_t(B_t, a_t)最小, 但可使用E_s(B_s, a_s)和dis(I_s, I_t)衡量E_t(B_t, a_t).E_s(B_s, a_s)表示裁剪算法在源域上的预测误差, dis(I_s, I_t)表示源域和目标域数据分布的差异, 即域偏移量.为了减小E_t(B_t, a_t), 从减小E_s(B_s, a_s)和dis(I_s, I_t)入手, 构建LDAIC.

本文算法网络结构如图1所示, 主要包含特征提取器、域判别器、2个美学分类器.本文采用VGG作为特征提取器, 用于从原始图像I∈ R^{H× W× 3}中提取全局特征F₁∈ RH'×W'×D1.F₁经过自适应梯度反转层后送入域判别器, 而域判别器的作用是将当前样本按照源域和目标域分成两类.2个美学分类器的结构相同但参数不同, 输入同样为F₁, 按照Grid Anchor规则^[17]生成的N种裁剪方式对F₁进行重采样并输出这N个裁剪子图的美学预测分数.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文算法网络结构图Fig.1 Network structure of the proposed algorithm

2个美学分类器构成本文算法美学评分模块, 用于预测裁剪子图的美学评分并辅助算法提取不变特征.自适应梯度反转层和域判别器构成对抗域适应模块.对抗域适应模块通过对抗域适应方法对齐源域和目标域样本的分布.

为了使算法具备裁剪任务相关的美学鉴赏能力, 减小在源域的预测误差E_s(I_s, a_s), 本文构建美学评分模块.2个不同参数的美学分类器A₁、A₂组成美学评分模块.本文首先根据Grid Anchor规则^[17]生成预选裁剪方式并对全局特征进行重采样, 将原始图像中的裁剪区域作为前景重采样, 将原始图像中被裁剪的区域作为背景重采样.

F₁和N种裁剪方式输入ROIAlign^[35], 得到前景特征F_f∈ R^{(N× 8× 8× D1)}.对于背景部分, 将待裁剪区域置0并输入ROIAlign中, 得到背景特征F_b∈ R^{(N× 8× 8× D1)}.将前景特征和背景特征从通道维度叠加, 得到重采样特征F₂∈ R^{(N× 8× 8× 2D1)}, F₂被分别送入A₁和A₂.A₁主要由3个卷积层和1个失活层组成.F₂首先送入kernel_size=(8, 8)的卷积层, 得到F₃∈ R^{(N× 1× 1× D2)}, 本文中D₂=1 024.F₄经过kernel_size=(1, 1)卷积层和1个失活层, 最后被送入输出维度为1, kernel_size=(1, 1)的卷积层, 得到预测结果P∈ R^{N× 1× 1× 1}.P中第1个维度表示N种裁剪方式, 对应每种裁剪方式的预测结果.A₂与A₁结构相同, 此处不赘述.

将A₁和A₂预测结果的均值作为每种裁剪方式的美学预测分数, 并选择分数最高的前K个裁剪子图作为算法输出.本文采用源域数据集上的裁剪方式和美学标签作为监督训练模型的美学鉴赏能力.对于A₁和A₂, 约束其预测结果趋于一致, 并保持它们参数的独立性, 辅助提取与美学相关的不变信息.

原始图像I_s(i)对应1组共N种裁剪方式, 裁剪后生成的新图像

B(i)={B₁(i), B₂(i), …, B_N(i)},

每个裁剪区域的美学分数标签

Sc(i)={Sc₁(i), Sc₂(i), …, Sc_N(i)}.

根据图1, 输入原始图像提取特征并使用ROIAlign对预设裁剪区域进行重采样, 得到每个裁剪子图的区域特征

F_sⁱ (i)=G(I_sⁱ (i)), j=1, 2, …, N,

其中, I_sⁱ (i)表示图I_s(i)对应裁剪区域为B_j时的裁剪子图, F_sⁱ (i)表示对应的区域特征, G表示特征提取器.

得到区域特征后, 输入A₁、A₂, 用于预测当前裁剪子图的美学分数, 将美学分数的平均值作为裁剪子图的美学质量预测结果, 即

p_s(i)={p¹(i), p²(i), …, p^N(i)}.

GAIC(Grid Anchor Based Cropping)^[17]采用SmoothL1作为美学损失L_A, 用于约束p_s(i)和Sc(i)趋于一致, SmoothL1如下所示:

${L_{smoothL1}} = \left\{ {\begin{array}{* {20}{l}}{\frac{1}{2}e{{\left( i \right)}^2}, }& {\left| {e\left( i \right)} \right| \le \delta } \\ {\delta \left| {e\left( i \right)} \right| - \frac{1}{2}{\delta ^2}, }& {\left| {e\left( i \right)} \right| > \delta }\end{array}} \right.$

其中, e(i)=p_s(i)-sc(i)表示预测值与美学标签之间的误差, δ =0.5.

但在SmoothL1的计算过程里, 所有裁剪子图都具有相同权重, 这与任务目标不符.在智能裁剪任务中, 用户只需要得到高质量的裁剪结果, 不关心算法对低质量裁剪结果预测的精确度.因此, Listwise-Loss^[36]通过非线性归一化的策略放大高质量裁剪子图的权重.

ListwiseLoss计算如下:

$\begin{aligned} & S c^{\prime}(j)=\prod_{j=1}^{n} \frac{\Phi\left(s c_{j}\right)}{\sum_{k=1}^{n} \Phi\left(s c_{k}\right)}, \Phi(x)=e^{x} ; \\ & P^{\prime}(j)=\prod_{j=1}^{n} \frac{\Phi\left(f\left(I^{j}\right)\right)}{\sum_{k=1}^{n} \Phi\left(f\left(I^{k}\right)\right)}, \Phi(x)=e^{x} ; \\ & L_{\text {listwise }}=-\sum_{i=1}^{m} \sum_{j=1}^{n} S c^{\prime}(j) \ln \left(P^{\prime}(j)\right) . \end{aligned}$ (1)

其中, Sc表示原始标签, Sc'表示归一化后的标签, f表示预测函数, P'表示归一化后的预测值.

本文结合SmoothL1和ListwiseLoss, 作为美学损失函数, 命名为ScalingSmoothL1.该损失按照式(1)中的归一化方法处理标签Sc和预测值P, 将归一化后的Sc'和P'分别作为标签和预测值代入SmoothL1中计算损失, 即

${L_A} = \left\{ {\begin{array}{* {20}{l}}{\frac{1}{2}{{({X_{{\rm{dis}}}})}^2}, }& {\left| {{X_{{\rm{dis}}}}} \right| \le 1} \\ {\left| {{X_{{\rm{dis}}}}} \right| - \frac{1}{2}, }& {\left| {{X_{{\rm{dis}}}}} \right| > 1}\end{array}} \right.$

其中

${X_{dis}} = \frac{{{e^{Sc\left( i \right)}}}}{{\mathop {\mathop \sum \limits_{j = 1} }\limits^n {e^{Sc\left( i \right)}}}} - \frac{{{e^{p\left( i \right)}}}}{{\mathop {\mathop \sum \limits_{j = 1} }\limits^n {e^{p\left( i \right)}}}}, $

表示归一化后的预测值与美学标签之间的误差.

通过上述方法, 可让p(i)趋近真实值Sc(i), 使算法学习到美学鉴赏能力.而通过上述的非线性映射方法, 也可将网络的关注点向高质量裁剪子图倾斜, 避免算法耗费过多资源拟合低质量裁剪子图.在测试阶段, 裁剪算法根据p(i)筛选裁剪子图, 并输出裁剪结果.

除此之外, 本文算法采用2个结构相同参数不同的美学分类器构建美学评分模块.相比单美学分类器的方法, 2个参数不同的美学分类器有利于算法提取美学不变特征.参数不同的美学分类器是从不同角度分析当前子图, 如果预测结果趋于一致并与美学标签吻合, 说明算法提取到的特征含有更多的美学信息, 不易受到分类器的影响.这种不受分类器限制、被输入到不同美学分类器都能得到正确且相似预测结果的特征, 称为美学不变特征.美学不变特征更关注图像的美学内容, 提高算法的美学鉴赏能力, 增强算法的鲁棒性.

为了制造2个有差异的美学分类器, 本文通过权重损失约束分类器参数, 降低2个美学分类器参数的相似度.首先将每个分类器的参数都编码为一个参数矩阵, 再最大化分类器参数之间的余弦距离, 避免分类器在训练过程中趋同, 称为权重损失L_w.设2个分类器A₁、A₂, W₁为A₁参数矩阵, W₂为A₂参数矩阵, 权重损失

$\begin{array}{r} L_{w}\left(\boldsymbol{W}_{1}, \boldsymbol{W}_{2}\right)=-\left(1-\cos \left\langle\boldsymbol{W}_{1}, \boldsymbol{W}_{2}\right\rangle\right)= \\ \frac{\sum_{i=1}^{n} W_{1 i} W_{2 i}}{\sqrt{\sum_{i=1}^{n} W_{1 i}^{2}} \sqrt{\sum_{i=1}^{n} W_{2 i}^{2}}}-1 \end{array}$.(2)

当A₁、A₂分类面相近时, L_w(W₁, W₂)偏大, 最小化L_w(W₁, W₂)可使W₁与W₂相似度减小.由于A₁、A₂只是具体参数不一样, 结构和参数规模都是相同的, 因此可直接代入式(2)计算.

同时, 本文约束A₁、A₂对相同数据预测相同的结果.输入一幅图像I(i)和k个预设的裁剪方式

B(i)={B₁(i), B₂(i), …, B_k(i)},

A₁预测结果向量P₁(i)∈ R^{k× 1}, A₂同样预测结果向量P₂(i)∈ R^{k× 1}, 采用一致性损失L_c优化算法, 使2个分类器预测结果趋于一致, 即

$L_{c}=\frac{1}{n} \sum_{i=1}^{n}\left|\boldsymbol{P}_{1}(i)-\boldsymbol{P}_{2}(i)\right|$.

为了减少源域和目标域之间的数据分布差异dis(I_s, I_t), 本文设计对抗域适应模块, 用于解决这一问题.对抗域适应模块包含一个自适应梯度反转层和一个域判别器.全局特征F₁作为该模块的输入被送入自适应梯度反转层, 在正向传播中, 自适应梯度反转层为恒等变换, 输出F₁并作为域判别器的输入.域判别器首先通过一个全图ROIAlign对F₁进行重采样, 得到F₄∈ R^{(8× 8× D1)}.F₄经过一个kernel_size=(8, 8)的卷积层、1个全连接层和1个softmax, 得到域判别器预测结果P_domian∈ R^{1× 2}, P_domian表示当前图像隶属于某个域的置信度.

在反向传播的过程中, 自适应梯度反转层会将目标域样本的梯度反转, 域判别器会判别当前样本隶属的域.当输入样本来自目标域时, 自适应梯度反转层会将梯度反转, 导致域判别器与特征提取器接收到相反方向的梯度.因此, 在域判别器学习判别能力的同时, 特征提取器也在强化混淆两个域特征的能力, 两者形成对抗, 让目标域样本的特征分布与源域样本的特征分布对齐.

2个不同分布之间的差异可采用散度衡量.这里使用F表示当前图像提取的特征向量, F_s表示源域特征, F_t表示目标域特征.D_domain表示域判别器.设源域样本标签为0, 目标域样本标签为1, 设H表示所有可行的D_domain参数构成的集合, 源域和目标域之间分布的差异表示如下:

${d_H} = 2(1 - \mathop {{\rm{min}}}\limits_{{D_{{\rm{domain}}}} \in H} (err({D_{domain}}({F_s})) + err(D{d_{omain(}}F{t_)})))$

其中, err(D_domain(F_s)))表示源域样本的误分率, err(D_domain(F_t)))表示目标域样本的误分率, d_H表示两个域分布的差异.随着样本误分率的提高, d_H变小, 因为域判别器更难区分这两个域, 说明它们之间的特征相似度更高.

本文将全局特征F₁=G(I)输入域判别器中, 约束d_H, 使两个分布之间的差异d_H最小, 即

$\mathop {{\rm{min}}}\limits_G {d_H} \leftrightarrow \mathop {{\rm{max}}}\limits_G \mathop {{\rm{min}}}\limits_{{D_{{\rm{domain}}}} \in H} (err({D_{domain}}({F_s})) + err(D{d_{omain(}}F{t_)})).$

具体到算法结构, 本文用自适应梯度反转层优化上式.自适应梯度反转层是梯度反转层(Gradient Reversal Layer, GRL)^[31]的变形, 梯度反转层会在算法反向传播梯度时, 将梯度反转, 前向传播和反向传播

R_λ (x)=x,

$\frac{{\partial {R_\lambda }}}{{\partial x}} = - \lambda \frac{{\partial {L_d}}}{{\partial x}}, $

其中, R_λ (x)表示输入为x时正向传播的结果, $\frac{{\partial {L_d}}}{{\partial x}}$表示反向传播计算出的梯度.GRL在正向传播时为恒等变换, 反向传播时, GRL将计算的梯度乘-λ 后传回上一层网络, 本文设置λ =0.3.

本文采用二分类交叉熵作为判别器损失:

L_d=-[y'ln(D_domain(F))+(1-y')ln(1-(Dd_omain(F)))].

其中:y'表示输入图像I对应的域标签, 当I来自源域时y'=0, 当I来自目标域时y'=1; D_domain(F)表示域判别器的输出结果, 在经过softmax归一化后数值介于0和1之间.

采用GRL可初步对齐源域和目标域样本特征, 但GRL会同时反转源域样本和目标域样本的梯度, 导致特征提取器实际按照

D_domain(F_s)=1, D_domain(F_t)=0

的方向优化, 这与本文算法混淆源域和目标域样本特征的策略不符.而本文采用自适应梯度反转层只反转目标域样本的梯度, 不改变源域样本的梯度, 反向传播公式如下:

$\frac{{\partial {R_s}}}{{\partial x}}=\frac{{\partial {L_s}}}{{\partial x}}, \frac{{\partial {R_t}}}{{\partial x}} = - \lambda \frac{{\partial {L_t}}}{{\partial x}}.$

当输入样本来自目标域时, 特征提取器G和域判别器D_domain会按照相反的方向优化, 在域判别器学习判别能力的同时, 特征提取器会生成混淆2个域数据的样本特征, 特征提取器和域判别器形成对抗.当输入样本来自源域时, 特征提取器G和域判别器D_domain会按照相同的方向优化, 特征提取器与域判别器不会产生对抗.按照这种方式, 域判别器的优化方向为

D_domain(F_s)=0, D_domain(F_t)=1,

而特征提取器的优化方向为

D_domain(F_s)=0, D_domain(F_t)=0,

此时特征提取器将两个域的样本视为相同类别进行优化, 与域判别器形成对抗, 克服GRL的缺陷, 对齐两个域的特征分布.

综合上述内容, 本文算法是一个端到端模型, 并采用多任务损失综合优化.在训练阶段, 一组源域-目标域图像对, 包含一幅源域原始图像和一幅目标域原始图像, 作为单次迭代的样本送入算法.源域样本对应的美学标签和域标签会同时计算美学损失L_A(采用ScalingSmoothL1)、一致性损失L_c、权重损失L_w和判别器损失L_d.而目标域样本只有域标签, L_A=0, 计算L_d、L_c、L_w.计算一组源域-目标域图像对的总损失:

L=L_A+λ ₁L_d+λ ₂(L_c+μ L_w), (11)

其中, λ ₁、λ ₂、 μ 均为折衷参数, 用于平衡4种损失.本文设定λ ₁=0.2, λ ₂=0.5, μ =0.2.在训练阶段, 特征提取器、美学评分及域判别器都会参与训练.而在推理阶段, 输入图像经过特征提取和美学评分, 预测当前裁剪区域的美学分数, 而后根据分数筛选裁剪结果.

本文采用在ImageNet上预训练过的参数来初始化算法.整个算法通过自适应矩估计(Adaptive Moment Estimation, Adam)优化器学习参数.在最初的30个迭代周期里, 采用L=L_A优化网络, 使网络具有基本的美学鉴赏能力.在之后的10个迭代周期里, 固定域判别器之外的所有参数, 使用L=λ ₁L_d训练域判别器参数, 使域判别器能判别源域和目标域样本.之后解除所有参数的固定, 使用

L=L_A+λ ₁L_d+λ ₂(L_c+μ L_w)

优化整个网络, 整个过程包括60个迭代周期, 学习率为10^-4, 输入原图的批尺寸大小设为1.

最后得到本文算法流程图如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文算法流程图Fig.2 Flow chart of the proposed algorithm

本文在实验过程中需要变换源域和目标域, 训练集和测试集也会随之变化, 涉及到的数据集主要有CPC^[16]、GAICD^[17]、INDOOR、OUTDOOR.

CPC、GAICD数据集具体信息见第2节.INDOOR和OUTDOOR是本文在GAICD、CPC数据集基础上建立的跨域数据集.INDOOR包含4 867幅室内场景图, OUTDOOR包含7 172幅室外场景图, INDOOR、OUTDOOR数据集上的12 039幅图像和美学标注均来自GAICD、CPC数据集.INDOOR、OUTDOOR数据集按照原始图像的场景域分类, 本文通过文献[37]的场景识别方法将其分为室内/室外两类, 分别归纳到INDOOR、OUTDOOR数据集.INDOOR训练集包含3 936幅图像, 测试集包含931幅图像.OUTDOOR训练集包含5 703幅图像, 测试集包含1 469幅图像, 比例约为4∶ 1.

评估指标仍采用SRCC和Acc₅、Acc₁₀, 具体见第2节.

为了验证算法的跨域自动裁剪能力, 实验包含源域、目标域两类数据集.源域训练集的样本既包含原始图像也包含美学标注, 而目标域训练集只包含原始图像不包含美学标注.测试集同时具有原始图像和美学标注.因此, 本文主要设计4个实验, 分别是:基准方案选取实验、CPC↔ GAICD域迁移实验、INDOOR↔ OUTDOOR域迁移实验、消融实验.最后给出可视化结果.

首先确定基准方案.将CPC→ GAICD的裁剪性能作为基准方案的筛选条件.这里将源域为CPC、目标域为GAICD的域迁移实验简写为CPC→ GAICD, 后文沿用该表达方式.针对算法的特征提取器结构和损失函数, 设置如下两组实验, 对特征提取器结构和美学损失函数进行优选.

实验3 特征提取器结构优选

本文按照文献[17]将GAICD数据集上1 036幅图像作为训练集, 200幅图像作为测试集.CPC数据集上随机选取7 559幅图像作为训练集, 剩下的3 238幅图像作为测试集.

实验中需要使用CPC训练集和GAICD测试集.对比4种现有智能裁剪算法用到的特征提取器结构:VGG、ResNet50(Residual Network 50)、Mobile-Net、shuffleNet.结果如表2所示.由表可见, VGG的效果略优于ResNet50.其实学者们已验证VGG在同域有监督的智能裁剪任务中是效果较优的特征提取器结构^{[8, 17, 32]}.实验3进一步验证在CPC→ GAICD域迁移的过程中VGG也能取得较优效果.VGG能在智能裁剪任务中取得较优效果可能得益于较少的数据量.相比ResNet这种深层网络, VGG的层数较少, 裁剪任务的训练集, 如GAICD数据集, 只包含约千幅原始图像, 深层网络极易过拟合于训练集, 影响裁剪算法在其它数据域上的泛化能力.因此, 本文算法在后续实验中采用VGG作为特征提取器的结构.

表2

Table 2

表2(Table 2)

表2 不同特征提取器对CPC→ GAICD的影响 Table 2 Effect of different feature extractors on CPC→ GAICD 特征提取器 Acc5 Acc10 SRCC ResNet50 0.251 0.410 0.324 VGG 0.249 0.417 0.360 MobileNet 0.210 0.365 0.213 shuffleNet 0.224 0.371 0.224

表2 不同特征提取器对CPC→ GAICD的影响 Table 2 Effect of different feature extractors on CPC→ GAICD

实验4 美学损失函数优选

在美学损失函数方面, 对比文献[17]采用的smoothL1、文献[36]采用的Listwise Loss和本文采用的ScalingSmoothL1, 结果如表3所示.

表3

Table 3

表3(Table 3)

表3 不同损失函数对CPC→ GAICD的影响 Table 3 Effect of different loss functions on CPC→ GAICD 损失函数 Acc5 Acc10 SRCC smoothL1 0.242 0.367 0.244 Listwise Loss 0.237 0.391 0.251 ScalingSmoothL1 0.249 0.417 0.360

表3 不同损失函数对CPC→ GAICD的影响 Table 3 Effect of different loss functions on CPC→ GAICD

由表3可见, ScalingSmoothL1在SRCC指标上具有显著优势, 通过非线性函数适当放大高质量区域之间的评分差异, 压缩低质量区域之间的评分差异, 这有助于提升算法的裁剪能力.

在本次实验中, 对比CPC→ GAICD和GAICD→ CPC时LDAIC、基准方案及其它现有跨域裁剪算法的性能.

实验5 CPC↔ GAICD域迁移实验

按照3.1节的数据集划分, 在CPC→ GAICD域迁移实验中, 涉及的数据包括:有标签的CPC训练集样本、无标签的GAICD训练集样本和有标签的GAICD测试集样本.在训练LDAIC时, 批尺寸大小为1, 一个迭代周期包括1 036次迭代.按照设置, 一个迭代周期只包含1 036个源域/目标域图像对, 但实验中设置shuffle=True, 随着迭代的进行, CPC训练集上7 559幅图像样本都会参与训练.

按照3.1节的数据集划分, GAICD→ CPC域迁移实验中涉及的数据包括:有标签的GAICD训练集样本、无标签的CPC训练集样本和有标签的CPC测试集样本.同样设置shuffle=True, 一个迭代周期迭代1 036次.

选择本文能复现结果或能找到跨域情况下测试结果的现有智能裁剪算法:GAIC^[17]、VFN(View Finding Network)^[19]、A2-RL(Aesthetics Aware Rein-forcement Learning)^[20], 结果如表4所示, 表中黑体数字表示最优结果.

表4

Table 4

表4(Table 4)

表4 各方法在GAICD↔ CPC上的结果 Table 4 Results of different methods on GAICD↔ CPC 方法 CPC→ GAICD GAICD→ CPC Acc5 Acc10 SRCC Acc5 Acc10 SRCC 基准方案 0.249 0.417 0.360 0.451 0.669 0.274 GAIC 0.229 0.385 0.359 0.334 0.546 0.124 VFN 0.267 0.387 0.450 0.460 0.639 0.257 A2-RL < 0.230 < 0.385 - - - - LDAIC 0.276 0.431 0.401 0.541 0.728 0.305

表4 各方法在GAICD↔ CPC上的结果 Table 4 Results of different methods on GAICD↔ CPC

由表4可见, 本文算法在Acc₅和Acc₁₀上有显著优势.VFN在SRCC指标上表现更优, 但相对Acc指标而言, SRCC指标考虑低质量区域之间的关系, 对裁剪结果的影响较小.这说明本文算法在跨域情况下更容易找到高质量的裁剪区域.另外, 由于A2-RL只会生成一个最好的裁剪子图, 只能计算Acc_1/5和Acc_1/10, 而

Acc_1/5> Acc₅, Acc_1/10> Acc₁₀,

本文将Acc_1/5和Acc_1/10作为Acc₅和Acc₁₀的上界.

为了进一步探究GAICD、CPC数据集之间分布的差异, 采用文献[37]的场景识别方法对GAICD、CPC数据集进行分析, 将所有数据分为室内/室外两类.实验结果显示:GAICD数据集上图像室外场景占89%, 室内场景占11%; CPC数据集图像室外场景占53%, 室内场景占47%.这或许能从图像层面上解释2个数据集之间存在的图像分布差异.于是本文将室内场景(INDOOR)和室外场景(OUTDOOR)交替作为源域和目标域, 验证算法性能.

实验6 INDOOR↔ OUTDOOR域迁移实验

按照3.1节描述, 本文将GAICD、CPC数据集上的数据分成室内/室外两类, 分别命名为INDOOR、OUTDOOR数据集, 并在其上进行基准方案和本文算法的对比实验.参照CPC→ GAICD的实验设置, 每个批次的迭代次数由2个数据集上训练集较小的那个决定, 本次实验设置为3 936次.为了避免随机误差造成的影响, 选取随机种子{0, 10, 100, 1000, 10000}进行实验, 并取平均值作为实验结果, 具体如表5所示.由表可见, 相比基准方案, 本文算法在各指标上均有小幅提升, Acc指标提升较显著.

表5

Table 5

表5(Table 5)

表5 各方法在INDOOR↔ OUTDOOR上的结果 Table 5 Results of different methods on INDOOR↔ OUTDOOR 方法 INDOOR→ OUTDOOR OUTDOOR→ INDOOR Acc5 Acc10 SRCC Acc5 Acc10 SRCC 基准方案 0.637 0.791 0.437 0.750 0.894 0.503 LDAIC 0.644 0.800 0.449 0.758 0.903 0.505

表5 各方法在INDOOR↔ OUTDOOR上的结果 Table 5 Results of different methods on INDOOR↔ OUTDOOR

为了验证本文算法中两个域适应策略的有效性, 实验设置CPC→ GAICD作为迁移域, 在固定算法结构的情况下, 针对损失函数设计一组消融实验.

本次实验旨在验证两个域适应策略的有效性, 包括4种方案.4种方案均采用2.2节中的结构.方案1为本文基准方案, 将美学损失L_A作为损失函数优化算法, 不采用任何域适应策略约束模型, 是实验的对照组.方案2将L_A+λ ₁L_d作为损失函数优化算法, 利用域判别器, 验证对抗域适应策略的有效性.方案3将L_A+λ ₂(L_c+μ L_w)作为损失函数优化算法, 验证本文美学不变特征的有效性.方案4将L₃作为损失函数, 为本文算法.

各方案的消融实验结果如表6所示.由表可知, 相比方案1, 方案2性能有一定提升, 对抗域适应策略即使被单独添加到算法中也能提升裁剪算法在目标域的泛化能力, 而方案3的美学不变特征策略在单独作用的情况下对算法性能提升较小.但方案4(本文算法)将对抗域适应策略和美学不变特征策略结合后, 性能得到显著提升, 这验证域适应策略的有效性.

表6

Table 6

表6(Table 6)

表6 不同方案的消融实验结果 Table 6 Results of different ablation experiment schemes 方案 Acc5 Acc10 SRCC 方案1 0.249 0.417 0.360 方案2 0.264 0.422 0.377 方案3 0.251 0.420 0.365 方案4 0.276 0.431 0.401

表6 不同方案的消融实验结果 Table 6 Results of different ablation experiment schemes

对于方案3, 本文认为源域和目标域的图像数据差异过大, 仅设置2个参数不同的美学分类器很难约束算法提取到适用于目标域样本的美学不变特征, 算法可能被源域数据过拟合.但结合对抗域适应策略后, 2个域样本特征的边缘分布被对齐, 2个参数不同的美学分类器能更好地利用无标签的目标域图像, 提取美学不变特征.此时的特征提取器一边学习混淆域判别器的能力, 一边从源域向目标域传递其学到的美学鉴赏能力, 最终在跨域的智能裁剪任务上达到更优效果.

为了更直观地体现本文算法效果, 展示本文算法的裁剪结果和特征分布, 各对比算法的裁剪结果由图3给出.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 各算法的裁剪结果对比Fig.3 Comparison of cropping results of different algorithms

由图3可看出, 本文算法能有效适应各种不同场合, 裁剪后的图像包含原始图像的显著区域, 并且显著目标处在裁剪图约三分之一处, 满足摄像构图中的三分法原理.而其它算法的裁剪结果虽然也能将原图显著区域包含在内, 但显著目标所在的位置会导致裁剪图不够美观.