扩散模型^{[2, 35]}是一种概率生成模型, 训练过程包括两个阶段:前向扩散加噪过程和逆向去噪过程.在前向过程中, 服从高斯分布的噪声$\epsilon$会逐渐添至干净图像x₀中, 直至获得纯高斯噪声样本x_t~N(0, I).根据马尔科夫链的性质, 在加噪过程中, 有

x_t= α¯tx₀+ 1-α¯t$\epsilon$,

其中, $\epsilon$~N(0, I), α _t表示一个递减的超参数, 可根据重参数化技巧获得

α¯t= ∏i=1tα _i.

反向过程则是从噪声x_T开始, 根据神经网络输出的噪声$\epsilon$_θ (x_t, t)进行逐步去噪处理, 其中, T表示总的时间步数, θ 表示模型参数, t表示当前步数.通过DDIMs(Denoising Diffusion Implicit Models)采样器^[36]实现去噪, σ 表示采样器中可供选择的超参数, 在去噪过程中, 有

${{\text{x}}_{t-1}}=\sqrt{{{{\bar{\alpha }}}_{t-1}}}(\frac{{{\text{x}}_{t}}-\sqrt{1-{{{\bar{\alpha }}}_{t}}}{{\epsilon }_{\theta }}({{\text{x}}_{t}}, t)}{\sqrt{{{{\bar{\alpha }}}_{t}}}})+\sqrt{1-{{{\bar{\alpha }}}_{t-1}}-{{\sigma }^{2}}}{{\epsilon }_{\theta }}({{\text{x}}_{t}}, t)+\sigma \epsilon$ (1)

SD是一种潜在扩散模型(Latent Diffusion Mo- dels, LDMs), 在自编码器的潜在空间中操作.在将输入数据提供给模型之前, 需要经过一个编码器ε (· )将高维输入数据(图像x)映射至一个低维的潜在空间中, 得到潜在变量:

z=ε (x).(2)

去噪完成后, SD通过解码器D(· )重新构建图像, 实现

D(ε (x))≈ x.

在推理过程中, SD会直接从高斯分布中采样, 在潜在空间中生成噪声矩阵的潜在表示z_t, 对z_t进行逐步去噪处理, 再由解码器D重建生成图像.

文本提示包含多个目标及其位置关系时, 造成T2I生成效果不佳的原因之一是T2I利用图文数据进行训练, 难以拥有较强的空间感知能力.一个潜在的解决方案是向T2I提供具有空间信息的先验知识, 优化生成图像的组合性, 如通过布局图、位姿图和分割图等训练得到生成模型.因此, 本文利用L2I提供先验知识, 指导T2I的生成过程.

在后续实验中, 本文的L2I均采用GLIGEN(Grounded Language to Image Generation)^[29], 其神经网络层引入门控自注意力机制, 学习布局图数据, 获取空间信息.

具体空间信息提取过程如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 空间信息提取过程Fig.1 Extraction of spatial information

GLIGEN同样基于扩散模型的生成范式, 设计可训练的门控自注意力层, 整合布局输入, 将编码后的图像特征与来自外部的布局图特征拼接, 形成一个联合特征表示, 再单独训练门控自注意力层, 使模型在保证原有生成能力的前提下, 更好地处理空间约束.

为了满足L2I需要的布局信息, 首先利用大型语言模型强大的文本学习能力分析输入的文本提示, 并给出文本描述的主要对象的布局信息, 实现信息由文本到布局的转换以及对象和属性之间的“ 预绑定” , 然后将得到的布局信息作为L2I的输入.

从式(1)可清晰看出, 在DDIMs去噪过程中最终生成的图像只与神经网络输出的噪声$\epsilon$_θ 有关, 它反映在当前时间步数下模型对x_t的更新指导.在L2I中, $\epsilon _{t}^{layout}$表现更多的是对生成图像构成性的指导, 而在T2I中, $\epsilon _{t}^{text}$表现更多的是对生成图像真实性的指导.因此, 本文认为混合两种不同模型预测得到的噪声, 可提高模型指导图像生成的综合能力.

然而, 不同模型输出的噪声矩阵的概率分布及时间步依赖性存在较大差异, 这种差异会对最终的生成效果产生不同的影响.为了减少这种差异带来的影响, 在每次去噪过程中动态调节两种噪声的比重.具体实现方式如下.在开始时为每个噪声设置一个相同的系数C_T, 初始值采样于N(0, 1), 表示它们在去噪过程中的权重占比, 即

CTtext= CTlayout~N(0, I).

接下来, 对 CTtext和 CTlayout进行softmax操作, 获得新的系数 ξttext和 ξtlayout, 使混合后的噪声能更清晰地关注不同噪声中更重要的特征, 即

ξtc= exp(Ctc)exp(Cttext)+exp(Ctlayout), (3)

其中c∈ {text, layout}.

由此, 获得平衡后的噪声:

$\boldsymbol{\epsilon}_{t}=\boldsymbol{\xi}_{t}^{\text {text }} \odot \boldsymbol{\epsilon}_{t}^{\text {text }}+\boldsymbol{\xi}_{t}^{\text {layout }} \odot \boldsymbol{\epsilon}_{t}^{\text {layout }}$ (4)

其中☉表示像素乘法.

在每次去噪步骤中, 可根据式(3)和式(4)平衡每个模型生成的噪声, 并作为下一步模型的输入.

在有条件图像生成模型中, 可通过交叉注意力层反映条件信息对生成图像的引导.每层产生的交叉注意力分数囊括条件信息提供的元素(如文本和引导图元素)和视觉元素之间大量的匹配信息(如位置、形状等).给定中间特征φ (z_t)和文本标记τ _θ (y), 由τ _θ (y)利用线性投影计算得到键:

K=W_K· τ _θ (y),

其中W_K表示可训练的权重矩阵.从φ (z_t)中映射得到查询:

Q=W_Q· φ (z_t),

其中W_Q表示可训练的权重矩阵.则T2I和L2I中各自的交叉注意力分数为:

$\boldsymbol{A}^{c}=\operatorname{softmax}\left(\frac{\boldsymbol{Q}^{c}\left(\boldsymbol{K}^{c}\right)^{\mathrm{T}}}{\sqrt{d_{k}^{c}}}\right), c \in\{\text { text }, \text { layout }\}$,

其中, Aijc表示第i个图像特征与第j个标记之间的注意力权重, j∈ {1, 2, …, N(τ _θ (y))}, N(τ _θ (y))表示τ _θ (y)的总数, d_k表示键K的维度.

然后, 可根据T2I和L2I在推理过程中产生的注意力分数设计损失函数, 更新赋予噪声的系数.首先, 将大语言模型根据文本提示推理得到的布局信息表示为B={b₁, b₂, …, b_n}, 其中n表示引导图中边界框的总数.每个边界框对应一个二进制掩码M_b, 框内的值为1, 框外的值为0.本文的目的是通过下一时间步获得的交叉注意力分数平衡当前不同模型输出的噪声, 因此通过式(4)获得最初的混合噪声$\epsilon$_t-1后, 模型会在潜在空间中先得到噪声水平减小的潜在变量z_t-1.z_t-1反馈给两个模型后获得下一时间步的交叉注意力分数 At-1c, 根据 At-1c和掩码M_b, 损失函数如下:

$\begin{aligned}L_{\text {dynamic }}\left(\boldsymbol{A}_{t-1}^{\text {text }}, \boldsymbol{A}_{t-1}^{\text {layout }}\right)= & \sum_{k=1}^{n}\left(1-\frac{\sum_{i} A_{i j_{b}, t-1}^{\text {text }} \odot M_{b}}{\sum_{i} A_{i j_{b}, t-1}^{\text {text }}}\right)+ \\& \sum_{k=1}^{n}\left(1-\frac{\sum_{i} A_{i j_{b}, t-1}^{\text {layout }} \odot M_{b}}{\sum_{i} A_{i j_{b}, t-1}^{\text {layout }}}\right), \end{aligned}$

其中, j_b表示与边界框b中的图像特征对应的文本标记索引号, i表示图像特征的索引号.

通过计算边界框内注意力分数总和与整幅图像注意力分数之间的关系构建损失函数, 有效平衡局部特征和全局特征的分配, 不仅使模型能聚焦于关键的局部细节, 也保证对整体场景的理解.同时计算T2I注意力分数和L2I注意力分数, 让模型能更有效地融合图像和文本的多模态信息, 在生成过程中关注生成对象本身的同时, 也实现对框外区域的生成, 提高模型的综合理解能力.

为了使模型能更准确地关注边界框内的区域, 本文还设计布局损失L_layout和文本损失L_text.前者衡量模型定位边界框的能力, 后者通过计算边界框内的注意力分数, 改善模型分离不同目标主体的能力.具体公式如下:

L_layout= 1(y2-y1)(x2-x1)∑i=y1y2-1∑jb=x1x2-1(1- Aijb, t-1layout)²,

L_text= 1(y2-y1)(x2-x1)∑i=y1y2-1∑jb=x1x2-1(1- Aijb, t-1text)²,

其中, (x₁, y₁)和(x₂, y₂)分别表示边界框的左上角顶点坐标和右下角顶点坐标, t表示时间步数.

综上所述, 最终的损失函数如下:

L( At-1text, At-1layout)=L_dynamic+L_layout+L_text.(5)

通过损失函数更新平衡系数:

Ctc= Ctc-ρ _t ∇CtcL( At-1text, At-1layout), (6)

其中, ρ _t表示更新率, Ñ 表示计算损失函数L( At-1text, At-1layout)关于系数 Ctc的梯度.

通过不断的更新, 增强两个模型对生成对象的定位能力, 同时保留T2I信息, 使模型生成的图像更真实.

本文第2节中介绍SD在进行推理时, 逆向去噪过程实际是在潜在空间中进行的, 因此可通过动态调整策略得到一个噪声水平降低的潜在变量, 记为 zt-1(1).

如3.1节介绍, 在第一种策略中本文利用实时的交叉注意力分数调整噪声, 然而在不同的去噪阶段模型关注的重点并不相同.为了进一步增强模型对位置信息的把控, 在去噪前期赋予L2I更多的关注, 在去噪中期给予T2I更多的发挥空间.这主要是因为无论是L2I还是T2I, 在去噪前期都更注重生成图像的整体布局和结构, 整体的去噪力度也较强.另一方面, 作为L2I条件输入的引导图本身就包含一定的结构信息, 所以模型的去噪也就更有针对性, 得到的潜在变量也更符合用户的预期.在去噪中后期, 模型通常会进一步细化图像, 更注重细节和纹理的描述, 去噪力度也更柔和.因此, 在此阶段将T2I作为主要的去噪手段, 利用语义更丰富、描述更细致的文本信息指导模型去噪.

假设T2I的权重为 wttext, L2I的权重为 wtlayout, t表示当前时间步数, T表示总步数, λ ₁、λ ₂表示超参数步数, 1< λ ₁< λ ₂< T, 则

wttext= λ1T, 0< t≤λ1λ2T, λ1< t≤λ21, λ2< t≤T(7)

当0< t≤ λ ₁时为去噪前期, λ ₁< t≤ λ ₂时为去噪中期, λ ₂< t≤ T时为去噪后期, 而

wtlayout=1- wttext.(8)

在进行分段策略调整后, 模型可根据不同的需求灵活调整去噪过程的关注重点, 使去噪方向和生成需求更匹配, 进而提升模型生成图像的质量.阶段性噪声平衡策略如下:

${{\epsilon }_{t}}=w_{t}^{text}\cdot \epsilon _{t}^{text}+w_{t}^{layout}\cdot \epsilon _{t}^{layout}$ (9)

同动态调整策略一样, 模型在经过阶段性调整策略后也会获得一个噪声水平减少的潜在变量, 记为 zt-1(2).

DualOpt-SD是对SD推理过程的去噪阶段的改善, 在此阶段模型会在潜在空间中生成一个从高斯分布采样获得的噪声z_t, 然后由模型进行去噪处理.通过提出的生成框架将L2I融入T2I后, 在每步迭代过程中DualOpt将根据两种策略对模型输出的噪声进行优化调整, 最终融合作为下一步去噪处理的原始噪声输入.然后, 以同样的步骤不断更新迭代, 直至去噪完成.动态调整策略获得的潜在变量为 zt-1(1), 阶段性调整策略获得的潜在变量为 zt-1(2), 所以每次去噪过程中得到潜在变量为:

z_t-1=λ zt-1(1)+(1-λ ) zt-1(2), (10)

其中, λ 表示控制两个潜在变量在加权平均中相对权重的超参数, 0< λ < 1.

DualOpt-SD具体步骤如下所示.

算法 DualOpt-SD

输入 预训练的文本生成图像模型T2I,

预训练的布局图生成图像模型L2I,

一段文本提示P, 一张布局图B

输出 生成图像x

初始化 z_t~N(0, I), CTtext= CTlayout~N(0, I)

for t = T, T-1, …, 1 do

$\left[\boldsymbol{\epsilon}_{t}^{\text {text }}, \boldsymbol{A}_{t}^{\text {text }}\right]=T 2 I\left(\boldsymbol{z}_{t}, P, t\right),$

$\left[\boldsymbol{\epsilon}_{t}^{\text {layout }}, \boldsymbol{A}_{t}^{\text {layout }}\right]=L 2 I\left(\boldsymbol{z}_{t}, P, B, t\right),$

根据式(3)和式(4)获得初步融合后的动态调整系数和预测噪声, 分别记为 ξ~ttext、 ξ~tlayout和$\tilde{\boldsymbol{\epsilon}}_{t}$,

根据式(1)和式(2)获得初步去噪后的潜在变量 z~t-1,

获取模型去噪过程中的 At-1text、 At-1layout,

$\left[\boldsymbol{\epsilon}_{t-1}^{\mathrm{text}}, \boldsymbol{A}_{t-1}^{\mathrm{text}}\right]=T 2 I\left(\boldsymbol{z}_{t-1}, P, t\right),$

$\left[\boldsymbol{\epsilon}_{t-1}^{\text {layout }}, \boldsymbol{A}_{t-1}^{\text {layout }}\right]=\operatorname{L2I}\left(\boldsymbol{z}_{t-1}, P, B, t\right),$

根据式(5)计算L( At-1text, At-1layout),

由式(6)更新 Ctc, 获得优化后的 ξttext和 ξtlayout及平衡后的$\boldsymbol{\epsilon}_{t}^{1}$, 并由式(1)和式(2)得到 zt-1(1),

根据式(7)和式(8)获得对应当前去噪阶段的权重 wttext、 wtlayout,

由式(9)计算平衡后的$\boldsymbol{\epsilon}_{t}^{2}$, 并由式(1)和式(2)得到 zt-1(2),

由式(10)计算得到最终的z_t-1,

end for

return z₀

DualOpt-SD(z₀, y)→ x

DualOpt-SD是一个整合LLMs、T2I和L2I优势的易扩展的免训练图像生成模式, 可根据需求选择合适的模型实现文本生成图像.本文实验利用GPT- 4(Generative Pre-trained Transformer 4)生成布局信息, 选择SD1.4文本生成图像模型作为主要的T2I, 将GLIGEN作为主要的L2I.在去噪过程中, 设置T=50, λ ₁=15, λ ₂=40, λ =0.2.

参考Attend-and-Excite中的评估方法^[8], 实验使用其构建的动物和动物、动物和物体、物体和物体文本提示数据集评估DualOpt-SD.

在测试时, 通常情况下本文提供的文本提示主要包含两个主体, 但文本生成图像不局限于这些情景, 在结合L2I的优势后, 面对包含更多信息的文本提示, DualOpt-SD也能生成主体分布更合理的图像.

4.2.1 生成图像对比

首先选择如下当前生成效果较优的方法进行对比实验:SD^[1]、Attend-and-Excite^[8]、A-STAR^[34]、Divide-and-Bind^[37].

当文本提示不同时, 各方法的生成图像如图3所示.由图可见, 当文本提示包含多个主体时, 对比方法生成的图像文本提示中各个主体之间的概念会产生明显的混合, 导致图像的真实性降低.在相同的文本提示和随机种子下, DualOpt-SD可更好地区分各个主体并生成图像.例如:当输入条件为“ a cat and a rabbit” 时, 在对比方法生成的图像中, 兔子和猫均在一定程度上融合对方的特征.DualOpt-SD结合L2I的优势, 在去噪过程中动态调整模型关注的区域, 避免主体信息之间的混合.同时, 引入阶段性调整策略, 在去噪中后期能更大程度发挥T2I的优势, 更好地处理各个主体的细节和纹理, 生成的图像更真实.另一方面, Attend-and-Excite、Divide-and-Bind和A-STAR是通过单一模式调整去噪过程中的噪声图像, 在面对不同的文本提示时, 生成效果差距较大.当提示是关于动物和物体时, 方法往往能区分不同的主体, 但会混淆与之匹配的颜色信息, 而给定有关物体和物体的条件, 生成的图像与条件相比会产生较大偏差, 且伴有“ 物体组合” 的现象.相比之下, DualOpt-SD在处理不同形式的条件时展现出更高的稳定性和适应性, 更精准地满足生成约束, 并有效降低目标错配和不合理组合的现象.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 文本提示不同时各方法的生成图像对比Fig.3 Comparison of images generated by methods with different text prompts

另外, L2I的引入让用户可更自由地选择提示文本中主体在生成图像中的位置, 同时LLMs对于文本的分析能力能合理规划整幅图像的布局, 从而使方法生成更符合用户想象力的图像.DualOpt-SD不仅能生成仅描述目标物体的情景图像, 在提供特定环境描述的情况下, 同样能给出高质量的场景图像, 展现出对比方法不具备的在复杂场景中构建图像的能力, 具有更高的灵活性与可控性.在处理复杂文本时, SD往往难以协调多个元素之间的空间关系, 而DualOpt-SD通过优化策略, 在保证图像真实性的同时, 能合理分布画面中的不同元素, 提高生成图像的协调性.

当提供更密集的文本提示时, DualOpts-SD生成复杂情景图像如图4所示.由图可见, 对于风景、特定风格及复杂场景的描述, DualOpt-SD均能精准理解提示信息, 并生成令人满意的图像.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 复杂文本提示时DualOpt-SD的生成图像Fig.4 Generation results of DualOpt-SD with complex text prompts

4.2.2 图文一致性对比

根据Attend-and-Excite中的评定方法^[8], 设置相同随机种子, 对每类文本提示均生成64幅图像, 再利用CLIP(Contrastive Language-Image Pre-trai-ning)文本-文本相似度^[38]评估DualOpt-SD.

本次实验借鉴Attend-and-Excite中的设置, 评估完整提示相似度(完整提示和生成图像之间的余弦相似性)和最小对象相似度(生成图像和两个主题提示之间相似度的最小值).选择的对比方法包括:SD^[1]、Attend-and-Excite^[8]、StructureDiffusion^[33]、A-STAR^[34]、Divide-and-Bind^[37]、Composable Diffu-sion^[39], 对比结果如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各方法的图文一致性对比结果Fig.5 Comparison results of text-image alignment among different algorithms

由图5可见, 在3种类型文本提示下, DualOpt-SD的完整提示相似度均优于对比方法, 在每个子集上相比次优方法均有2%及以上的提升.在最小对象相似度上, DualOpt-SD在处理包含动物和动物以及物体和物体类型的文本提示方面表现尤为突出, 生成的图像质量最优.此外, 对于包含动物和物体混合元素的提示, DualOpt-SD也能达到当前最优方法的效果.

另外, 本文还计算CLIP文本-文本相似度, 具体方法是先利用BLIP(Bootstrapping Language-Image Pre-training)为生成的图像生成一个标题, 然后计算生成标题与提示文本之间的相似度, 最终结果同样如图5所示.由图可见, DualOpt-SD在动物和物体、物体和物体类型的文本提示下表现出一定优势, 对于纯动物组合的文本提示, DualOpt-SD也实现细微但值得注意的改进.

4.2.3 用户评价结果对比

本文共邀请116名志愿者参与主观测评, 包括11名具有图像处理专业知识的志愿者及105名其它领域的志愿者.

实验共选取5个文本提示, 由SD^[1]、Attend-and-Excite^[8]、Structure-Diffusion^[33]、A-STAR^[34]、Divide-and-Bind^[37]、Composable Diffusion^[39]和DualOpt-SD生成各自对应的5幅图像.

测评由两部分组成.首先11名专业参与者被要求根据图文一致性、视觉效果、布局合理性、细节描绘以及图像风格五个核心评价指标对给出的生成图像进行评分.

在该评分体系中, 每项评价指标满分为5分, 得分越高表明该方法生成图像的质量越优, 具体统计结果如表1所示.其次, 研究所有志愿者对各方法生成图像整体质量的主观评价.针对每个文本提示下的由7种生成图像方法生成的7幅图像, 要求参与者从中选择最符合输入文本的一幅图像, 具体统计结果如表2所示.

表1

Table 1

表1(Table 1)

表1 相关领域评审人员的评分统计结果 Table 1 Statistical results of scores given by reviewers in related fields 方法 图文一致性 视觉效果 布局合理性 细节描绘 图像风格 总分 SD 1.3 2.2 1.6 1.4 3.3 9.8 Composable Diffusion 2.9 1.9 4.0 2.4 3.6 14.8 StructureDiffusion 2.3 3.0 2.8 3.1 3.1 14.3 Attend-and-Excite 4.0 3.7 3.2 3.8 2.9 17.6 Divide-and-Bind 3.1 1.2 3.9 2.5 3.5 14.2 A-STAR 3.4 2.6 3.8 1.8 3.2 14.8 DualOpt-SD 4.2 4.0 4.4 3.9 4.0 20.5

表1 相关领域评审人员的评分统计结果 Table 1 Statistical results of scores given by reviewers in related fields

表2

Table 2

表2(Table 2)

表2 用户投票统计结果 Table 2 Statistical results of user voting 方法 文本1 文本2 文本3 文本4 文本5 总票数 百分比/% SD 3 0 1 4 2 10 1.72 Composable Diffusion 5 8 7 9 3 32 5.52 StructureDiffusion 3 2 5 3 1 14 2.41 Attend-and-Excite 7 7 9 8 8 39 6.72 Divide-and-Bind 6 12 6 7 6 37 6.38 A-STAR 2 5 3 7 4 21 3.62 DualOpt-SD 90 82 85 78 92 427 73.62

表2 用户投票统计结果 Table 2 Statistical results of user voting

由表1和表2可知, DualOpt-SD的生成图像基于5项指标的总体得分为20.5, 整体质量用户总票数为427, 明显超过对比方法.两次测评结果均表明Dual-Opt-SD生成的图像在主观评价中具有更高的认可度.相比对比方法, DualOpt-SD生成的图像在图文一致性、视觉效果及细节描绘等方面表现更优, 能准确反映文本提示的内容, 视觉质量更高.

4.3.1 策略权重

为了探讨策略权重λ 对DualOpt-SD性能的影响, 在实验中选取位于[0, 1]区间内的6个λ 值, 即λ =0, 0.2, 0.4, …, 1.0, 并在相同的文本提示条件下评估方法的生成效果.

实验仍依托Attend-and-Excite中的三类文本提示^[8], 并采用其中的完整提示相似度作为评价指标.针对每个策略权重值, 分别计算该权重下方法生成图像与完整输入文本之间的相似度得分, 并取平均值作为性能的衡量指标, 结果如图6中的6个散点所示.基于上述数据, 进一步绘制λ 取值与评价指标之间的拟合曲线, 可视化λ 对DualOpt-SD性能影响的变化趋势.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 λ 不同对DualOpt-SD性能的影响Fig.6 Effect of λ on DualOpt-SD performance

由图6可见, 动态调整策略在提升DualOpt-SD性能的方面起到关键作用, 阶段性调整作为辅助策略能进一步增强方法生成的图像质量.当λ =0.8时, DualOpt-SD生成图像效果最优.

4.3.2 推理时间

在单张Tesla V100s-32G GPU运算卡上设置实验, 随机生成50幅分辨率为512× 512的图像, DualOpt-SD的平均每幅耗时为16.32 s, 慢于平均每幅图像耗时7.86 s的SD, 但生成的图像质量更优, 本文认为牺牲这一部分推理速度对提升图像质量是值得的.

4.4.1 T2I和L2I的简单融合

T2I在处理包含多个目标的文本描述时, 难以精准控制各个对象在图中的空间布局和数量分布, 其中一个重要原因在于T2I在训练过程中从文本中学习的空间信息较有限, 导致在生成阶段对于提示中的多个物体的空间约束和目标关系容易出现差错.本文将L2I融入T2I, 并利用L2I学习的空间知识, 指导T2I的生成过程.

直接将L2I与T2I融合得到的生成图像与SD生成图像的对比如图7所示.由图可见, 相比SD, 直接融合T2I与T2I模型的生成图像在图文一致性方面取得一定程度的提升.这是因为, L2I提供显式的空间约束, 使模型在生成过程中能更精确地理解文本提示中的位置关系, 但简单的融合方式使生成效果并不稳定, 在部分情况下生成图像的真实性会有所降低.例如:在图7的最后一幅图中, “ 爆米花” 的位置以及出现方式并不合理, 这可能是由于模型过度依赖L2I提供的先验知识, 忽略部分视觉细节, 导致生成图像的质量下降.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 仅简单融合T2I和L2I的模型与SD的生成图像对比Fig.7 Comparison between images generated by the model simply integrating T2I with L2I and those generated by SD

4.4.2 动态调整策略的有效性

为了实现L2I和T2I之间更精细的融合机制, 本文提出动态调整策略, 旨在通过注意力分数的约束, 在生成过程中动态平衡两个模型对生成图像的指导, 从而在实现对目标主体分离的同时, 保证生成图像的真实性.具体生成图像如图8所示.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 加入动态调整策略后的模型与SD的生成图像对比Fig.8 Comparison between images generated by the model with a dynamic adjustment strategy and SD

由图8可见, 当给定文本提示“ A brown teddy bear holding a blue water cup sits on the sofa” 时, SD生成图像与文本提示之间存在显著差异.这种不一致性在视觉层面表现明显, 但在深层次上归因于模型在去噪过程中的选择性偏差.具体而言是模型尝试从随机噪声中重建图像时, 单一的文本条件提供的信息有限, 导致去噪方向未能反映文本提示的要求, 最终使生成图像偏离预期的结果.融合L2I并采用动态调整策略后, 模型在接受文本信息约束的同时, 利用引导图提供的精确位置信息增强其空间定位能力, 并且根据新的生成框架在去噪过程中通过L( At-1text, At-1layout)动态调整生成的噪声图, 确保生成图像既符合文本描述也在视觉表达上更准确一致, 可有效解决主体混合问题.

4.4.3 阶段性调整策略的有效性

利用动态调整策略约束L2I和T2I的融合, 实现模型对目标主体的精确生成, 但仍在一定程度上牺牲生成图像的细粒度属性, 如图9中第2幅图像和第3幅图像所示, 仅设置动态调整策略, 生成图像的主体颜色可能会与描述相比出现些许差异, 文本中描述的白色花朵表达不明显.因此本文提出阶段性调整策略, 并在相同的文本提示下进行实验, 验证策略的有效性.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 阶段性调整策略加入前后的生成图像对比Fig.9 Comparison of generated images before and after implementing phased adjustment strategy

从图9中第4幅图像和第5幅图像可直观观察到白色花朵明显增多并且花瓶也更真实, 说明在不同的去噪阶段模型关注的重点并不相同, 阶段性指导模型的去噪方向, 使模型在详细刻画生成图像纹理和细节阶段接收更多来自T2I的指导, 在确定图像整体布局的阶段接收更多来自L2I的指导, 可提高生成图像的质量.

4.4.4 DualOpt的有效性

为了进一步验证DualOpt的有效性, 对比单独设置DualOpt和DualOpt-SD的生成图像, 结果如图10所示.如图10第1行所示, 相比SD, 仅设置动态调整策略或阶段性调整策略, 生成图像质量并未呈现显著提升.这是由于在不融合L2I的情况下, 两种策略对生成过程的约束与SD训练并无实质性区别, 模型仍缺少对空间信息的感知能力.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 DualOpt加入前后的生成图像对比Fig.10 Comparison of generated images before and after implementing DualOpt

如图10第2行所示, 仅设置DualOpt时, 尽管生成图像的质量有所改善, 但图像内容与输入文本之间仍存在一定偏差(花盆颜色与文本提示不匹配且向日葵出现错误的蓝色), 表明DualOpt在一定程度上优化图像质量, 但在语义一致性方面仍存在一定的局限性.最后, 利用DualOpt-SD生成相应的图像作为对比, 结果表明, 预训练L2I中学习的空间知识可有效指导T2I的生成过程, 提高生成性能, 这也从侧面验证融合各策略有助于方法性能的提升.