设M={s, a, d₀, p, r, γ }为一个无限时域马尔可夫决策过程, 其中, s表示智能体的状态, a表示智能体的动作, p表示状态转移概率分布, r表示奖励, d₀表示初始状态分布.离线强化学习通过收集的数据集训练离线策略π , 智能体在状态s下采取动作a后, 一直采取策略π 累积获得的折扣期望值:

${{Q}^{\pi }}\left( s,a \right)={{E}_{P,\pi \mid {{s}_{0}}=s,{{a}_{0}}=a}}\left[ \underset{t=0}{\overset{\infty }{\mathop \sum }}\,{{\gamma }^{t}}r\left( {{s}_{t}},{{a}_{t}} \right) \right]$,

其中γ 表示折扣因子.离线强化学习的目标是从固定的数据集D{(s_t, a_t, s_t+1, r_t)}中学习一个最大化累积折扣期望值的策略π (a|s), 即

$J\left( \pi \right)=\underset{{{d}_{0}},P,\pi }{\mathop{E}}\,\left[ \underset{t=0}{\overset{\infty }{\mathop \sum }}\,{{\gamma }^{t}}r\left( {{s}_{t}},{{a}_{t}} \right) \right]=\underset{\underset{a\tilde{\ }\pi }{\mathop{s\tilde{\ }{{d}_{0}}}}\,}{\mathop{E}}\,\left[ {{Q}^{\pi }}\left( s,a \right) \right]$.

本质上, 离线强化学习算法需要将策略提升至超越行为策略的级别, 以在实际环境交互中获得更高奖励.然而, 由于面临分布偏移问题, 大多数算法倾向于采取保守主义方法, 使学习策略接近行为策略.因此, 如何平衡策略改进和解决分布偏移问题成为离线强化学习算法需要解决的首要挑战.

TD3+BC^[12]结合行为克隆中对数据集动作的惩罚项约束目标策略, 即基于TD3(Twin Delayed Deep Deterministic)优化目标, 添加一个带有权重λ 的行为克隆的正则项(π (s)-a)², 因此策略优化目标为:

π =arg maxπE_{(s, a)~D}[Q(s, π (s))-λ (π (s)-a)²],

其中, D表示数据集采样样本, λ 表示调节策略约束强度的恒定权重因子.TD3+BC结合TD3和行为克隆, 旨在改进学到的策略, 同时约束策略尽可能选择数据集上的动作, 确保策略在数据集上得到改进.然而, 这需要准确的行为克隆, 如果行为克隆不准确, 可能会导致策略训练性能不佳.另外, 由于行为克隆依赖数据集质量, 如果数据集质量较差, TD3+BC也只能学到较差的策略, 导致性能不佳.

wPC^[28]将TD3+BC优化目标中策略约束的权重λ 替换为优势值的指示函数, 使策略优化目标的第2项只约束优势值为正的样本, wPC的策略优化目标如下:

J(π )=arg maxπE_{(s, a)~D}[Q(s, π (s))-ω (s, a)(π (s)-a)²],

其中, π (s)表示策略在采样状态s下采取的动作,

$\omega (s, a)=I\left[ \widehat{\text{A}}\left( s, a \right)> 0 \right]=I\left[ {{\widehat{Q}}_{\phi }}\left( s, a \right)-{{\widehat{V}}_{\psi }}\left( s \right)> 0 \right]$,

表示策略约束权重函数, 其目的是约束优势值为正的样本, 放宽对学习策略的不利约束, 同时保留数据集动作的必要约束, 提高算法性能的上限.然而, wPC仅简单地对数据集上优势值为正的动作进行约束.

为了提高筛选样本的质量, 赋予正优势值的样本更高的更新权重, 以提升样本状态s下的平均估计值V_ψ (s), 从而提高优势正值样本的质量.此外, 为了避免对OOD状态值的高估, 在判断优势样本的条件中添加目标策略和行为策略的策略约束正则项D(π _b, π _θ ), 因此值函数V_ψ (s)更新方式如下:

${{L}_{V}}\left( \psi \right)=\left\{ \begin{array}{*{35}{l}} {{E}_{\left( s,a \right)\tilde{\ }D}}[\sigma \left( {{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)-{{V}_{\psi }}\left( s \right){{)}^{2}} \right], & {{\overset{}{\mathop{V}}\,}_{\psi }}\left( s \right)\le Q'\left( s,a \right) \\ {{E}_{\left( s,a \right)\tilde{\ }D}}\left[ \left( 1-\sigma \right)\left( {{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)-{{V}_{\psi }}\left( s \right) \right){{~}^{2}} \right], & {{\overset{}{\mathop{V}}\,}_{\psi }}\left( s \right)Q'\left( s,a \right) \\ \end{array} \right.$

其中, ψ 表示值网络V_ψ 的网络参数, V︿ψ(s)表示原值网络的估计值, ϕ 表示Q值网络Q_ϕ 的网络参数, σ 表示优质样本的更新权重.当动作状态的估计值 Q︿ϕ(s, a)高于平均估计值 V︿ψ(s)时, 该样本获得较高的更新权重σ ; Q︿ϕ(s, a)低于平均估计值 V︿ψ(s)时, 该样本获得较低的更新权重(1-σ ).强化学习中优势值

A(s, a)=Q(s, a)-V(s)

的大小反映当前状态下采取某个动作相对于平均水平动作的优劣程度, 是作为判断是否为优质样本的良好条件.上述更新方法通过赋予高Q值状态样本更大的更新权重系数, 提升平均估计值V_ψ (s), 使优势值

A︿(s, a)= Q︿ϕ(s, a)-V_ψ (s)

达到正值的动作样本需要更高的Q值, 从而达到提高优势正值样本的质量的目的.

为了进一步高效筛选优质样本, 受最大熵强化学习的启发, 本文提出最大熵离线强化学习框架, 对值函数进行约束.通过将强化学习控制问题嵌入图概率模型中, 同时引入一个与奖励相关的二元随机变量O_t, 定义最优性条件:

$p({{O}_{t}}=1|{{s}_{t}}, {{a}_{t}})=\exp \left( \frac{r\left( {{s}_{t}}, {{a}_{t}} \right)}{\mu } \right)$,

其中, μ 表示一个温度参数, O_t表示状态s_t采取的动作a_t是否最优, $p\left( {{O}_{t}}=1|{{s}_{t}}, {{a}_{t}} \right)$表示状态s_t采取的动作a_t是最优的条件概率.在给定最优变量条件下, 推导最优动作轨迹概率分布$p(\tau |{{O}_{1\, \!:T}})$或最优动作分布$\pi ({{a}_{t}}|{{s}_{t}}, {{O}_{t}})$, 已知最优动作轨迹概率分布p(τ , O_{1∶ T})满足

$p(\tau |{{O}_{1\, \!:T}})=\rho ({{s}_{1}})\prod\limits_{t=1}^{T}{p\left( {{s}_{t+1}}|{{s}_{t}}, {{a}_{t}} \right)p\left( {{O}_{t}}|{{s}_{t}}, {{a}_{t}} \right)p\left( {{a}_{t}}|{{s}_{t}} \right)}$,

其中, τ 表示智能体轨迹, $p\left( {{a}_{t}}|{{s}_{t}} \right)$表示策略先验分布, 一般使用均匀分布简单表示.

基于变分推理, 引入变分分布推导ELBO(Evi- dence Lower Bound), 推断后验分布$p(\tau |{{O}_{1\, \!:T}})$, 定义变分分布:

$q(\tau )=\rho ({{s}_{1}})\underset{t=1}{\overset{T}{\mathop \prod }}\, p\left( {{s}_{t+1}}|{{s}_{t}}, {{a}_{t}} \right){{\pi }_{\theta }}\left( {{a}_{t}}|{{s}_{t}} \right)$.

因此可将目标函数转化为最小化

$KL(q(\tau )\|p(\tau |{{O}_{1\, \!:T}}))$,

等价于使${{\pi }_{\theta }}\left( {{a}_{t}}|{{s}_{t}} \right)$下的轨迹分布近似为最佳轨迹分布$p(\tau |{{O}_{1\, \!:T}})$, 避免直接求解后验分布$p(\tau |{{O}_{1\, \!:T}})$.因此, 最小化KL散度等于最小化q(τ )的负证据下界, 即

KL(q(τ )‖ p(τ |O_{1∶ T}))=-ELBO(q(τ )).

经过推导, 得出新的目标函数:

$KL(q(\tau )\|p(\tau |{{O}_{1\, \!:T}}))={{E}_{\tau \tilde{\ }{{q}_{\theta }}\left( \tau \right)}}\left[ \underset{t=1}{\overset{T}{\mathop \sum }}\, \left( \ln \left( \frac{{{\pi }_{\theta }}({{a}_{t}}|{{s}_{t}})}{p({{a}_{t}}|{{s}_{t}})} \right)-\frac{r\left( {{s}_{t}}, {{a}_{t}} \right)}{\mu } \right) \right]$.

考虑离线强化学习中先验分布即服从数据集策略分布, 则

p(a_t|s_t)=π _b(a_t|s_t),

因此离线最大熵强化学习中的目标函数满足

$J(\pi )=\arg \underset{\pi }{\mathop{\max }}\, \underset{t=0}{\overset{T}{\mathop \sum }}\, {{E}_{\left( {{s}_{t}}, {{a}_{t}} \right)\tilde{\ }{{\pi }_{\theta }}}}{{\gamma }^{t}}\left[ r({{s}_{t}}, {{a}_{t}})-\mu \ln \left( \frac{{{\pi }_{\theta }}({{a}_{t}}|{{s}_{t}})}{{{\pi }_{b}}({{a}_{t}}|{{s}_{t}})} \right) \right]$.

与SAC(Soft Actor-Critic)^[30]不同的是, 离线最大熵强化学习的目标函数不仅包含离线策略的熵项, 还包含行为策略的熵惩罚项, 这迫使目标函数在最大化奖励的同时选择分布内的动作.因此, 值函数遵循如下新的贝尔曼方程:

${{V}^{\pi }}({{s}_{t}})={{E}_{{{a}_{t}}\tilde{\ }\pi ({{a}_{t}}|{{s}_{t}})}}\left[ {{Q}^{\pi }}({{s}_{t}}, {{a}_{t}})-\mu \ln \left( \frac{{{\pi }_{\theta }}({{a}_{t}}|{{s}_{t}})}{{{\overset{}{\mathop{\pi }}\, }_{b}}({{a}_{t}}|{{s}_{t}})} \right) \right]$,

其中 π︿b(a_t|s_t)表示行为策略的估计.离线策略熵项

H(π _θ (s, a))=-ln π _θ (s, a)

能扩大策略的选择空间, 促进多样化的动作选择, 从而在一定程度上缓解离线强化学习算法中常见的过于保守的问题.行为策略熵的惩罚项

-H(π _b(s, a))=ln π _b(s, a)

能赋予数据集外的动作更低的估计值, 识别具有高Q值并且在数据分布中概率较高的优质动作样本.因此, 值函数遵循如下新的更新方法:

${{L}_{V}}\left( \psi \right)=\left\{ \begin{array}{*{35}{l}} {{E}_{\left( s,a \right)\tilde{\ }D}}[\sigma \left( {{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)-{{V}_{\psi }}\left( s \right){{)}^{2}} \right], & {{\overset{}{\mathop{V}}\,}_{\psi }}\left( s \right)\le {{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)+\mu \left( \text{ln}~{{\pi }_{b}}\left( s,a \right)-\text{ln}~{{\pi }_{\theta }}\left( s,a \right) \right) \\ {{E}_{\left( s,a \right)\tilde{\ }D}}[\left( 1-\sigma \right)\left( {{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)-{{V}_{\psi }}\left( s \right){{)}^{2}} \right], & {{\overset{}{\mathop{V}}\,}_{\psi }}\left( s \right){{\overset{}{\mathop{Q}}\,}_{\phi }}\left( s,a \right)+\mu \left( \text{ln}~{{\pi }_{b}}\left( s,a \right)-\text{ln}~{{\pi }_{\theta }}\left( s,a \right) \right) \\ \end{array} \right.$(1)

其中, π _b(s, a)表示行为策略, π _θ (s, a)表示学习策略, μ 表示判断是否为优质样本的策略熵惩罚正则化权重.

本文选择添加学习策略和行为策略的策略熵惩罚项作为判断是否为优质样本的约束条件.添加策略熵惩罚项的目的是确保在筛选优质样本时, 避免高估OOD动作值, 以便筛选既具有高价值又在数据分布内概率较高的动作样本.当π _b高于π _θ 即动作样本在数据分布内的概率较高时, 赋予该动作状态对更高的Q值; 当π _b低于π _θ 时, 表示该动作样本在数据集概率较小或可能是次优动作, 对其进行惩罚以赋予状态较低的Q值.上述值函数更新方法能提高数据集上优质样本的平均估计值, 筛选既具有高Q值又在数据分布内概率较高的优质动作样本.

在深度强化学习中, 神经网络参数ϕ 的Q_ϕ (s, a)表示Q函数, 通过最小化时序差分(Temporal Difference, TD)损失

E_{s, a, r, s'~D}[ (Qϕ(s, a)-ΓQ(s, a))2]

更新, 利用由 ϕ¯参数化的滞后目标网络计算目标值Γ Q(s, a), 而无需梯度反向传播, 通常

Γ Q(s, a)=r(s, a)+γ Qϕ¯(s', a').

在离线强化学习中, 需要通过采样数据集上样本进行训练, 并根据策略分布π _θ 采样动作a'训练Q函数, 目标函数为:

${{L}_{Q}}(\phi )={{E}_{s}}_{, a, r, s'\tilde{\ }D}\left[ \frac{1}{2}{{\left( r\left( s, a \right)+\gamma {{Q}_{{\bar{\phi }}}}\left( s', {{\pi }_{\theta }}\left( \cdot |s' \right) \right)-{{Q}_{\phi }}\left( s, a \right) \right)}^{2}} \right]$, (2)

其中, ϕ 表示Q值网络Q_ϕ 的网络参数, ϕ¯表示目标网络 Qϕ¯的网络参数, θ 表示策略网络π _θ 的网络参数,

${{Q}_{{\bar{\phi }}}}\left( s', {{\pi }_{\theta }}\left( \cdot |s' \right) \right)=\min \left\{ {{Q}_{{{{\bar{\phi }}}_{1}}}}\left( s', {{\pi }_{\theta }}\left( \cdot |s' \right) \right), {{Q}_{{{{\bar{\phi }}}_{2}}}}\left( s', {{\pi }_{\theta }}\left( \cdot |s' \right) \right) \right\}$,

表示Q目标网络取两个独立的Q网络估计的最小值.结合目标网络使用, 可令Q值更新更稳健, 从而提高学习的稳定性和收敛速度.

为了在策略优化阶段更高效地利用优质样本, 最大化归一化优势函数利用经验数据优化策略, 并保留对数据集上优势为正值的动作的策略约束, 专注于数据集上优质动作的策略优化, 防止错误利用高估的OOD动作.此时策略优化目标为:

$\arg \underset{{{\pi }_{\theta }}}{\mathop{\max }}\, {{E}_{(s, a)\tilde{\ }D}}\left[ \frac{\alpha \left( {{\overset{}{\mathop{Q}}\, }_{\phi }}\left( s, {{\pi }_{\theta }}\left( s \right) \right)-{{\overset{}{\mathop{V}}\, }_{\psi }}\left( s \right) \right)}{\frac{1}{{{D}_{C}}}\sum\limits_{\left( s, a \right)\in D}{|{{\overset{}{\mathop{Q}}\, }_{\phi }}\left( s, {{\pi }_{\theta }}\left( s \right) \right)-{{\overset{}{\mathop{V}}\, }_{\psi }}\left( s \right)|}}-\omega (s, a){{({{\pi }_{\theta }}(s)-a)}^{2}} \right]$, (3)

其中, α 表示策略优化目标最大化优势函数的权重, D_C表示抽样样本数.随着α 的增大, 策略优化将偏向于更新优势值较高的样本, 并减轻对数据集上动作的约束程度.在目标函数选择过程中, 为了提高策略学习效率, 本文采用最大化归一化优势函数而不是值函数作为策略优化的目标, 这有助于减小目标值方差, 使学习过程更稳定.特别地, 由于在策略评估过程中进行优质样本筛选, 从而提高样本状态下的平均估计值 V︿ψ(s), 使样本优势值达到正值的条件更严格, 因此最大化归一化优势函数能更高效地利用优质样本, 提高智能体策略的优化效率.

SHS的伪代码如算法1所示.

算法1 SHS

随机初始化值网络 Qϕ1, Qϕ2, V_ψ , 行为策略网络π _b, 策略网络π _θ

初始化目标网络 ϕ¯1← ϕ ₁, ϕ¯2← ϕ ₂, 最大训练步数T, 经验回放池D, 目标网络软更新系数ε

对于训练步数 t=1 to T:

从经验回放池D采样B={(s, a, r, s')}

使用行为克隆方法训练行为策略网络π _b

基于式(1)损失函数L_V(ψ )训练值网络V_ψ

基于式(2)损失函数L_Q(ϕ )训练Q值网络Q_ϕ

基于式(3)损失函数L_π (θ )训练策略网络π _θ

软更新目标网络: ϕ¯i→ ε ϕ ₁+(1-ε ) ϕ¯i, i=1, 2, ε =0.005

本文在MuJoCo-Gym标准环境中评估SHS的性能.MuJoCo-Gym环境是一个典型的离线强化学习评估环境, 包含各种不同的任务.本文选择Half-cheetah、Hopper、Walker2d这3种环境中的3类数据集, 共计9个数据集进行实验测试.每次实验使用6个随机种子, 训练1× 10⁶步, 每5 000步评估一次, 每次评估运行10个回合.

MuJoCo-Gym环境中的D4RL离线数据集包括Medium、Medium-Replay、Medium-Expert数据集, 每类数据集都模拟不同的部署场景, 数据集版本为2.0.3类数据集信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集信息 Table 1 Information of experimental datasets 名称 样本形式 样本数量 样本质量 Medium-Replay 轨迹对 1× 106 极差 Medium 轨迹对 1× 106 差 Medium-Expert 轨迹对 1× 106 优

表1 实验数据集信息 Table 1 Information of experimental datasets

3类数据集都是包含1× 10⁶步的轨迹对, 每个轨迹对由四元组组成, 包含当前步长的状态、动作、奖励及下一刻步长的状态.在Medium数据集上, 所有轨迹都是由智能体采用SAC策略训练至一半过程时采样后收集的.在Medium-Replay数据集上, 一半的轨迹来自Medium数据收集期间使用的回放缓冲区, 而另一半的轨迹是从Medium数据集采样得到的.在Medium-Expert数据集上, 一半的轨迹是智能体采用已训练好的SAC策略收集的, 其余一半的轨迹是从Medium数据集上采样得到的.

本文选择如下离线RL算法进行对比评估:TD3+BC^[12]、IQL^[16]、InAC^[17]、XQL^[18]、CQL^[19]、ORL-RC^[20]、wPC^[28].TD3+BC将行为克隆项添至策略优化目标, 增加对数据集上动作的约束.IQL基于期望回归设计多步动态规划方法, 完全避免查询OOD样本的值.InAC结合SAC和IQL, 添加策略熵正则化项, 鼓励动作选取的多样性.XQL利用χ 分布直接拟合最优值函数.CQL基于原始贝尔曼误差目标添加OOD动作的正则项以学习保守值函数.ORL-RC将行为策略正则项添至值函数更新损失中, 有效放宽学到的Q函数和策略的保守性.wPC对数据集上优势值为正的动作进行约束, 筛选具有价值的高质量样本.

各方法在MuJoCo-Gym任务上的标准平均回报对比如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各算法在MuJoCo-Gym任务上的性能对比 Table 2 Performance comparison of different algorithms on MuJoCo-Gym task 数据集 TD3+BC CQL IQL InAC XQL wPC ORL-RC SHS Halfcheetah-Medium-v2 48.3 44.0 47.4 48.3 47.7 53.3 55.2 61.6 Hopper-Medium-v2 59.3 58.5 66.3 60.3 71.1 86.5 82.3 90.2 Walker2d-Medium-v2 83.7 72.5 78.3 82.7 81.5 86.0 88.5 85.8 Halfcheetah-Medium-Relay-v2 44.6 45.5 44.2 44.3 44.8 48.3 50.3 51.0 Hopper-Medium-Replay-v2 60.9 95.0 94.7 92.1 97.3 97.0 97.6 101.3 Walker2d-Medium-Replay-v2 81.8 77.2 73.9 69.8 75.9 89.9 89.1 89.9 Halfcheetah-Medium-Rexpert-v2 90.7 91.6 86.7 83.5 89.8 93.7 87.0 89.6 Hopper-Medium-Expert-v2 98.0 105.4 91.5 93.8 107.1 95.7 101.6 100.2 Walker2d-Medium-Expert-v2 110.1 108.8 109.6 109.0 110.1 110.1 111.8 110.3 总计 677.4 698.5 692.6 683.8 725.3 763.4 760.5 779.9

表2 各算法在MuJoCo-Gym任务上的性能对比 Table 2 Performance comparison of different algorithms on MuJoCo-Gym task

由表2可见, MuJoCo-Gym任务中SHS在的Me-dium、Medium-Replay数据集上表现优异, 在3类数据集上获得的标准回报总和为779.9, 超过wPC, 同时优于ORL-RC.

IQL、wPC、ORL-RC和SHS在MuJoCo-Gym任务中获得的标准平均回报曲线图如图2所示, 由图可见, SHS取得最优结果.值得注意的是, SHS在Medium、Medium-Replay数据集上的表现超越ORL-RC, 并且收敛速度更快.实际上, SHS在几乎所有数据集上都是收敛速度最快的, 这表明优质样本筛选对策略模型在初始学习阶段的影响尤为显著.SHS通过筛选优质样本进行优先更新, 导致状态值高估, 减少达到优势正值的动作样本, 从而在劣质数据集上算法能快速筛选优质样本进行策略学习.因此, SHS有助于智能体在劣质数据集上快速筛选高质量动作, 显著提升在Medium、Medium-Replay数据集上获得的平均回报.然而, 在Medium-Expert数据集上, SHS效果提升不太显著.这是因为相比Me-dium、Medium-Replay数据集, Medium-Expert数据集包含更多的优质样本, 此时筛选优质样本可能会过滤大量优质样本, 限制智能体的性能提升, 因此SHS在Medium-Expert数据集上表现一般.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各算法在MuJoCo-Gym任务中的标准平均回报曲线Fig.2 Standard average return curves of different algorithms on MuJoCo-Gym task

为了进一步验证SHS能筛选更优质的样本, 进行优势正值率的对比分析, 优势正值率的计算公式如下:

优势正值率=抽样样本中优势值为正的样本数抽样样本的总数.

SHS和wPC在Medium数据集上的优势正值率对比如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 SHS和wPC在Medium数据集上的优势正值率Fig.3 Advantage positive rate of SHS and wPC on Medium dataset

由图3可知, SHS的优势正值率明显低于同为筛选优质样本算法的wPC.具体而言, wPC的优势正值率约为50%, 而SHS的优势正值率约为17%.这是因为相比wPC, SHS对于优质样本的筛选条件更苛刻, 导致满足优势正值标准的样本数量更少, 因此优势正值率较低.实验结果表明, SHS在劣质数据集上筛选更优质的样本进行学习, 成功识别更有价值的样本, 验证其有效性, 并展示其改善学习效率和策略性能的潜力.

为了探索SHS中最大化优势函数的归一化权重 α 和优质样本的更新权重σ 的有效性, 进行消融实验.

首先控制其它超参数不变, 设置α =0.05, 0.01, 0.005, 0.001, α 改变时SHS在MuJoCo-Gym任务中获得的标准平均回报曲线如图4所示.由图可见, 随着α 增大, 算法在Medium、Medium-Replay两种样本质量较差的数据集上获得的标准平均回报明显提升.然而, 当α =0.05时, 算法性能大幅下降, 这是由于过于注重最大化优势函数而忽视对数据集上动作的约束, 算法会错误利用高估的OOD动作, 导致策略迭代错误引入偏差, 使算法性能下降.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 α 不同时SHS的标准平均回报曲线Fig.4 Standard average return curves of SHS with different α

再控制其它超参数不变, 设置 σ =0.5, 0.7, 0.9, 1.0, σ 改变时SHS获得的标准平均回报曲线如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 σ 不同时SHS的标准平均回报曲线Fig.5 Standard average return curves of SHS with different α

由图5可知, 随着 σ 增大, 算法获得的标准平均回报有所提升, 但当σ =1时, 即只更新优势值为正的样本, 算法性能明显下降.这是由于低质量样本数据集上优势值为正的样本较少, 智能体仅能学到有限数量的动作, 难以完整地完成整项任务.因此, 在质量较差的数据集上, 适当提高优质样本的更新权重以便更加关注筛选优质样本, 或者提高最大化优势函数的归一化权重以帮助智能体更高效地学习优质样本, 都有助于提升算法性能.这说明优先更新优质样本和最大化优势函数的有效性.然而, 在Medium-Expert专家数据集上, 由于样本是通过优质策略采样而来, 含有大量优质样本, 此时过度筛选优质样本会导致智能体学到的优质样本减少, 难以完全学到所有的优质样本.因此, 在专家数据集上, 优先更新样本对性能提升的效果并不明显.相比之下, 在专家数据集上约束策略学习能更保守地学到更优策略.

经过消融实验后, SHS超参数设置如下:批尺寸大小为256, γ =0.99, σ =0.9, μ =0.1, α =0.01.

为了探索SHS中策略熵惩罚项的有效性, 本文对比有/无策略熵惩罚项对算法性能的影响, 具体标准平均回报曲线如图6所示.由图可见, 添加策略熵惩罚项后, 标准平均回报显著提升, 整体表现更稳定.特别是在Walker2d-Medium数据集上, 无策略熵惩罚项的算法性能出现急剧下降, 出现明显的不稳定性.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 有/无策略熵惩罚项时SHS的标准平均回报曲线Fig.6 Standard average return curves of SHS with and without policy entropy penalty term

这是由于添加策略熵惩罚项能确保在筛选优质样本时, 通过惩罚OOD动作值避免出现高估问题, 筛选既具有高价值又在数据分布内概率较高的动作样本, 因此在改善算法性能和稳定性方面起到关键作用.

实验结果同样表明, 无策略熵惩罚项时的标准平均回报不仅明显低于有策略熵惩罚项时, 而且在训练过程中波动幅度较大.因此, 策略熵惩罚项对于提升算法的稳定性和鲁棒性至关重要.