SMARL的核心思想是分离模型网络结构和模型策略与智能体规模的相关性, 具体框图见图1.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 SMARL框图Fig.1 Framework of SMARL

首先在结构上, 将智能体的控制网络划分为2个平行的模块— — 智能体动作网络(图1左侧)和智能体目标网络(图1右侧).每个智能体的执行动作由这两个网络的输出组成.为了适应算法结构, 划分智能体的观测数据和动作数据.智能体的观测分为每个智能体的局部观测和所有智能体的全局观测, 本文称为个性观测和共性观测.个性观测不会随智能体规模变化而变化.同理, 算法中对智能体动作也分成智能体的共性动作和个性动作, 所有智能体动作集的交集为共性动作, 某智能体的动作集与共性动作的差集为该智能体的个性动作.共性动作为智能体的执行动作, 个性动作为智能体执行动作的目标.共性动作不会随智能体规模变化而变化.每个智能体执行的动作由共性动作和个性动作共同组成.

举例说明, 在二维格子世界中存在3个可移动且能相互之间抛小球的机械手臂.它们的共性观测是统一坐标系下整个地图的观测, 个性观测是以自身为坐标原点的坐标系下的观测.它们的共性动作为上、下、左、右抛.个性动作由智能体ID决定:0号智能体的个性动作为1号、2号; 1号智能体的个性动作为0号、2号; 2号智能体的个性动作为0号、1号.

经过上述分割, 算法将与智能体规模相关和无关的内容分割为两部分.考虑到深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)网络^[14]在单智能强化学习上性能较优, 本文在对智能体观测和动作进行分割之后, 将所有智能体的动作策略视作同个策略, 选取DDPG网络作为智能体动作网络的内部结构.Khan等^[11]证明使用单智能体网络和单一策略控制多个智能体的有效性.考虑到序列到序列(Sequence-to-Sequence, Seq2Seq)网络^{[15, 16]}对输入输出长度的不敏感性, 本文选取Seq2Seq作为智能体目标网络的内部结构, 将智能体规模视作序列长度.

智能体动作网络输入为智能体的个性观测, 输出为智能体的共性动作, 详细框图见图2.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 智能体动作网络框图Fig.2 Framework of agent action network

智能体动作网络由多个DDPG网络组成, 每个智能体均有各自的DDPG网络, 其中, Actor网络参数为θ _i, Critic网络参数为Q_i, Actor-target网络参数为θ '_i, Critic-target网络参数为Q'_i, i=0, 1, …, N-1.单个的DDPG网络仅接收其对应的智能体以自身作为“ 坐标原点” 的局部观测.此时, 使用单一策略(参数共享)控制所有智能体的动作是有意义的.

另外, 为了实现参数共享, 本文参考异步优势演员评论家(Asynchronous Advantage Actor-Critic, A3C)的做法^[10], 在智能体动作网络中额外设置一个不进行梯度更新的中心参数网络, Actor网络参数为θ _N, Critic网络参数为Q_N.网络接收其它DDPG网络的参数进行软更新(软更新超参数τ =0.01), 再使用软更新更新其它DDPG网络, 最终使所有DDPG网络的参数达到同个单一策略.智能体动作网络更新方式如下.

令

minQiL_i= 1B_DDPG∑ib(y_ib-Q(o_ib, a_ib|Q_i))²

达到最小以更新Critic网络, 其中, Q_i为Critic网络的参数, Q(· |· )为网络评估, B_DDPG为算法批次(Batch Size)数量, o_ib、a_ib、r_ib、o_ib+1为抽取样本,

y_ib=r_ib+γ Q'(s_ib+1, μ '(s_ib+1|θ '_i)|Q'_i),

γ 为折扣因子.

Actor网络更新如下:

$\nabla_{\theta_{i}} J \approx \frac{1}{B_{-} D D P G} \cdot \sum_{i b}\left(\left.\left.\nabla_{a} Q\left(o, a \mid Q_{i}\right)\right|_{o=o_{i b}, a=\mu\left(o_{i b}\right)} \nabla_{\theta_{i}} \mu\left(o \mid \theta_{i}\right)\right|_{o_{i b}}\right)$

其中, θ _i为Actor网络的参数, μ (· |· )为网络策略.

中心参数网络和其它网络相互更新如下:

θ _N← τ θ _i+(1-τ )θ _N, Q_N← τ Q_i+(1-τ )Q_N, θ i_← τ θ N₊(1-τ )θ i_, Qi_← τ QN₊(1-τ )Qi_.

其中:中心参数网络的Actor网络参数为θ _N, Critic网络参数为Q_N; 其它DDPG网络的Actor网络参数为θ _i, Critic网络参数为Q_i, i=0, 1, …, N-1; τ 为软更新超参数.

智能体目标网络输入为智能体的共性观测, 输出为智能体的个性动作, 框图如图3所示.网络由一个Seq2Seq网络和一个存储器组成, Seq2Seq网络参数为δ .Seq2Seq网络由编码器和解码器组成, 这两部分内部结构均为循环神经网络(Recurrent Neural Network, RNN).编码器负责将输入序列表征到更高的维度, 由解码器将高维表征进行解码, 输出新的序列.Seq2Seq网络负责学习和预测智能体间的合作关系.智能体目标网络使用强化学习的思想, 存储器起到强化学习中Q的作用, 负责记录某观测(序列)到动作(序列)的映射及相应获得的奖励.Seq2Seq部分相当于强化学习中的Actor, 负责学习最优观测序列到动作序列的映射及预测新观测序列的动作序列.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 智能体目标网络框图Fig.3 Framework of agent target network

智能体目标网络输入的序列长度为智能体规模, 序列中的元素维度为每个智能体的观测.输出序列的长度同样为智能体规模, 序列中的元素是智能体编号.输入序列和输出序列的顺序均按照智能体的编号排序, 每当智能体规模发生变化时, 智能体重新从0开始编号.

具体如下:先定义Seq2Seq的奖励函数, 通过强化学习的思想筛选奖励最大的观测序列到动作序列的映射, 将该映射视作一种翻译, 再由Seq2Seq网络进行学习.网络输出表示智能体间的合作关系.另外, 本文在Seq2Seq网络中引入Attention机制, 提升Seq2Seq网络性能^[17].

Seq2Seq的核心公式如下:

$\begin{aligned} \max _{\delta} L_{\text {seq }} & =\\ & \frac{1}{N} \sum_{n=0}^{N-1} \ln \left(a_{0}^{s}, a_{1}^{s}, \cdots, a_{N-1}^{s} \mid o_{0}^{s}, o_{1}^{s}, \cdots, o_{N-1}^{s}, \delta\right), \end{aligned}$

其中, δ 为Seq2Seq的参数, o0s, o1s, …, oN-1s为输入序列, a0s, a1s, …, aN-1s为输出序列.

在SMARL中, 一个智能体的执行动作是由智能体动作网络和智能体目标网络共同决定的.在训练时, 智能体动作网络和智能体目标网络交替进行, 智能体动作网络在每步都会训练, 此时的智能体目标网络停止更新, 仅进行数据收集, 以此保证环境的平稳性.智能体目标网络每隔一定的回合(Episode)才进行一次翻译训练, 在智能体目标网络训练时, 智能体目标网络停止更新.

SMARL参数汇总如表1所示.

表1

Table 1

表1(Table 1)

表1 算法参数说明 Table 1 Description of algorithm parameters 名称 参数 初值设置 对算法影响 更新方式 Actor网络参数 θ i 随机初始化 - 梯度下降 Actor-Target网络参数 θ 'i 复制Actor网络 - 软更新 Critic网络参数 Qi 随机初始化 - 梯度下降 Critic-Target网络参数 Q'i 复制Critic网络 - 软更新 Seq2Seq网络参数 δ 随机初始化 - 梯度下降 超参数, 折扣因子 γ 0.95 影响训练效果 不更新 更新间隔步数 - 100 动作网络训练速度 不更新 更新间隔回合数 - 25 目标网络训练速度 不更新 学习率 - 0.001 影响网络学习速度 不更新 超参数, 软更新因子 τ 0.01 影响更新效果 不更新 游戏回合数 E_max - - 不更新 每回合最大步数 S_max - - 不更新 批次大小 B_DDPG 256 影响训练速度 不更新

表1 算法参数说明 Table 1 Description of algorithm parameters

SMARL伪代码如下.

算法 SMARL

Initialize N actor networks and N critic networks with θ _i and Q_i, i=0, 1, …, N-1

Initialize N target actor networks and N target critic networks with θ '_i← θ _i, Q'_i← Q_i, i=0, 1, …, N-1

Initialize actor central parameter network with θ _N

Initialize critic central parameter network with Q_N

Initialize sequence to sequence network with δ

Initialize replay buffer M_DDPG and M_Seq

Set episode number E_max, max step of every epi-sode S_max and batch size B_DDPG

for k=0 to E_max do

for j=0 to S_max do

Receive individual-observation of every agent

Ojddpg= oj, 0d, oj, 1d, …, oj, N-1d

Input Ojddpginto N actor networks and get

Ajddpg= aj, 0d, aj, 1d, …, aj, N-1d

for i=0 to N-1 do

Sample a random minibatch of B_DDPG

transitions (o_ib, a_ib, r_ib, o_ib+1) from M_DDPG

Compute

y_ib=r_ib+γ Q'(s_ib+1, μ '(s_ib+1|θ '_i)|Q'_i)

Update the critic network for agent i using

minQiL_i=

1B_DDPG∑ib(y_ib-Q(o_ib, a_ib|Q_i))²

Update the actor network for agent i using

∇θiJ≈ 1B_DDPG·

∑ib∇aQ(o, a|Q_i)| o=oib, a=μ(oib)∇θiμ (o|θ _i)| oib

if j mod 100==0 then

θ '_i← τ θ _i+(1-τ )θ '_i,

Q'_i← τ Q_i+(1-τ )Q'_i

θ _N← τ θ _i+(1-τ )θ _N,

Q_N← τ Q_i+(1-τ )Q_N

θ _i← τ θ _N+(1-τ )θ _i,

Q_i← τ Q_N+(1-τ )Q_i

end if

end for

Receive universal-observation of all agents

Ojseq= oj, 0s, oj, 1s, …, oj, N-1s

Input Ojseqinto sequence to sequence network

and get Ajseq= aj, 0s, aj, 1s, …, aj, N⁃1s

Execute actions A_j= Ajddpg+ Ajseq

Receive new observations and rewards

Rjddpg= rj, 0d, rj, 1d, …, rj, N-1d

Oj+1ddpg= oj+1, 0d, oj+1, 1d, …, oj+1, N-1d

Oj+1seq= oj+1, 0s, oj+1, 1s, …, oj+1, N-1s

Process Rjddpgthen get Rjseq

Store transition ( Ojddpg, Ajddpg, Rjddpg, Oj+1ddpg) in

M_DDPG

Store transition ( Ojseq, Ajseq, Rjseq) in M_Seq

end for

if kmod 25==0 then

Select ( Omseq, Amseq, Rmseq) by same O^Seq and max

R^Seq, and then generate collection M

Train the sequence to sequence network by data

set M

The core formula

maxδL_seq= 1N·

∑n=0N-1ln( o0s, o1s, …, oN-1s| a0s, a1s, …, aN-1s, δ )

end if

end for

本文研究智能体规模对强化学习算法的影响, 提出序列多智能体强化算法(SMARL).实验证实, 本文算法对智能体规模动态变化具有较好的适应性, 在学习效率和算法性能上均较优.本文算法虽然可自动适应智能体规模的动态变化, 但在算法训练阶段仍需要一个短期的智能体规模不变的环境进行数据收集.因此, 进一步提升算法对智能体规模动态变化环境的适应性和促进智能体间合作是今后的研究方向.