KASRL按照MDP构建任务模型.在每一幕中, 推荐智能体将在离散时间步长t=1, 2, …, T中与目标用户顺序交互.在每个时间步t下, 智能体会观测到一个状态s_t.s_t不仅包含用户-项反馈序列信息, 还添加KG信息作为辅助信息.

用户根据相应策略 π(at|st)向目标用户执行一个动作 at∈I, at=x̂t+1表示推荐智能体从项目集 I中选取一个项目推荐给用户; 策略 π(at|st)表示为一个函数, 如公式1所示：

πatst=exp⁡expeatwπst∑v∈Iexp⁡expevwπst(1)

其中, eat∈ R^d表示推荐项目a_t的特征向量, w_π ∈ R^{d× 2d}表示双线性乘积的可训练参数.将推荐项目推荐给目标用户项目后, 推荐智能体会接收用户是否点击或购买的反馈, 间接转化为即时奖励, 并观测下一个状态s_t+1.

通过历史反馈数据以及KG信息, 推荐智能体的目标是学习一个最优策略 π* (at|st).该策略能获得最大的折扣累计奖励:

G(π ^* )= ∑l=0Tγ ^lR(s_l, a_l)≥ G(π ).

KASRL采用DRL, 在构建基于强化学习的模型时, 关键的两点是设计状态表示和奖励函数.状态表示用于建模目标用户的所有历史交互特征, 但是现有方法大多都关注如何从历史交互特征中构建综合偏好表示, 而不是利用外部信息探索用户是否发生偏好漂移.此外, 奖励函数的本质是向推荐智能体传递训练目标, 奖励函数设计的好坏直接影响到算法能否收敛, 甚至会影响算法性能.因此KASRL通过KG信息建模用户偏好漂移表示, 并基于KG信息设计复合奖励函数, 减少历史交互数据中的噪声, 进而提高推荐的准确率.KASRL基本框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 KASRL的基本框架Fig.1 Basic framework of KASRL model

在真实序列推荐任务中, 往往具有如下特点:1)每个用户偏好漂移速度是不相同的, 因此选定固定序列长度学习用户偏好表示是不实际的.2)用户购买某个商品, 并不完全依赖整个序列, 而是归因于序列中某个或几个商品.

KG和用户-项交互序列如图2所示.(a)表示某用户观看电影的序列, 随着时间的推移, 该用户的偏好由Christopher Nolan导演的喜剧片 (第一阶段)转变为Jim Carrey主演的科幻片(第二阶段).在本例中, 如果状态表示时采取的固定序列长度大于4, 基于DRL的推荐系统将无法脱离第一阶段, 只能在第一阶段上继续探索.(b)表示某用户购买商品的序列, 该用户在购买电子产品期间也购买书籍和衣物等商品, 基于DRL的推荐系统可能会受到这些信息的误导, 导致推荐效果不佳.状态表示时采用交互序列越大, 状态中的噪音就会越多, 导致推荐智能体无法关注有益于决策的关键项目.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 知识图谱和用户-项交互序列Fig.2 Knowledge graph and user-item interaction sequence

因此, KASRL聚合漂移状态表示和注意力状态表示, 具体流程如图3所示.首先利用KG信息针对完整的用户-项交互序列截取部分序列作为漂移序列, 再将漂移序列和完整的用户-项交互序列分别通过GRU和自注意力网络生成漂移状态和注意力状态表示, 最后聚合两者, 生成最终状态表示.漂移序列能自适应调整序列的长度, 解决用户之间偏好漂移速度不同的问题.自注意力网络能捕捉序列中关键的项目信息, 赋予关键的项目信息更高的权重.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 KASRL中完整的状态表示模块Fig.3 Complete state representation module in KASRL

2.2.1 漂移状态表示

对于漂移状态表示, 首先借助KG信息从完整的历史交互序列x_{1∶ t}中截取部分序列x_{m∶ t}作为自适应漂移序列.采取标准的余弦相似度方法, 设计两种截取方式确定m的位置.

第一种截取方式单独选取最近固定长度的序列项目, 无法发现完整的用户偏好漂移, 因此借助KG信息中的项目特征向量作为相似度度量, 选取x_{1∶ t}中的不同子序列的项目特征向量均值 k-m:t∈ R^d与最近交互序列x_{t-b+1∶ t}的项目特征向量均值 k-t-b+1:t∈ R^d, 对比两者差异, 选取值相似度最大的子序列作为漂移序列, 具体公式如下:

$m=\arg\max_{m\in[0, t-b)}\bigg(\dfrac{\bar{k}_{t-b+1:\bar{k}}\bar{k}_{m:t}}{|\bar{\boldsymbol{k}}_{t-b+1:t}||\bar{\boldsymbol{\boldsymbol{k}}}_{m:t}|}\bigg)$,

其中, k-m:t、 k-t-b+1:t采用平均池化的方式, b表示选取x_{1∶ t}中最后b个历史项目作为漂移序列的相似度度量.

第二种截取方式与第一种方式唯一不同之处在于x_{1∶ t}中的不同子序列选取第一个历史项目x_m与x_{t-b+1∶ t}进行对比, 这样能够避免子序列中部分过时数据影响漂移的选择, 减少序列之间的相关性, 具体公式如下:

$m=\arg\max_{m\in[0, t-b)}\bigg(\dfrac{\bar{k}_{i-b+1:t}\bar{k}_m}{|\bar{k}_{t-b+1:t}||\bar{k}_m|}\bigg)$.

基于上述原因, 为了权衡两种方式在模型中的优劣之处, 采用加权的方式, 利用β ∈ [0, 1]控制两者的权衡, 即

$\begin{aligned}m=\arg\max_{m\in[1, i-i]}\bigg((1-\beta)\bigg(\frac{\bar{k}_{i-k+1, i}\cdot\bar{k}_{n-i}}{|\bar{k}_{i-i+1, i}||\bar{k}_{m-i}|}\bigg)+\\ \beta\bigg(\frac{\bar{\bar{k}}_{i-k+i\cdot i}\bar{k}_m}{|\bar{\bar{k}}_{i-k+1\cdot i}||\bar{k}_m|}\bigg)\bigg).\end{aligned}$

为了提取漂移序列中的序列性偏好, 如图3所示, 采用循环神经网络中的GRU进行编码:

h_t=GRU(h_t-1, e_t; w_gru), (2)

其中, e_t表示项目x_t的内嵌向量, w_gru表示GRU的可训练参数.这里没有使用KG信息中的内嵌向量, 为了减少对KG信息的过度依赖, 从而构建用户的序列偏好.

2.2.2 注意力状态表示

注意力机制已成功应用在计算机视觉、自然语言处理等多个领域.在推荐任务中, 注意力机制能有效地对历史反馈序列中重要的项目赋予更大的权重, 使不同用户历史反馈序列中的相同项目拥有不同的权重.注意力机制中存在一种特殊方法— — 自注意力机制^[32].自注意力机制对不同项目选择性关注的同时, 能适用长序列捕捉历史反馈序列之间的依赖关系.

因此, 如图3所示, KASRL将自注意力机制应用到完整的历史反馈序列, 结合KG信息, 捕捉有益于个性化推荐的项目信息.

具体地, 计算自注意力机制对不同项目信息的选择性关注:

Q'=ReLU(k_{1∶ t}w_q), K'=ReLU(k_{1∶ t}w_k),

其中, w_q∈ R^{d× d}, w_k∈ R^{d× d}分别表示Query和Key中可训练参数, k_{1∶ t}∈ R^{t× d}, ReLU(· )表示激活函数.

通过Q和K非线性转换得到的Q'和K'作为输入, 输出注意力矩阵:

$\boldsymbol{\alpha}=softmax\left(\dfrac{\boldsymbol{Q}'\boldsymbol{K}^{\text{T}}}{\sqrt{d}}\right)\in\boldsymbol{R}^{t\times t}$,

其中d表示特征向量的维度.

注意力矩阵α 和KG序列特征向量矩阵k_{1∶ t}相乘得到注意力加权矩阵:

k'_{1∶ t}=α k_{1∶ t}∈ R^{t× d}.

最后, 采用均值的方式聚合k'_{1∶ t}, 得到最终的注意力状态表示:

$\bar{\boldsymbol{k}}_{1:t}'=\dfrac{1}{t}\sum_{j=1}^t\boldsymbol{k}_j'\in\textbf{R}^d$.(3)

2.2.3 最终状态表示

由KG信息截取得到漂移序列, 经过GRU生成漂移状态表示, 同时利用完整的历史反馈序列通过自注意力机制生成注意力状态表示.最终状态表示s_t由漂移状态表示和注意力状态表示拼接而成:

$s_t=\boldsymbol{h}_t\oplus\bar{\boldsymbol{k}}_{1:t'}$,

其中, ⊕表示拼接算子, h_t中以自适应子序列的方式个性化地为每位用户寻找各自的偏好漂移程度, 并通过GRU捕捉序列之间的相关性, k-'_{1∶ t}中加入自注意力机制, 克服循环神经网络中单向相关性, 并赋予不同历史项目信息不同权重.h_t和 k-'_{1∶ t}都结合KG信息以构建状态表示, h_t侧重于利用KG信息探索偏好变化, 而 k-'_{1∶ t}利用KG信息开发寻找历史反馈中重要的项目信息.

奖励R(s, a)用于估计智能体的推荐质量, 如果仅仅以是否命中目标项目作为奖励, 可能在数据稀疏和冷启动时会受到奖励稀疏的影响.为了缓解此问题, 将KG信息作为评价推荐性能的指标.具体来说, 将奖励定义为

R_t=R_ws(x_{t+1∶ t+z}, x^t+1:t+z)+R_kg(k_{t+1∶ t+z}, k^t+1:t+z), (4)

其中, x_{t+1∶ t+z}表示用户真实交互的子序列, x^t+1:t+z表示推荐智能体推荐的子序列, k_{t+1∶ t+z}表示x_{t+1∶ t+z}的KG序列特征向量矩阵, k^t+1:t+z表示 x^t+1:t+z的KG序列特征向量矩阵.类似多步时序差分算法, 将z步推荐作为该状态下的总体性能.

2.3.1 折扣序列奖励

在序列推荐任务中, 奖励函数不仅仅以单步推荐为指标, 还需要多步序列的匹配程度作为衡量指标.在这里借用BLEU^[33] 评价指标, BLEU能够准确评估预测序列的准确率.但是在机器翻译中, 序列中的信息都是等价的, BLEU并未考虑强化学习中折扣因子对于现在和未来的权衡.基于此改进BLEU, 即

$R_{\mathrm{ws}}(x_{t+1i+z}, \hat{x}_{t+1i+z})=\exp\bigg(\dfrac{1}{Y}\sum\limits_{y=1}^y\ln(prec_y)~~\bigg), $

其中

$pree_y=\frac{\sum_{c\in[t+1, z-y]}p^{c+t-1}\min(\#(x_{c+y+y-1}, x_{t+1, z+z}), \#(x_{c+z)-1}, \hat{x}_{t+1+z+z}))}{\sum_{c\in[(t+1, z)]}p^{r-1-1}\#(x_{c+t+z)-1}, x_{t+1+z})}.$

x_{c ∶ c+y-1}表示x_{t+1∶ t+z}的子序列; #(x_{c ∶ c+y-1,} x_{t+1∶ t+z})表示x_{c ∶ c+y-1}在x_{t+1∶ t+z}中出现的次数; p^c-t-1∈ [0, 1]表示以真实交互序列x_{t+1∶ t+z}为根据, 为先后次序分配权重, x_{c ∶ c+y-1}在x_{t+1∶ t+z}中越靠前, 分配的权重越大; Y表示子序列x_{c ∶ c+y-1}的长度上限.

该方法不仅能增加奖励的密度, 而且添加参数p, 考虑到推荐项目的重要程度和先后次序.

2.3.2 KG奖励

在KG奖励中, 借助KG信息关注推荐智能体推荐的项目与真实推荐项目的相似度.当推荐的项目并不匹配真实推荐项目时, 也能采用此方式估计推荐的质量.具体定义如下.给定k_{t+1∶ t+z}和 k^t+1:t+z这2个KG序列特征向量矩阵, 通过平均加和的方式聚为综合特征 k-t+1:t+z和 k^-t+1:t+z, 为了度量两者的相似度, 依旧采用余弦相似度的方法, 则

R_kg(k_{t+1∶ t+z}, k^t+1:t+z)= k-t+1:t+zk^-t+1:t+zk-t+1:t+zk^-t+1:t+z.

R_kg(k_{t+1∶ t+z}, k^t+1:t+z)作为KG奖励, 能够缓解奖励稀疏的问题.

为了充分训练KASRL, 在相同状态下多次进行z步采样, 采用蒙特卡洛强化学习算法建模KASRL.推荐智能体的目标是训练一个最优策略, 采用截断策略梯度方法训练模型参数, 在每个时间步s_t下多次采样z步子序列, 使推荐智能体得到充分训练, 即

$\nabla_{\phi}J(\pi_{\Phi})\approx\sum\limits_{j=l+1}^T\bigg(\gamma^{j-l-1}I_j\bigg(\dfrac{\nabla\pi_\Phi(\hat{x}_{l+1}^l\mid s_l)}{\pi_{\Phi}(\hat{x}_l^l\mid s_t)}\bigg)\bigg), $(5)

其中 x^t+1l表示第l次采样推荐的项目.

KASRL步骤如下所示.

算法 KASRL

初始化 π 中参数Φ , 超参数p, β , b

利用TransE获得KG信息

for episode=1, 2, …, N do

for t=1, 2, …, T do

根据式(2)生成漂移状态表示h_t, 根据式(3)生成注意力状态表示 k-'_{1∶ t}

生成当前状态表示s_t=h_t⊕ k-'_{1∶ t}

for l=1, 2, …, L do

根据式(1)采样一条z步子序列 x^t+1:t+zl

通过式(4)生成奖励r_t

通过式(5)更新KASRL中的网络参数Φ ,

Φ ← Φ +μ ∇ΦJ

end for

end for

end for

在算法中, 每一幕的时间步下会生成当前的状态表示s_t, 推荐智能体通过s_t逐步交互生成L段序列 x^t+1f:t+zl, KASRL根据每个序列 x^t+1:t+zl生成当前序列的奖励r_t, 同时更新KASRL中的网络参数.

为了验证KASRL的推荐性能、状态表示和复合奖励函数的有效性, 采用3个亚马逊电子商务数据集(CDs、Books、Beauty数据集)和一个音乐数据集LastFM作为验证对象.数据集具体的统计信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集的统计信息 Table 1 Statistics of experimental datasets 名称 用户 项目 用户反馈 关系 实体 LastFM 7694 30658 203975 19 214524 CDs 17052 35118 472265 27 151484 Books 52406 41264 1856747 49 313956 Beauty 22363 12101 198502 20 42355

表1 实验数据集的统计信息 Table 1 Statistics of experimental datasets

为了保证训练的可行性, 删除历史反馈序列小于5的用户和出现次数少于5的项目.此外KASRL需要通过KG信息引导, 因此在Books、LastFM数据集上通过KB4Rec^[34]将项目和用户与实体连接, 生成KG特征.在CDs、Beauty数据集上按照PGPR中KG信息生成KG特征.

在序列推荐任务中, 需要根据时间戳对用户的历史记录进行排序, 生成历史反馈序列, 将历史反馈序列最后一项作为测试项目, 其余数据和KG信息作为输入信息.从项目集上随机抽取100个目标用户未购买或未点击的负反馈项目, 这些负反馈项目和测试项目组成候选项目集, 推荐智能体需要对候选项目集中的项目进行排序.

本文采用命中率(Hit Ratio, HR)和归一化折损累计增益(Normalized Discounted Cumulative Gain, NDCG)作为评价指标, 对比序列推荐性能.HR@K表示测试项目是否在推荐智能体推荐的前K个项目之中.NDCG@K着重考虑测试项目在前K个项目的具体位置, 测试项目越靠前, NDCG@K值越大, 推荐准确率越高.

为了评价KASRL的推荐性能, 分别采用如下3种模型进行对比实验.1)基于KG的模型.KGAT^[22], RippleNet^[35].2)序列推荐模型.DREAM(Dynamic Relation Aware Model)^[36], GRU4Rec^[37], FPMC(Fac-torized Personalized Markov Chains)^[38].3)混合模型.KSR(Knowledge-Enhanced Sequential Reco-mmender)^[20].

KGAT借助KG信息挖掘项目和用户的高阶连通信息, 以端到端的方式实现关系建模.RippleNet同时采用基于路径推理和特征学习的方式建模KG推荐模型.DREAM建模用户的自适应表示和购物篮中项目之间的顺序特征.GRU4Rec基于循环神经网络, 利用历史反馈序列构建用户的序列偏好.FPMC为用户构建马尔科夫转移矩阵, 结合个性化和序列信息.KSR基于GRU和KG信息建模用户序列偏好和用户属性偏好.

在每个数据集上, 将训练集、验证集、测试集的比例设为8∶ 1∶ 1, 采用5个随机种子进行分割, 并将测试平均值作为实验结果.

所有模型计算梯度的批数量设置为2 048, 统一采用Adam(Adaptive Moment Estimation)优化器进行优化.对比模型采用验证集进行参数优化.KASRL中神经网络节点数设置为64, 用户和项目的特征向量设置为50, β 设置为0.2, Y设置为3, HR@K和NDCG@K中 K设置为10.

本节将KASRL与基线模型进行对比, 在4个数据集上的对比结果如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各模型在4个数据集上的性能对比Fig.4 Performance comparison of different models on 4 datasets

由图4可观察到, 无论在哪个数据集上, KASRL一直保持着最优的性能.KASRL和KSR都是基于序列和KG信息的混合模型, 但是KSR没有利用KG信息探索考虑用户偏好漂移, 也没有利用自注意力机制着重开发有助于决策的重要信息.总体来说, 相比KSR, 在Beauty数据集上, KASRL的HR@10和NDCG@10分别提高3.8%和5%; 在Books数据集上, HR@10和NDCG@10分别提高4.1%和4.6%; 在CDs数据集上, HR@10和NDCG@10分别提高6.1%和6.3%; 在LastFM数据集上, HR@10和NDCG@10分别提高0.7%和1.2%.除了在LastFM数据集上RippleNet性能低于GRU4Rec, 基于KG的模型KGAT和RippleNet都优于序列推荐模型, 这也间接验证引入KG中实体之间的关系能够提高推荐的准确率.在基于序列推荐模型中, GRU4Rec性能均优于其它模型, GRU4Rec由于借助GRU单元捕捉到用户反馈序列中序列之间的依赖关系和综合偏好, 从而得到更优的推荐性能.

在KASRL中借助KG信息将状态表示分为两部分, 包括用于探索的漂移状态和基于开发的注意力状态.此外为了缓解奖励稀疏, 设计复合函数, 增加与用户交互过程中的奖励密度.KASRL在状态表示和奖励函数的设计中进行扩展.为了验证扩展的有效性, 本文开展多个消融实验, 设计如下多个KASRL的变体.RL-S仅移除漂移序列, 将完整用户反馈序列输入GRU单元内.RL-ATT仅移除自注意力机制, 将KG信息通过平均求和的方式获得状态信息.RL-R把推荐序列 x^t+1:t+z命中真实序列x_{t+1∶ t+z}的个数作为奖励函数.每个变体的组成部分如表2所示.

表2

Table 2

表2(Table 2)

表2 KASRL变体的结构信息 Table 2 Structural information of KASRL variants 模型 漂移状态 注意力状态 奖励函数 KASRL √ √ √ RL-S - √ √ RL-ATT √ - √ RL-R √ √ -

表2 KASRL变体的结构信息 Table 2 Structural information of KASRL variants

KASRL及三个变体在四个数据集上的HR@10和NDCG@10值如表3所示.由表可看出, KASRL在4个数据集上取得最优表现.移除漂移状态的RL-S和移除注意力状态的RL-ATT取得较差结果.在状态表示中没有变动的RL-R和KASRL均取得不错结果, 表明合理利用KG信息构建状态表示能够提高推荐性能.RL-ATT中移除自注意力机制, 在各数据集上都表现最差, 其主要原因是注意力单元的缺失降低序列信息中关键信息的选择性关注, 也缺乏对长期序列项目之间的依赖性表达, 自注意机制能够更好地捕获反馈序列中重要的项目信息, 从而得到更好的推荐性能.RL-R取消复合奖励函数的设计, 性能却仅低于KASRL, 虽然复合奖励函数并没有使模型推荐效果得到巨大提升, 但是在收敛速度上快于RL-R.总之, KASRL中基于KG信息的扩展均有利于提高推荐性能, 由此验证模型中注意力机制和漂移序列的构建均发挥重要作用.

表3

Table 3

表3(Table 3)

表3 KASRL及其变体在4个数据集上的性能差异 Table 3 Performance difference between KASRL and its variants on 4 datasets 模型 Beauty Books CDs LastFM HR@10 NDCG@10 HR@10 NDCG@10 HR@10 NDCG@10 HR@10 NDCG@10 RL-S 0.524 0.345 0.752 0.526 0.703 0.479 0.597 0.467 RL-ATT 0.493 0.315 0.749 0.425 0.653 0.422 0.561 0.406 RL-R 0.531 0.364 0.771 0.567 0.717 0.486 0.627 0.479 KASRL 0.548 0.372 0.792 0.576 0.744 0.513 0.634 0.493

表3 KASRL及其变体在4个数据集上的性能差异 Table 3 Performance difference between KASRL and its variants on 4 datasets

在奖励函数中设计复合奖励函数, 包含折扣序列奖励和KG奖励两部分.下面验证折扣序列奖励和KG奖励能否加快KASRL的收敛速度及能否提高模型的推荐性能.

为此, 设计两个额外的变体:RL-DS, 仅在奖励函数中移除折扣序列奖励; RL-KG, 仅在奖励函数中移除KG奖励.KASRL、RL-DS和RL-KG在Beauty数据集上不同训练批次下的性能对比如图5所示.由图可见, 以HR@10为评价指标, RL-KG的收敛速度和性能低于KASRL和RL-DS, 这是因为KG奖励为KASRL和RL-DS提供更多的奖励密度, 使推荐智能体不会盲目地随机探索, 从而加快收敛速度和推荐效果.以NDCG@10为评价指标, 前期RL-DS推荐效果优于RL-KG, 但在训练后期, RL-DS已经不再依靠盲目探索, 并且带有折扣的序列奖励会着重关注推荐的排名序列, 使RL-KG的NDCG@10值超过移除折扣序列奖励的RL-DS.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 KASRL及其变体在Beauty数据集上的性能对比Fig.5 Performance comparison of KASRL and its variants on Beauty dataset

3.5.1 漂移序列度量长度

超参数b表示选取历史反馈序列最近交互的b个项目作为漂移序列的相似度度量, 本节对比b=1, 2, 3以及移除漂移序列b=0对KASRL性能的影响, 实验结果如表4所示.

表4

Table 4

表4(Table 4)

表4 b对KASRL性能的影响 Table 4 Effect of parameter b on KASRL performance b Beauty Books CDs LastFM HR@10 NDCG@10 HR@10 NDCG@10 HR@10 NDCG@10 HR@10 NDCG@10 0 0.524 0.345 0.752 0.526 0.703 0.479 0.597 0.467 1 0.519 0.316 0.775 0.563 0.723 0.496 0.625 0.488 2 0.548 0.372 0.792 0.576 0.744 0.513 0.634 0.493 3 0.526 0.346 0.805 0.581 0.742 0.511 0.615 0.74

表4 b对KASRL性能的影响 Table 4 Effect of parameter b on KASRL performance

在表4中, b=0时移除漂移序列, 不以任何项目序列作为相似度指标, 可看出相比b=0, 当b=1, 2, 3时, KASRL性能都具有较大提升, 并且b=2时表现最优, 仅在Books数据集上低于b=3时.这是因为太小的b值可能使漂移序列中噪声的影响变大, 然而b值越大会使噪声的影响越小, 偏好漂移的特征也会变得平缓.

3.5.2 漂移序列的权衡参数

2.2.1节中采用β 加权的方式权衡两种子序列选取的策略, 为了确定β 的选取对于推荐效果的影响, 选取β =0, 0.2, 0.4, 0.6, 0.8, 1, 在Beauty数据集上进行实验, 结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 β 对KASRL性能的影响Fig.6 Effect of parameter β on KASRL performance

由图6可观察到, 当β =0.2时, KASRL的HR@10和NDCG@10值均最优, 这是因为2.2.1节中第一种截取方式虽然能够扩大长度, 但是过于大的长度使得漂移序列并不能准确表示用户的偏好变化, 反而从完整的用户-项反馈序列中带来更多的噪声, 影响智能体推荐的效果.

将移除漂移序列的RL-S与KASRL在4个数据集上进行实验, 对比漂移序列和完整序列与下一个推荐成功项目的相似度, 结果如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 漂移序列和完整序列与下一个推荐成功的项目相似度对比Fig.7 Similarity comparison between drift sequence and next successfully recommended item as well as between full sequence and next successfully recommended item

由图7可知, 在Beauty数据集上, 相比RL-S中完整序列, 漂移序列的相似度提高15%, 在Books数据集上, 漂移序列的相似度提高10%, 在CDs数据集上, 漂移序列的相似度提高9%, 在LastFM数据集上, 漂移序列的相似度提高5%.实验结果表明漂移序列能够提高序列与下一个推荐成功项目的相似度, 进一步验证相比完整序列, 漂移序列能更好地捕捉用户的当前偏好, 提高推荐的准确率.