在构建强化学习状态表示时, 仅依赖图结构建模题目与概念之间的关系, 容易导致节点表示缺乏判别力, 尤其是在GNNs深层堆叠时容易出现过平滑现象, 造成表示趋同, 削弱节点的表达能力.为此, 本文设计融合增强的状态编码器(FUSE)模块, 联合建模图结构信息与文本语义信息, 提升表示的完整性与区分性.

FUSE模块首先利用文本编码器对题目与概念文本进行上下文增强编码, 获得更具语义表达力的嵌入表示.然后, 通过图编码器提取题目与概念节点之间的结构依赖关系, 获得融合语义和结构信息的嵌入表示.最后, 引入注意力门控方法, 有效融合结构信息与语义信息, 使节点特征在保留结构感知能力的同时增强语义判别性, 缓解信息传播过程中的表示退化问题.拼接融合后的特征与当前答题反应的嵌入表示, 与历史答题记录(包括过往题目、对应概念及答题反应)构成序列结合, 利用自注意力机制建模全局依赖关系, 并通过平均池化提炼关键信息, 最终生成当前时刻的状态表示.

FUSE模块为强化学习中的状态建模提供稳定、丰富的表示基础, 有助于提升选择算法的整体性能和鲁棒性.

2.1.1 文本编码器

现有一部分基于深度学习的CAT仅以题目或概念的ID作为节点输入, 并通过GNNs建模节点间的关系结构.这类方法由于初始特征表达有限, 且图神经网络在多层聚合中容易出现过平滑现象, 往往导致题目和概念表示的区分性不足.在现实场景中, 概念和题目包含丰富的文本描述信息, 对于理解题目考查的知识范围具有重要意义.此外, 先序概念是理解题目的认知基础并为建立不同题目之间的语义关联提供高价值的数据.例如:概念Types, Naming and Estimating本身含义宽泛, 语义较模糊.通过引入其先序概念, 如Angles和Geometry and Measure, 可进一步明确Types, Naming and Estimating的具体含义和应用范围, 提高表示的表达力与可判别性.

为此, 本文充分利用题目、概念及其先序概念的文本信息, 结合预训练语言模型(PLM)在文本处理上的强大优势, 挖掘题目和概念在文本层面的深层次语义特征, 提升题目和概念表示的区分性与表达能力.这一设计不仅弥补现有CAT在文本信息利用上的不足, 也为后续选题策略提供精准的知识表示基础.

在对题目的文本信息进行嵌入时, 将题目自身的文本描述信息以及题目关联的概念集合对应的文本描述信息作为输入, 引导PLM理解题目依赖的知识背景, 生成更具语义表达力的表示.

为了进一步提升题目的语义表示, 结合题目关联概念对应的先序概念的文本信息, 完善题目所需的认知基础.

基于上述讨论, 题目q和概念c的文本嵌入为:

$\boldsymbol{e}_{q}^{\mathrm{PLM}}=\operatorname{PLM}\left(\boldsymbol{s}_{q} \oplus O_{q}\right), \boldsymbol{e}_{c}^{\mathrm{PLM}}=\operatorname{PLM}\left(\boldsymbol{s}_{c} \oplus O_{c}\right) .$

其中:PLM(· )表示预训练语言模型, 本文中指text- embedding-ada- 002模型; 􀱇表示拼接操作; s_q表示题目q的文本描述, s_c表示概念c的文本描述;

O_q= ⊕qi∈Cqsqi, O_c= ⊕ci∈Pcsci,

C_q表示题目q关联的概念集合, P_c表示概念c关联的先序概念集合.

由于PLM输出的嵌入维度较高, 难以直接应用于CAT, 本文使用多层感知机(Multi-layer Perceptron, MLP)将其映射至低维空间, 最终得到题目、概念的文本表示:

etxtq=MLP(ePLMq), etxtc=MLP(ePLMc).

2.1.2 图编码器

可通过GNNs建模题目与概念之间的结构关系.然而, 不同概念在同一题目中的重要程度不同, 传统的图卷积网络无法体现这种差异.因此, 本文采用图注意力网络分别对题目-概念图和概念先序图进行编码.具体而言, 概念c的结构表示来自两个图, 即在概念先序图中的聚合表示 eprec和在题目-概念图中的聚合表示 ebipc, 具体公式如下:

eprec= ∑c'∈Pcα _{c, c'}W^pre ec'(0), ebipc= ∑q'∈Cqα _{c, q'}W^bip eq'(0),

其中, ec'(0)表示概念c'的初始嵌入, eq'(0)表示题目q'的初始嵌入, W^pre、W^bip表示可学习的矩阵,

α _{c, c'}=softmax_c'(att_pre([W^pre ec(0), W^pre ec'(0)])), c'∈ Pc_, (1)

表示概念c和概念c'之间的注意力权重,

α _{c, q'}=softmax_q'(att_bip([W^bip ec(0), W^bip eq'(0)])), q'∈ Cc_, (2)

表示概念c与题目q'之间的注意力权重, att(· )表示带有LeakyReLU激活功能的线性层, C_c表示概念c关联的题目集合.由于概念在不同图结构中的贡献不尽相同, 此处使用全局注意力机制融合两个图中概念的聚合表示, 得到最终的结构编码:

$\begin{array}{l} \mu_{c}^{\text {pre }}=\left(\boldsymbol{p}^{\text {pre }}\right)^{\mathrm{T}} \tanh \left(\boldsymbol{W}^{\text {pre }} \boldsymbol{e}_{c}^{\text {pre }}+\boldsymbol{b}^{\text {pre }}\right), \\ \mu_{c}^{\text {bip }}=\left(\boldsymbol{p}^{\text {bip }}\right)^{\mathrm{T}} \tanh \left(\boldsymbol{W}^{\text {bip }} \boldsymbol{e}_{c}^{\text {bip }}+\boldsymbol{b}^{\text {bip }}\right), \end{array}$

其中p^pre、 p^bip表示可学习的投影向量.由此概念c的图结构信息表示为:

egraphc=μpreceprec+μbipcebipc.

题目q的结构表示可由其关联的概念聚合得到, 即

$\boldsymbol{e}_{q}^{\text {graph }}=\sum_{c^{\prime} \in C_{q}} \omega_{q, c^{\prime}} \boldsymbol{W}^{\text {bip }} \boldsymbol{e}_{c^{\prime}}^{\text {graph }}, $

类似于式(1)和式(2)的方法得到ω _{q, c'}.

2.1.3 注意力门控融合方法

题目和概念的语义表示与结构表示分别从节点本体特征与邻居关系中建模, 但两类表示在特征分布和表达方式上存在明显差异, 若直接拼接可能导致信息冲突或失真.为此, 本文设计注意力门控融合方法.考虑到相比常见的点积注意力机制, 加性注意力机制在低维度、短序列的情况下效果更稳定, 同时能捕捉融合对象之间的非线性关系, 本文基于加性注意力机制自适应地融合语义与结构信息, 提升节点表示的完整性与判别性.考虑到SiLU激活函数平滑可导, 并可有效缓解梯度消失的问题, 此处采用SiLU作为激活函数.具体地, 对于题目的文本表示 etxtq和结构表示 egraphq, 首先通过各自的线性变换, 分别映射到一个共享的隐空间, 即

$\begin{array}{l} \hat{\boldsymbol{e}}_{q}^{\mathrm{txt}}=\operatorname{SiLU}\left(\boldsymbol{W}^{\mathrm{txt}} \boldsymbol{e}_{q}^{\mathrm{txt}}+\boldsymbol{b}^{\mathrm{txt}}\right), \\ \hat{\boldsymbol{e}}_{q}^{\text {graph }}=\operatorname{SiLU}\left(\boldsymbol{W}^{\text {graph }} \boldsymbol{e}_{q}^{\text {graph }}+\boldsymbol{b}^{\text {graph }}\right), \end{array}$

其中, W^txt、W^graph表示可学习投影矩阵, b^txt、b^graph表示偏置项.

随后, 采用加性注意力机制, 计算文本表示与结构表示之间的融合权重.题目q的文本表示与结构表示在隐空间中的匹配程度为:

η _q=sigmoid(v^Ttanh(WFusetxte^txtq+WFusegraphe^graphq)),

其中, WFusetxt、 WFusegraph表示可学习的参数矩阵, v表示可学习的投影向量.此处采用sigmoid激活函数, 将匹配程度η _q规范化到(0, 1)区间.最终, 题目q的融合表示如下所示:

$\boldsymbol{e}_{q}=\eta_{q} \hat{\boldsymbol{e}}_{q}^{\mathrm{txt}}+\left(1-\eta_{q}\right) \hat{\boldsymbol{e}}_{q}^{\mathrm{graph}}$

类似可得到概念c的融合表示e_c.

2.1.4 状态编码器

在CAT过程中, 学生的答题行为随着时间动态变化, 因此构建能反映学生当前知识状态与作答轨迹的强化学习环境状态表示, 是实现有效选题的关键.在时间步t-1, 学生的响应记录可表示为(q_t-1, c_t-1, y_t-1), 其中, q_t-1表示学生在t-1时刻回答的题目, c_t-1表示题目q_t-1包含概念的整体表示(在下文中表示所有概念表示的平均), y_t-1表示学生对题目q_t-1的回答, 若回答正确为1, 否则为0.为了构建时间步t的环境状态表示, TECAT基于学生在前t-1个时间步的交互历史{(q_t', c_t', y_t') }t'=1t-1提取对应的嵌入序列, 并建模其行为轨迹.每条记录的嵌入表示为:

$\boldsymbol{e}^{t^{\prime}}=\left(\boldsymbol{e}_{q}^{t^{\prime}} \oplus \boldsymbol{e}_{c}^{t^{\prime}} \oplus \boldsymbol{e}_{y}^{t^{\prime}}\right), $

其中, eqt'表示第t'条记录中题目q的表示, ect'表示第t'条记录中概念c的表示,

eyt'=W_y× r_y,

表示答题结果的嵌入, r_y表示学生回答y的独热编码, W_y表示可学习的投影矩阵.

将历史的回答记录嵌入进行拼接后, 得到时刻t对应的响应记录嵌入矩阵:

E_t=[e¹, e², …, e^t-1]^T.

考虑到不同响应记录包含的信息量不同, 使用多头自注意力机制捕捉关键行为信号.具体地, 首先可得到E_t对应的查询矩阵

Q_t=E_t WtQ,

键矩阵

K_t=E_t WtK,

和值矩阵

V_t=E_t WtV.

因此, 第t个注意力头

$\boldsymbol{h}^{t}=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{t} \boldsymbol{K}_{t}^{\mathrm{T}}}{\sqrt{d_{h}}}\right) \boldsymbol{V}_{t}, $

其中, WtQ、 WtK、 WtV表示第t个注意力头对应的可学习投影矩阵, dh表示缩放因子, 防止内积结果过大导致梯度不稳定.

拼接所有注意力头的输出, 并通过线性变换整合, 获得自注意力编码的历史响应记录嵌入矩阵:

E~t=⊕t=1hhtWO,

其中, W^O表示输出投影矩阵, h表示注意力头的数量.

为了进一步提升稳定性与表达能力, 引入残差连接与层归一操作, 并使用失活层防止过拟合.

将注意力机制的结果输入平均池化层, 使用平均池化聚合序列维度, 得到第t步的环境状态向量s_t, 该状态向量作为多目标强化学习选题策略的输入, 用于决策下一题的选择.

在CAT场景中, 学生的学习记录被划分为候选问题集和元问题集.算法从候选问题集上选择题目, 旨在以最少的题目使学生的知识状态尽可能接近完成元问题集后的水平.此外, 所选题目的多样性和新颖性也成为现有CAT考察的重要评价指标.为了提升题目选择策略的综合性能, TECAT在强化学习过程中引入3个优化目标:质量、多样性、新颖性, 分别衡量题目对能力估计的准确度、知识覆盖的广度、题目的重叠度.

对于质量目标, 现有CAT将候选题目的质量高低视为学生学习该题后, 方法对元问题集上题目预测准确率的提升度.然而, 当算法预测本身存在误差时, 无法保证选题的最优性.针对该问题, 本文通过认知诊断模型评估学生在完成元问题题集后的知识状态, 并将候选题目与该状态的接近度作为质量指标, 同时引入基于能力估计误差变化的奖励机制, 使题目选择更精准.

首先利用完整数据集训练CDM(本文中主要考虑IRT^[9]和NCD^[21]), 获得学生的能力估计值θ ^* , 并作为学生真实能力的近似值.在CAT流程中, 每次选题后方法都会基于新的作答记录更新能力估计值.为了衡量当前题目对能力估计的实际贡献, 对比更新前后的估计值与θ ^* 差异的变化.如果学生在第t步答题后的能力估计θ _t相比上一步的估计θ _t-1更接近θ ^* , 即误差缩小, 说明当前题目在更新中带来更有效的信息, 可帮助方法更准确地逼近学生真实能力; 反之, 说明该题目对估计无益甚至带来偏差.因此, 当CDM得到的能力估计值为变量时, 质量奖励函数为:

r_qua= θt-1-θ*- θt-θ*.

当能力估计值为向量时, 质量奖励函数为:

r_qua= θt-1-θ* 2- θt-θ* 2.

相比传统基于预测准确率变化的方式, 此方法直接度量能力估计优化的幅度, 减少对偶然性作答行为(如猜测、粗心)的敏感性, 能更稳定地指导策略向真实能力建模目标收敛.

针对多样性奖励r_div, 若当前题目涉及新的概念, 则多样性奖励奖励值为1, 否则为0, 旨在鼓励系统覆盖更广泛的知识维度.新颖性奖励r_nov通过限制高频题目的重复使用以提升测试内容的新颖性.在训练集上选取出现频率最低的前10%题目作为低频题^[22], 当所选题目属于此类时, 赋予奖励值1, 否则为0.

将上述奖励项组合, CAT过程可建模为一个多目标强化学习(MORL)框架下的马尔可夫决策过程, 目标函数如下:

$\begin{aligned} \max _{\pi} J= & \max _{\pi} \frac{1}{n} \sum_{i=1}^{n}\left[\boldsymbol{w}^{\mathrm{T}}\left(\sum_{t^{\prime}=1}^{T} \gamma_{t^{\prime}} r\left(\boldsymbol{s}_{t^{\prime}}^{i}, q_{t^{\prime}}^{i}\right)\right)\right]= \\ & \max _{\pi} E_{i \sim \pi}\left[\boldsymbol{w}^{\mathrm{T}}\left(\sum_{t^{\prime}=1}^{T} \gamma_{t^{\prime}} r\left(\boldsymbol{s}_{t^{\prime}}^{i}, q_{t^{\prime}}^{i}\right)\right)\right], \end{aligned}$ (3)

其中, π 表示选题策略函数, n表示学生数量, st'i表示第i位学生在第t'步所处的环境状态, qt'i表示选题策略函数π 在时刻t'为学生i选择的题目, T表示总测试步长,

r(st'i, qt'i)= [r_qua, r_div, r_nov] ,

表示对应的奖励向量, 权重向量w∈ R³表示可学习的目标权重向量, 其中每个分量分别对应质量、多样性和新颖性奖励的贡献权重, γ _t'表示折扣因子, 用于平衡短期与长期的奖励贡献.

在FUSE模块生成状态向量之后, TECAT使用Actor-Critic作为题目选择的策略推荐器.策略网络由一个全连接层(参数为ϕ _π )构成, 根据当前状态s_t输出题目分布π (q_t|s_t; ϕ _π ) , 从中采样获得当前选择的题目q_t.同时, 价值网络(参数为ϕ _v )由一个全连接层构成, 用于评估当前状态在3个目标维度下的期望回报, 输出形式为:

V(s_t; ϕ _v)=[ V(st)qua, V(st)div, V(st)nov].

为了提升策略学习稳定性, TECAT使用多目标PPO(Proximal Policy Optimization)^[23]对策略进行优化.具体地, 本文利用优势函数刻画当前选题行为相比基准策略的优势程度, 并定义为从当前步长t到总测试步长T的实际累计回报与当前状态价值预测之间差值:

A(s_t, q_t)= ∑t'=tTγ _t'-tr(s_t', q_t')-V(s_t; ϕ _v).

在PPO中, 策略网络的优化采用裁剪概率比值的方式构建, 损失函数形式化表示如下:

$\begin{aligned} L_{1}= & -E_{\tau \sim \pi_{\text {old }}}\left[\operatorname { min } \left\{\frac{\pi\left(q_{t} \mid \boldsymbol{s}_{t}\right)}{\pi_{\text {old }}\left(q_{t} \mid \boldsymbol{s}_{t}\right)} \boldsymbol{w}^{\mathrm{T}} A\left(\boldsymbol{s}_{t}, q_{t}\right), \right.\right. \\ & \left.\left.\operatorname{Clip}\left(\frac{\pi\left(q_{t} \mid \boldsymbol{s}_{t}\right)}{\pi_{\text {old }}\left(q_{t} \mid \boldsymbol{s}_{t}\right)}, 1-\epsilon, 1+\epsilon\right) \boldsymbol{w}^{\mathrm{T}} A\left(\boldsymbol{s}_{t}, q_{t}\right)\right\}\right], \end{aligned}$

其中, π(qt|st)πold(qt|st)表示当前策略与旧策略的概率比, ∊ 表示剪切阈值.

同时, 为了提升回报估计的准确性, 价值网络的损失函数设计为预测值与实际累计回报之间的加权均方差:

$L_{2}=\frac{1}{2}\left\|\boldsymbol{w}^{\mathrm{T}}\left(\sum_{t^{\prime}=t}^{T} \gamma_{t^{\prime}-t} r\left(s_{t^{\prime}}, q_{t^{\prime}}\right)-V\left(s_{t} ; \phi_{v}\right)\right)\right\|_{2}^{2} .$

最终的损失函数是两个损失项的加权和, 二者之间的权衡由超参数μ 控制, 即

L=L₁+μ L₂.

本文在Eedi^[24]、Junyi^[25]这2个真实教育数据集上评估TECAT.Eedi数据集来源于2018年~2020年在线教育平台Eedi的学生作答日志.Junyi 数据集收集2018年~2019年Junyi Academy在线学习平台的学生练习记录.本文过滤交互序列长度少于40的学生记录, 处理后数据集的统计信息如表1所示.

表1

Table 1

表1(Table 1)

表1 数据集统计信息 Table 1 Dataset statistics 指标 Eedi Junyi 学生数 4918 20395 题目数 948 2835 概念数 86 40 作答记录数 1382727 2537898 平均每位学生作答记录数 281 124 平均每题关联概念数 4.0 1.0 正确作答比例 0.69 0.62

表1 数据集统计信息 Table 1 Dataset statistics

本文以学生为单位, 采用十折交叉验证, 将数据集按80%、10%、10%划分为训练集、测试集和验证集.同时, 进一步划分每位学生在3类数据集上的答题数据, 80%作为候选数据集用于选题, 20%作为元数据集用于评估.为了防止过拟合, 针对每位学生在不同实验阶段均随机划分候选数据集与元数据集.

实验中设置奖励权重w= [1, 1, 1], 以此保证质量、多样性与新颖性目标具有相同权重.折扣因子γ =0.5.采用Adam(Adaptive Moment Estimation)优化器^[26], 批次大小为128, 嵌入维度为128, 学习率为0.001.强化学习中的探索率∊ 设为 0.2, 损失平衡因子μ 设为1.由于只有Junyi数据集包含明确的概念先序关系, 为了保证处理一致性, 本文在两个数据集上均采用RCD(Relation Map Driven Cognitive Diagnosis)^[27]构建概念先序图.

本文采用准确率、多样性和新颖性这3类指标评价方法性能.

准确率包括分类准确率(Accuracy, ACC)与ROC(Receiver Operating Characteristic)曲线下面积(Area Under the Curve, AUC)^[28].CAT领域中用于评价算法准确率的Ground-Truth 为学生在元数据集上的真实作答结果.

多样性评价指标由覆盖率量化, 形式化定义如下:

$Cov=\frac{\left|K \cap K_{T}\right|}{|K|}, $

其中, K表示概念集合, K_T表示在第T步之前所选问题覆盖的概念集合.Cov值越大性能越优.

新颖性指标由平均重叠率量化, 该指标考察目标学生集合上推荐问题集合之间的平均重叠程度, 形式化定义如下:

$\text { Overlap }=\frac{2}{|U|(|U|-1)} \sum_{\substack{i \in U \\ j \in U \\ i \neq j}}\left|R_{i} \cap R_{j}\right| \text {, }$

其中, U表示学生集合, R_i、R_j表示学生i、 j测试的问题集合.Overlap值越小性能越优.

为了对比TECAT的有效性, 本文选取一些具有代表性的基线方法, 应用于如下两种CDM:传统的IRT和基于深度学习的NeuralCDM(NCD).这些方法均可用于CAT场景中的题目选择策略, 具体说明如下.

1)静态方法.基于启发式和不可学习的规则, 策略固定, 不依赖训练过程.

(1)Random.随机选题策略, 作为衡量其它方法性能提升的基线方法.

(2)MFI^[7].选择Fisher信息量最大的题目, 仅适用于IRT.

(3)KLI^[8].选择具有最大Kullback-Leibler信息移动平均值的题目, 仅适用于IRT.

(4)MAAT^[10].基于主动学习的方法, 计算每道题目引起的预期模型变化, 衡量其信息量, 不依赖特定的CDM.

2)可学习的方法.数据驱动方法, 能从大规模数据中进行学习, 策略具有可训练性.

(1)GMOCAT^[5].基于图结构的多目标强化学习方法, 采用Actor-Critic框架同时优化题目质量、多样性与新颖性.

(2)BOBCAT^[11].CAT中首个双层优化框架, 通过近似梯度估计学习数据驱动的题目选择策略.

(3)NCAT^[13].基于强化学习的方法, 采用融合注意力机制的DQN实现题目选择.

(4)BECAT(Bounded Ability Estimation Frame-work for CAT)^[29].有界能力估计框架, 将CAT问题建模为子集选择问题, 并以全题库能力估计的理论近似为目标, 结合期望梯度差的贪心策略实现能力估计.

(5)UATS^[30].统一的自适应测验方法, 引入层次化结构搜索机制, 在CAT框架下实现高效的题目选择与能力估计优化.

本文在Eedi、Junyi这2个真实教育数据集上, 评估所有方法性能.具体而言, 在每位学生的候选数据集上模拟CAT测试过程, 根据当前能力估计动态选择题目, 并在学生完成作答后实时更新其能力表示.为了确保公平性, 所有方法均采用统一的CDM.完成CAT流程后, 在该学生的元数据集上进行答题结果预测, 以此评估所学能力表示的泛化性和可靠性.在评估过程中, CDM根据CAT流程结束时所得的学生能力表示, 预测其对元数据集上每道题的作答正确概率, Ground-Truth为学生在元数据集上的真实作答结果.

各方法在2个数据集上的准确率指标如表2和表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值, -表示该方法无法应用于NCD, T表示测试步长.由表可知, TECAT在不同认知诊断模型(IRT与NCD)和不同测试步数下均取得最优值.在AUC指标上, TECAT的表现优于对比方法, 反映出更强的判别能力和能力估计质量.在ACC指标上, TECAT同样保持较高的一致性与稳定性.

表2

Table 2

表2(Table 2)

表2 各方法在2个数据集上的AUC指标 Table 2 AUC results of different methods on 2 datasets 方法 Eedi Junyi IRT NCD IRT NCD T=10/% T=20/% T=10/% T=20/% T=10/% T=20/% T=10/% T=20/% Random 69.73 71.98 70.24 72.98 76.99 77.44 77.06 77.47 MFI 70.41 72.66 - - 77.48 78.16 - - KLI 70.29 72.60 - - 77.43 78.14 - - MAAT 70.90 73.19 71.03 73.75 77.39 78.21 77.53 78.40 BOBCAT 70.50 73.24 71.44 74.51 78.70 79.17 78.21 79.46 NCAT 70.78 73.32 71.45 74.55 78.87 79.13 78.41 79.56 GMOCAT 73.23 75.30 73.57 75.49 79.44 80.19 79.60 80.09 BECAT 70.88 73.10 71.54 74.11 78.69 79.32 78.23 79.66 UATS 73.11 73.84 73.31 74.22 78.45 79.47 78.56 79.80 TECAT 74.25 75.76 74.47 75.93 79.98 81.04 80.36 81.20

表2 各方法在2个数据集上的AUC指标 Table 2 AUC results of different methods on 2 datasets

表3

Table 3

表3(Table 3)

表3 各方法在2个数据集上的ACC指标 Table 3 ACC results of different methods on 2 datasets 方法 Eedi Junyi IRT NCD IRT NCD T=10/% T=20/% T=10/% T=20/% T=10/% T=20/% T=10/% T=20/% Random 64.36 65.91 64.83 66.70 73.07 73.67 74.00 74.36 MFI 64.63 65.92 - - 73.34 73.98 - - KLI 64.44 65.85 - - 73.33 73.97 - - MAAT 64.38 66.15 64.58 66.71 74.51 75.48 74.88 75.38 BOBCAT 64.90 66.97 65.62 67.69 75.66 76.51 75.21 76.45 NCAT 64.97 66.92 65.59 67.84 76.05 75.70 75.47 76.40 GMOCAT 66.81 68.55 67.06 69.01 75.07 76.23 75.60 76.72 BECAT 64.72 66.51 65.23 67.64 74.61 76.52 74.98 76.02 UATS 66.76 67.52 65.36 67.71 75.74 76.63 75.70 76.62 TECAT 67.50 69.20 67.85 69.36 76.30 77.75 76.80 77.23

表3 各方法在2个数据集上的ACC指标 Table 3 ACC results of different methods on 2 datasets

在Eedi数据集上, 测试步长为20时, 各方法的推荐多样性和新颖性指标如表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, 即使未对TECAT的多目标贡献权重w进行专门调节, 仅采用w=[1, 1, 1]的默认设置, TECAT仍能在这两个指标上取得整体最优.

表4

Table 4

表4(Table 4)

表4 各方法在Eedi数据集上第20步时的多样性和新颖性指标 Table 4 Diversity and novelty of different methods at the 20th step on Eedi dataset 方法 IRT NCD Cov/% Overlap Cov/% Overlap Random 50.12 3.19 50.12 3.35 MFI 51.95 4.64 - - KLI 43.94 4.81 - - MAAT 60.96 12.36 60.55 13.08 BOBCAT 49.13 12.31 50.00 14.63 NCAT 48.22 6.41 48.20 6.13 GMOCAT 71.76 3.32 70.76 2.91 BECAT 49.81 13.13 49.79 13.95 UATS 49.55 14.02 49.85 15.33 TECAT 71.84 3.21 70.99 2.77

表4 各方法在Eedi数据集上第20步时的多样性和新颖性指标 Table 4 Diversity and novelty of different methods at the 20th step on Eedi dataset

值得注意的是, 随着测试步长的增大, TECAT在准确率指标上的提升幅度变小.这可能是因为, 在有限的题目集合下, TECAT在初期倾向于选择信息量更大的题目, 从而更准确地评估用户的真实知识水平.然而, 这也意味着剩余题目的信息量相对有限, 导致后续的指标值提升速度相对缓慢.在理论上, 当题量较多时, 其它方法有可能超越TECAT.但是, 在CAT强调以更少题目更精准评估用户知识水平的背景下, 这种极端情况通常不会发生.

为了深入理解各模块对TECAT性能的影响, 通过消融实验, 重点分析语义信息融入、题目质量奖励设计、多目标优化中各环节的贡献.

首先, 在Eedi数据集上, 分别对TECAT中的文本信息和质量奖励进行消融实验.设计如下两种方法.

1)TECAT-T.去除TECAT中的文本信息, 仅利用图结构进行建模.

2)TECAT-Q.在题目选择中采用传统的题目奖励定义方法(即考虑模型学习目标题目后对元问题集上题目预测准确率的提升度).

具体ACC、AUC指标如图2所示.由图可见, 无论是去除文本信息还是仅考虑传统的质量目标奖励方法, ACC和AUC指标均出现不同程度的下降.这表明题目与概念文本信息以及改进的质量目标奖励对提升TECAT的预测准确性和稳健性均具有重要作用, 其中, 质量奖励对TECAT效果影响最大.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各方法在Eedi数据集上第20步时的消融实验结果Fig.2 Ablation experiment results of different methods at the 20th step on Eedi dataset

为了进一步验证TECAT中文本表示的有效性, 对不同GAT层数下的概念嵌入进行UMAP(Uniform Manifold Approximation and Projection)^[31]可视化.在不引入文本表示和引入文本表示下的概念嵌入分布如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 Eedi数据集上IRT下GAT概念嵌入与文本增强GAT概念嵌入的UMAP可视化结果Fig.3 UMAP visualization results of GAT concept embeddings and text-augmented GAT concept embeddings with IRT model on Eedi dataset

由图3发现, 仅使用图结构信息时, 随着GAT层数的增加, 概念嵌入逐渐趋于聚集, 呈现明显的过平滑现象, 导致不同概念之间的表示差异减小, 区分度下降.在引入文本表示后, 嵌入分布更分散, 概念间边界更清晰, 过平滑现象得到有效缓解.该结果表明, 将文本语义与图结构信息进行融合, 有助于缓解过平滑现象, 并在一定程度上增强概念表示的区分性, 由此说明文本信息的融入在提升概念嵌入质量方面具有积极作用.

同样在Eedi数据集上, 分别对多目标优化函数(式(3))中的3个目标奖励进行消融实验, 结果如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 Eedi数据集上IRT下第20步时的多目标奖励消融实验结果 Table 5 Ablation experiment results of multi-objective reward at the 20th step with IRT model on Eedi dataset 方法 AUC/% ACC/% Cov/% Overlap w/o质量奖励 75.29 68.66 71.83 3.12 w/o多样性奖励 75.49 68.69 51.90 3.37 w/o新颖性奖励 75.87 69.30 76.10 3.76 TECAT 75.76 69.20 71.84 3.21

表5 Eedi数据集上IRT下第20步时的多目标奖励消融实验结果 Table 5 Ablation experiment results of multi-objective reward at the 20th step with IRT model on Eedi dataset

由表5可见, 不同奖励类型对推荐指标的影响存在明显差异.质量奖励对推荐准确性的影响相对更大(以AUC和ACC衡量), 对多样性和新颖性的影响相对有限.多样性奖励在提升推荐准确性方面居次, 对推荐多样性的提升效果最突出, 但对新颖性的提升起反作用.新颖性奖励对推荐准确性起反作用, 对推荐新颖性具有明显的促进作用.

为了揭示TECAT中各参数对性能的影响及可能存在的相互制约, 结合参数敏感性与参数冲突展开研究.

首先, 对多目标优化函数(式(3))中的长短期奖励贡献折扣因子γ 和多目标贡献权重w进行参数敏感性分析, 结果如表6和表7所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 Eedi数据集上IRT下第20步时的w敏感性分析 Table 6 Sensitivity analysis of w at the 20th step with IRT model on Eedi dataset 目标 w AUC/% ACC/% Cov/% Overlap 质量目标 0 0.25 0.50 0.75 1.00 75.43 75.57 75.65 75.57 75.43 68.50 68.84 68.89 69.08 69.09 70.86 71.49 71.13 70.93 70.89 3.10 3.09 3.28 3.15 3.21 多样性目标 0 0.25 0.50 0.75 1.00 75.74 75.56 75.57 75.62 75.6 69.02 68.70 68.89 68.92 68.89 53.37 69.55 71.13 72.48 73.52 2.52 3.20 3.28 3.20 3.27 新颖性目标 0 0.25 0.50 0.75 1.00 75.65 75.67 75.57 75.36 75.44 69.00 68.87 68.89 68.68 68.61 75.35 73.71 71.13 65.21 71.22 3.67 3.31 3.28 3.02 3.18

表6 Eedi数据集上IRT下第20步时的w敏感性分析 Table 6 Sensitivity analysis of w at the 20th step with IRT model on Eedi dataset

表7

Table 7

表7(Table 7)

表7 Eedi数据集上IRT下第20步时的γ 敏感性分析 Table 7 Sensitivity analysis of γ at the 20th step with IRT model on Eedi dataset γ AUC/% ACC/% Cov/% Overlap 0 75.30 68.58 72.27 2.74 0.25 75.58 68.90 70.89 3.10 0.50 75.76 69.20 71.84 3.21 0.75 75.52 68.65 66.18 2.90 1.00 75.67 69.00 67.84 3.14

表7 Eedi数据集上IRT下第20步时的γ 敏感性分析 Table 7 Sensitivity analysis of γ at the 20th step with IRT model on Eedi dataset

在针对多目标贡献权重w参数的敏感性分析中, 调节其中一个奖励权重, 其余两个权重固定为0.5.由表6可见, 质量目标对推荐准确性和推荐新颖性的影响相对更大.具体地, 随着相应权重的增加, 推荐准确性逐渐提升, 推荐新颖性减小, 推荐多样性变化不大.相比之下, 多样性目标和新颖性目标对推荐准确性影响较小, 多样性目标对推荐多样性影响较大, 新颖性目标对推荐新颖性影响较大.进一步观察发现, 当优化特定的奖励目标时, 应确保与该目标对应的奖励因素权重高于其余两个因素的对应权重.例如:提升推荐准确性需要提高质量因素的相对权重; 若关注推荐多样性或新颖性, 分别需要提高多样性因素或新颖性因素的相对权重.

在针对折扣因子γ 的参数敏感性分析中, 当固定测试步长, γ 值越大(即更注重长期奖励), 算法的推荐准确性整体越好, 但是推荐多样性和新颖性都会下降.

下面对多目标优化函数中3个奖励目标的贡献权重进行冲突分析.具体地, 将w中3个优化目标的贡献权重进行归一化设置, 分析在不同的贡献权重组合下, TECAT的准确性、多样性和新颖性指标, 效果如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Eedi数据上IRT下第20步时的多目标奖励权重冲突分析Fig.4 Conflict analysis of multi-objective reward weights at the 20th step with IRT model on Eedi dataset

由图4可见, 当忽略新颖性优化目标时, 有效平衡多样性目标和质量目标贡献, 推荐准确性可取得最优效果.仅优化多样性目标或新颖性目标时, 相应指标可达到最优, 但准确性显著下降.这说明3个优化目标之间确实存在折衷关系, 最终权重的设计需根据实际应用场景和用户偏好进行选择.基于上述实验结果, 若以准确性为唯一评价指标时, 建议忽略新颖性优化目标.