任务的输入包括一个长度为 L的主导背景

L={l₁, l₂, ···, lL},

表示故事开头的第一句话, l_i 表示主导背景 L 的第 i 个字符.一个长度为 E的事件序列,

E={e₁, e₂, ···, eE},

表示接下来会发生的故事情节, e_j 表示事件序列 E 的第 j 个事件.

任务的输出是一段连贯的故事文本

S={s₁, s₂, ···, sS},

s_k 表示故事 S 的第 k 个句子.

为了提高大规模语言模型在事件驱动故事生成任务下的故事生成能力, 本文参考人类作家写作故事时的思考过程, 提出基于三幕结构思维链和语义自洽的事件驱动故事生成方法, 框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文方法框架Fig.1 Framework of the proposed method

本文方法由三部分组成.

1)在写作故事前, 使用k-means聚类从数据集上选取可作为示例的文本.

2)在写作故事时, 通过三幕结构思维链模板将示例转换成思维链的形式, 合并思维链提示和任务输入, 作为大规模语言模型的输入.

3)在写作故事后, 让大规模语言模型生成多个候选故事, 使用语义自洽方法对这些故事进行采样, 选出最佳答案.

本文定义选取的示例文本集合如下所示:

D={( L1d, E1d, S1d), ( L2d, E2d, S2d), ···, ( LDd, EDd, SDd)},

其中, Lnd、 End、 Snd分别表示示例集合 D 中第 n 个示例的主导背景、事件序列及对应的故事文本.本文使用

I={D̂, L, E}

表示大规模语言模型的输入, 其中

$\begin{aligned} \widehat{D}= & \left\{\left(L_{1}^{d}, E_{1}^{d}, R_{1}^{d}, S_{1}^{d}\right), \left(L_{2}^{d}, E_{2}^{d}, R_{2}^{d}, S_{2}^{d}\right), \cdots, \right. \\ & \left.\left(L_{|D|}^{d}, E_{|D|}^{d}, R_{|D|}^{d}, S_{|D|}^{d}\right)\right\} \end{aligned}$

表示思维链提示, Rnd表示思维链提示$\widehat{D}$中第 n 个示例对应的中间推理过程.使用

C={S1c, S2c, ···, S|C|c}

表示大模型生成的多个候选故事, 其中 Smc表示大模型的第 m 个生成结果.

受文献[19]的启发, 本文使用k-means聚类从数据集上选取示例文本, 最终得到一个示例集合D.具体步骤如下:首先, 使用Sentence-BERT^[20]将数据集上每个故事文本编码成向量表示.然后, 通过k-means聚类处理这些文本向量, 分成 D个簇.对于每个簇中的文本向量, 计算它们与簇中心之间的距离, 从中选出与簇中心距离最近的一个, 将该文本向量对应的主导背景、事件序列和故事文本加入示例集合D 中.

在选取好示例文本之后, 通过三幕结构思维链模板将示例文本转变为思维链提示.与上下文学习< 问题, 答案> 形式的示例不同, 思维链的示例还包括得出最终答案前的中间推理过程, 即

< 问题, 逻辑依据(Rationale), 答案> .

本文从叙事小说中常用的三幕结构模型得到启发, 提出基于三幕结构模型的思维链提示模板, 启发大规模语言模型在生成故事时参照三幕结构模型划分故事结构.具体地, 将故事生成任务分解成生成故事的开端(第一幕)、冲突(第二幕)和结局(第三幕), 每个部分的故事情节作为推理出完整故事文本的逻辑依据.图2(a)为本文提出的三幕结构思维链模板, (b)为翻译成的中文版本.其中, en, jd表示 End的第 j 个事件, sn, kd表示 Snd的第 k个句子.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 三幕结构思维链模板Fig.2 Three-act structural chain-of-thought template

给定示例集合 D 中第 n 个示例的主导背景 Lnd和事件序列 End, 三维结构思维链模板首先划分事件序列, 以 E=4为例, 本文按照1:2:1的比例将事件序列划分成三幕, 即事件 e1d构成故事开端, 事件 e2d和 e3d构成故事冲突, 事件 e4d构成故事结局.然后, 思维链模板将会提示大模型根据划分好的事件分别展开故事各部分的情节.此外, 为了防止大模型生成的故事情节与主导背景矛盾, 在生成故事的开端, 思维链模板提示模型生成的故事需要与主导背景相关.最后, 在思维链模板的结尾添加“ Combining the setup, confrontation, and resolution, the story is:” 作为开头的结论, 将生成的故事句子拼接后作为最终答案.

本文将构造三幕结构思维链的这一过程表示为函数 T.在形式上构造大模型输入的过程可表示为

$I=\{\widehat{D}, L, E\}, \widehat{D}=T(D) $

相比机器自动生成故事, 作家写作故事时的一个突出特点是会对故事的内容进行深思熟虑, 本文对大规模语言模型生成的多个结果进行采样以模拟这个过程.从大规模语言模型的生成结果中获取一个候选故事集合 C, C 中包括多个由不同推理路径产生的故事, 即C=LLM(I), 其中LLM(· )表示使用大规模语言模型根据输入生成候选故事集合的过程.

下面对候选故事进行集成, 将在语义上相近的两个文本归为一类, 选出在语义上较一致的一类文本进行后续处理.本文通过层次聚类算法实现从语义角度对不同故事进行投票的过程.最后, 包含有最多元素的簇表示最自洽的故事情节, 从这个簇中选出最终答案.

具体地, 使用 Sentence-BERT计算候选故事集合 C 中的每个故事 Smc、对应主导背景 L 和事件序列 E 的语义向量.再使用层次聚类方法处理集合 C 的每个故事向量, 将集合 C 分成 p 个簇, 即

R={C₁, C₂, ···, C_p}.

统计每个簇包含的元素数量, 从中选取具有最多元素的簇

C_q={ S1q, S2q, ···, SCqq}

(假设其编号为 q, q< p)进行下一步的处理, 其中 Stq表示簇C_q 中的第 t 个故事.对于簇中的每个故事 Stq, 使用Sentence-BERT将 Stq中的每个句子编码成语义向量, 再计算每个相邻句子之间的余弦相似度.对这些余弦相似度分数取均值, 作为该故事的连贯性分数.另外, 计算 Stq与主导背景 L 和事件序列 E 之间的余弦相似度作为故事的相关性分数.故事 Stq的连贯性分数如下所示:

Scor ecoq= 1Stq∑k=2Stqsim_k,

其中sim_k 表示第 k 个句子与前一个句子间的余弦相似度分数.故事 Stq的相关性分数如下所示:

Scor ereq= 1Stq∑k=1Stqsi mkLE,

其中si mkLE表示第 k 个句子与主导背景 L、事件序列 E 的余弦相似度分数.

最后, 综合连贯性分数和相关性分数, 从簇中选取一个分数最高的故事文本作为最终答案:

S=arg max Scor ecrq,

其中,

Scor ecrq=(1-λ )Scor ecoq+ λScorereq,

表示故事 Stq的综合分数, λ 表示可调节的比例参数, 本文将 λ 设为0.5.

语义自洽具体方法步骤如算法1所示.

算法1 语义自洽

输入 候选故事集合C, 主导背景L, 事件序列E, 聚类的簇的数量p

输出 单个故事S

初始化簇中元素数量统计数组cluster_size、相关性连贯性分数统计数组score_list.

拼接主导背景L和事件序列E, 得LE=L+E.

定义SBert(· )表示Sentence-BERT, AC(· )表示层次聚类算法, count(· )表示数量统计函数, append(· )表示元素添加函数, select(· )表示元素选择函数.

emb^LE = SBert(LE)

// 使用Sentence-BERT将主导背景L、事件序列 E编码成emb^LE

for each Smcin C do

em bmc=SBert( Smc)

// 使用Sentence-BERT将故事 Smc编码成em bmc

end for

R=AC(C) // 使用层次聚类算法将故事分成 p个簇

for each C_rin R do

num_r=count(C_r)

// 统计簇中包含元素的数量num_r

cluster_size=append(cluster_size, num_r)

// 将num_r加入统计数组cluster_size中

end for

C_q=select(R, cluster_size)

// 根据cluster_size从R中选出包含最多元素的簇C_q

for each Stqin C_qdo

计算每个故事的连贯性分数 Scor ecoq

计算每个故事的相关性分数 Scor ereq

计算每个故事的综合分数 Scor ecrq

score_list=append(score_list, Scor ecrq)

// 将综合分数Scor ecrq加入统计数组score_list 中

end for

S=select(C_q, score_list)

// 根据score_list从C_q中选出分数最高的故事S

return S

本文在ROCStories数据集^[21]上进行实验.ROCStories数据集是一个由5句常识故事组成的故事语料库, 捕获日常事件之间丰富的因果常识关系.本文按照 8:1:1的比例随机将ROCStories数据集分割成训练集、测试集和验证集.将每条故事的第一句话作为主导背景, 参考EtriCA^[11], 从剩余四句话中抽取事件序列.由于成本限制, 从测试集上随机选择200个样本, 并设置3组测试, 对每次测试的结果求和取均值.

在所有的实验中, 设置top-p参数为1, 模型温度为0.7.输入模型的示例数量 D为8, 模型生成的候选故事数量 C为20.对于语义自洽方法, 设置层次聚类的簇数量p为3.

本文选取如下4个指标评价方法性能.

1)ROUGE-n^[22](简记为R-n).用于测量生成故事与参考故事之间的词汇覆盖率, 其中n表示n-gram, 即匹配的连续词组的长度.

2)BLEU-n^[23](简记为B-n).用于测量生成故事与参考故事之间的n-gram重叠程度.

3)MS-Jaccard^[24](简记为MSJ).使用Jaccard索引计算生成故事与参考故事之间的n-gram重叠程度, 衡量两组文本之间的相似性.

4)BERTSCORE^[25](简记为BES).一个基于预训练语言模型BERT(Bidirectional Encoder Repre-sentations from Transformers)^[26]的评估指标, 用于测量生成故事和参考故事之间上下文嵌入的语义相似度.

对于R-n、B-n和MSJ, 本文使用4-gram.对于BES, 使用deberta-xlarge-mnli模型.

本文选择与如下基线方法进行对比实验.

1)BART^[4].使用Seq2Seq架构的Transformer模型, 解码器与BERT类似, 编码器与GPT(Generative Pre-trained Transformer)类似.

2)EtriCA^[11].方法架构基于BART, 使用两个编码器分别对故事的主导背景和事件序列进行编码, 通过交叉注意力机制结合两个输入特征以提高生成故事的连贯性.

3)HINT^[27]:基于BART^[4], 在训练阶段设计两个训练目标, 分别是句子间相似性预测和句子顺序判别, 提高模型生成故事的连贯性.

4)GPT-3.5^[28].由OpenAI开发的大规模语言模型, 在GPT-3的基础上进行改进, 能理解和生成自然语言或代码.

5)Gemma^[29].Google推出的一系列轻量级的开源大规模语言模型, 采用与Gemini^[30]相同的技术.

6)LLAMA2^[31].由Meta AI发布的大规模语言模型系列, 参数规模从70亿到700亿不等.

在ROCStories数据集上进行对比实验.分别在Gemma-7B、LLaMA2-7B和GPT-3.5这3个大规模语言模型上实现本文方法, 具体指标值如表1所示.零样本表示在输入前添加提示“ Now you need to write a four-sentence story that leverages both the given leading context and event sequence.(现在, 您需要编写一个四句故事, 利用给定的主导背景和事件序列.)” , 让方法能够理解任务; 上下文学习表示在大模型输入中插入< 问题, 答案> 形式的示例; GPT-3.5选择gpt-3.5-turboinstruct这个版本; 黑体数字表示最优值.

表1

Table 1

表1(Table 1)

表1 各方法在ROCStories数据集上的指标值对比 Table 1 Metric value comparison of different methods on ROCStories dataset 方法 B-4 R-2 MSJ BES BART 11.85 18.98 15.00 67.00 HINT 10.15 14.81 14.10 62.63 EtriCA 15.14 21.66 17.24 66.73 Gemma-7B 零样本 上下文学习 本文方法 10.43 12.78 14.28 16.39 20.63 21.95 11.68 14.20 15.62 67.66 71.71 72.14 LLAMA2-7B 零样本 上下文学习 本文方法 5.42 13.92 15.08 11.47 20.52 22.12 9.08 15.19 16.38 61.77 71.36 72.62 GPT-3.5 零样本 上下文学习 本文方法 6.76 15.56 17.43 13.65 22.43 23.87 9.59 15.84 18.18 63.21 70.96 71.62

表1 各方法在ROCStories数据集上的指标值对比 Table 1 Metric value comparison of different methods on ROCStories dataset

由表1可得如下结论.

1)GPT-3.5在上下文学习提示下的表现与有监督的微调方法相当, 使用上下文学习提示的GPT-3.5在B-4、R-2指标上的表现与EtriCA相当, 在R-2、BES指标上的表现优于EtriCA, 这表明大规模语言模型可在不使用额外数据对其参数进行微调的情况下达到与先前有监督的微调方法相当的故事生成能力.同时, 使用零样本提示的GPT-3.5在各指标上的表现远差于上下文学习提示和先前的微调方法, 这表明大规模语言模型在缺少示例的情况下并不能较好地理解任务.

2)大规模语言模型的故事生成能力和模型的参数量有关.虽然GPT-3.5在上下文学习提示下表现出与先前方法相当的效果, 但参数量较少的大模型(Gemma-7B, LAMMA2-7B)在上下文学习提示下的表现仍与先前的方法之间存在一定的差距.本文认为这是因为在自然语言理解和生成方面, 参数量较少的大模型与参数量较多的大模型之间存在一定的差距, 很难在不对大模型参数进行微调的情况下使大模型取得与先前方法相当的效果.

3)本文方法取得最优效果, 在各指标上均优于上下文学习提示和先前的微调方法.具体地, 对于GPT-3.5, 在B-4指标上, 本文方法相比上下文提示和EtriCA分别提升12.0%和15.1%.在BES指标上, 本文方法相比上下文提示和EtriCA分别提升0.9%和7.3%.在R-2、MSJ指标上, 本文方法也表现优异.上述结果表明, 通过本文方法生成的故事更接近人类编写的参考故事, 由此验证三幕结构思维链提示模板和语义自洽方法的有效性.

为了验证本文方法的有效性, 在Gemma-7B、LLAMA2-7B和GPT-3.5上进行消融实验, 具体结果如表2所示.在表中:-思维链表示在提示大模型时不使用思维链提示, 仅使用上下文学习提示; -语义自洽表示不让大规模语言模型生成多个候选故事并通过语义自洽方法从中选取答案, 仅让大模型在推理时生成一个故事作为答案; -思维链和语义自洽表示仅让大模型通过上下文学习提示生成故事; 黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 在ROCStories数据集上的消融实验结果 Table 2 Ablation experiment results on ROCStories dataset 模型 方法 B-4 R-2 MSJ BES Gemma- 7B 本文方法 -思维链 -语义自洽 -思维链和语义自洽 14.28 12.98 14.59 12.78 21.95 21.04 21.94 20.63 15.62 14.61 15.48 14.20 72.14 71.92 71.97 71.71 LLAMA2- 7B 本文方法 -思维链 -语义自洽 -思维链和语义自洽 15.08 13.42 15.23 13.92 22.12 20.24 21.76 20.52 16.38 15.37 16.05 15.19 72.62 71.48 72.31 71.36 GPT-3.5 本文方法 -思维链 -语义自洽 -思维链和语义自洽 17.43 15.88 16.81 15.56 23.87 22.49 23.69 22.43 18.18 16.07 17.68 15.84 71.62 71.36 71.08 70.96

表2 在ROCStories数据集上的消融实验结果 Table 2 Ablation experiment results on ROCStories dataset

由表2可看出, 本文方法的每个模块都产生一定的效果.当去掉思维链模块时, 所有模型的性能在大多数指标上都产生大幅下降.在GPT-3.5上, 以本文方法为基准, 相比-语义自洽, -思维链在B-4指标上下降5.2%, 在 MSJ 指标上下降8.8%.在LLAMA2-7B上, -思维链的B-4分数甚至低于-思维链和语义自洽.虽然语义自洽部分的改进效果不如思维链显著, 但在大多数指标上也都让模型效果有所提高.例如, 在GPT-3.5上, 去掉语义自洽模块后, B-4指标下降3.6%, MSJ指标下降2.8%.当同时去掉思维链和语义自洽模块时, 性能下降最显著.例如, 在Gemma-7B上, B-4指标下降10.5%, R-2指标下降6.0%, MSJ指标下降9.1%.总之, 三幕结构思维链对提升模型的生成质量起到关键作用, 通过在故事生成阶段对故事结构进行规划, 显著提高模型生成故事的能力.尽管语义自洽部分的改进效果相对较小, 但在提高故事质量方面也做出重要贡献, 这表明对模型生成的多个故事进行集成的有效性.

本文设计三幕结构思维链模板, 自动构建故事文本的中间推理过程, 并将这些推理过程作为提示示例输入大规模语言模型, 提升其故事写作能力, 由此产生一个自然的问题:示例的选择是否会影响模型的写作能力.

根据文献[32], 一种有效的示例选择方法是基于示例与问题间的相似度对进行采样(后文简记为相似性方法).本文使用Sentence-BERT对输入的主导背景和事件序列进行编码, 并根据余弦相似度从训练集上选取与输入相似的前n个故事文本作为示例, 作为基于相似度的示例选择方法.为了对比, 另外测试一种基于随机性、更多样的方法, 即为每个输入随机选取n个示例(后文简记为随机方法).

实验设置采用三幕结构思维链方法以提示GPT-3.5生成故事, 观察不同示例选择方式和数量对模型生成结果的影响, 具体实验结果如图3所示.由图可看出, 当示例数量较少时, 相似性方法可取得较优效果, 但当示例数量超过7时, 相似性方法的性能呈现略微的下降趋势.与之相对, 随机方法的性能随着示例数量的增加呈现上升趋势, 当示例数量达到8时, 性能与相似性方法相当.当示例数量超过5时, 本文方法明显优于其它方法.上述结果表明, 为大模型提供适量的相关示例有助于提升故事生成表现, 但过多示例可能引入噪声, 限制任务理解, 导致性能下降, 而适度的多样化示例则能提升性能.本文方法通过k-means聚类筛选示例, 既保证相关性, 又融入多样性, 提升模型在故事生成任务中的整体表现.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 示例数量对大模型性能的影响Fig.3 Impact of the number of samples on LLM performance

为了进一步说明本文方法的有效性, 提供一个案例研究.案例的主导背景:

Patrick's mother died from Cancer.(帕特里克的母亲死于癌症.)

事件序列:

1.left him $30000 2.had fight 3.agreed send 4.received letter

(1.留给他30000美元 2.吵架 3.同意寄 4.收到信).

通过三幕结构思维链生成的故事在语义空间上的聚类结果如图4所示, 图中3种符号分别表示不同的簇.本文使用Sentence-BERT计算每个故事对应的语义向量, 通过PCA(Principal Component Ana-lysis)将向量降维到二维平面上.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 故事在语义空间上的聚类结果Fig.4 Clustering results of stories in semantic space

从聚类结果的各簇中选取的故事样例及语义自洽的输出如表3所示, 该输出从●簇中选出.本文使用下划线在表中标记故事文本中存在问题的部分.

表3

Table 3

表3(Table 3)

表3 从聚类结果的各簇中选取的故事样例 Table 3 Sample stories selected from each cluster in clustering results 簇 故事样例 ▲ His mother left him $30000 in her will. He had a fight with his brother over the money. Eventually they agreed to send the money to charity. A year later, Patrick received a letter from the charity thanking him for the donation. (他的母亲在遗嘱中留给他3万美元.他和他哥哥为了钱吵架了.最终他们同意将这笔钱寄给慈善机构.一年后, 帕特里克收到了慈善机构的一封信, 感谢他的捐款.) ■ His mother left him $30000 in her will. His siblings had a fight over the money. Eventually they agreed to send him the money. He received a letter from his mother thanking him for taking care of her¯. (他的母亲在遗嘱中留给他3万美元.他的兄弟姐妹为了钱发生了争执.最终他们同意把钱寄给他.他收到了 母亲的一封信, 感谢他对她的照顾¯.) ● She left him $30000 in her will. His siblings had a big fight about it. Eventually they all agreed to send him the money. Patrick received a letter with the money and a note from his mother. (她在遗嘱中留给他3万美元.他的兄弟姐妹为此大吵一架.最终他们都同意把钱寄给他.帕特里克收到了一 封信, 里面装有钱和他母亲写的一张纸条.) 语义自洽的输出:His mother left him $30000 in her will. He had a fight with his siblings over the money. They eventually agreed to send him the money. One day, Patrick received a letter with the money from his mother's estate. (他的母亲在遗嘱中留给他 30000 美元.他与兄弟姐妹为这笔钱争吵不休.他们最终同意把钱寄给他.一天, 帕特里克收到了一封信, 里面有他母亲遗产中的钱.)

表3 从聚类结果的各簇中选取的故事样例 Table 3 Sample stories selected from each cluster in clustering results

结合图4和表3可看出, 大模型生成的故事在语义上存在多个集群, 通过聚类算法可对这些故事进行分类, 将在语义上较相近的故事归为一类.元素较少的簇中的故事在情节发展上往往存在一些问题, 例如, ■簇中的故事如果以帕特里克收到母亲感谢他的照顾的信作为结尾, 那么从前文中应该能找到帕特里克照顾母亲的情节, 但前文只叙述帕特里克和兄弟姐妹为母亲的遗产产生争执.元素较多的簇, 如●簇和▲簇中的故事, 情节内容的发展往往更具有逻辑性.

下面分析语义自洽方法设置不同的簇数量p时, 对最终生成故事文本的影响.设置簇数量为1, 2, 3, 4, 则相应指标值如表4所示, 表中黑体数字表示最优值.由表可见, 当簇数量设为1时, 本文方法退化为只通过连贯性相关性分数从候选集上选取结果.

表4

Table 4

表4(Table 4)

表4 不同簇数量对方法性能的影响 Table 4 Impact of the number of clusters on method performance 簇数量 B-4 R-2 MSJ BES 1 16.75 23.18 17.62 71.23 2 16.99 23.27 17.82 71.26 3 17.43 23.87 18.18 71.62 4 17.33 23.73 18.18 71.72

表4 不同簇数量对方法性能的影响 Table 4 Impact of the number of clusters on method performance

从表4中的数据可看出, 通过对候选集进行聚类可有效提升大模型生成结果在各指标上的表现.这表明, 虽然大规模语言模型在生成故事时可能会产生错误, 但是通过本文方法对多个候选故事进行采样后, 可过滤较差的生成结果, 提高大规模语言模型生成故事的质量.

为了进一步验证本文的三幕结构思维链的有效性, 在汉语、法语、西班牙语、德语和越南语这5种语言上进行实验.其中, 汉语、法语、西班牙语和德语数据来自MTG数据集^[33], 越南语数据使用谷歌翻译对ROCStories数据集进行翻译得到.MTG数据集是一个用于训练和评估多语言文本生成的数据集, 包含5种语言(英语、德语、法语、西班牙语和汉语)的故事生成数据.针对这些非英语语言, 本文对提出的思维链进行扩展, 翻译成与输入对应的语言, 在GPT-3.5上进行实验, 结果如表5所示.在表中, 上下文学习表示在大模型输入中插入< 问题, 答案> 形式的示例, 源语言思维链表示将本文的思维链模板翻译成与输入对应的语言, 英文思维链为本文方法.

表5

Table 5

表5(Table 5)

表5 各方法在其它语言上的指标值结果 Table 5 Metric values of different methods in other languages 语言 方法 B-4 R-2 MSJ BES 汉语 上下文学习 源语言思维链 英文思维链 11.94 13.81 13.14 0.50 0.25 0.58 11.2 13.66 13.24 78.14 79.68 79.44 法语 上下文学习 源语言思维链 英文思维链 12.52 13.06 13.22 18.55 18.86 19.13 14.86 15.21 15.74 76.26 76.92 77.20 西班牙语 上下文学习 源语言思维链 英文思维链 10.09 11.58 11.52 15.97 16.22 16.43 10.59 11.46 11.86 77.22 78.23 78.19 德语 上下文学习 源语言思维链 英文思维链 8.40 9.76 9.08 10.38 11.54 11.09 9.82 11.12 10.57 74.12 75.51 75.22 越南语 上下文学习 源语言思维链 英文思维链 14.08 14.29 15.61 32.59 32.19 33.42 11.61 13.96 13.2 76.78 77.11 78.25

表5 各方法在其它语言上的指标值结果 Table 5 Metric values of different methods in other languages

由表5可看出, 相比传统的上下文学习方法, 本文的思维链方法在不同语言设置下都表现得更出色.这些结果表明本文的三幕结构思维链提示方法除了在英语设置下表现出色以外, 在其它语言条件下也表现出显著的有效性.

先前的研究表明大模型的性能表现与训练语料库中语言的占比存在一定关系^{[34, 35]}.因此, 本文分析GPT-3训练数据中的语言分布, 从大到小, 英语、法语、德语、西班牙语、汉语和越南语的占比依次为92.65%、1.82%、1.47%、0.78%、0.1%和0.03%.本文发现对于训练数据占比较多的语言(如法语), 源语言思维链和英文思维链之间的性能差距较少, 而对于占比较少的语言(如越南语), 两者差异较大.这一发现为大模型在多语言故事生成任务中的应用提供一个参考, 即在处理低资源语言任务时, 可通过使用高资源语言(如英语)的提示以提升性能.

为了更好地说明本文方法在事件驱动故事生成任务上的效果, 招募志愿者对本文方法和EtriCA、GPT-3.5进行人工评估.从ROCStories数据集上随机抽取50个故事.邀请2名具有良好英文水平的在校大学生从如下3方面对故事进行评估.1)连贯性:衡量句子间的相关性和因果关系.2)流畅性:衡量句子内语言的质量和语法正确性.3)相关性:衡量故事与主导背景和事件序列之间相关程度.每个指标的评分范围为1分(最差)至5分(最好).人工评估结果如表6所示.

表6

Table 6

表6(Table 6)

表6 人工评估结果对比 Table 6 Comparison of human evaluation results 方法 连贯性 流畅性 相关性 EtriCA 2.62 2.34 3.01 GPT-3.5 上下文学习 本文方法 3.25 3.69 3.25 3.60 3.26 3.62

表6 人工评估结果对比 Table 6 Comparison of human evaluation results

由表6可见, 本文方法在连贯性、流畅性和相关性上均最优.

为了直观展示本文方法生成故事的质量, 提供EtriCA、GPT-3.5生成示例如表7所示, 表中黑字表示输入的事件序列中的事件, 使用下划线标记故事文本中存在问题的内容.

表7

Table 7

表7(Table 7)

表7 各方法在ROCStories数据集上的生成结果案例分析 Table 7 Case study of generated results of different methods on ROCStories dataset 主导背景 There was a bad smelling coming from the kitchen.(厨房里传来一股难闻的味道.) 事件序列 1.went 2.seemed coming 3.see caused 4.died(1.去 2.似乎 3.看到 造成 4.死亡) EtriCA A light went into the kitchen¯ until it stopped. It seemed a fire was coming from it. I could see the fire had caused it. Every one died by that time¯. (一束光进入了厨房, 直到它停了下来.似乎有火从它那里冒出来.我看得出是火引起的.那时所有人都死了.) GPT-3.5(上下文学习) I went to investigate the smell coming from the kitchen. It seemed to be coming from the fridge. When I opened it, I saw that a container of food had caused the smell. I immediately threw it out before it¯ died any further¯. (我去调查厨房里传来的气味.它似乎是从冰箱里出来的.当我打开它时, 我看到一个容器里的食物引起了这种气味.我立即把它扔掉, 以免它进一步死亡.) GPT-3.5(本文方法) I went to investigate. It seemed like it was coming from the fridge. When I pushed the fridge out, I saw what caused the smell. A mouse had died in the back of the fridge. (我去查看了一下.味道好像是从冰箱那散发出来的.当我把冰箱推开时, 我看到了味道的来源.冰箱后面死了一只老鼠.) 参考文本 I went to the kitchen to investigate. The smell seemed to be coming from behind the oven. After I pushed the oven out, I could see what caused the smell. A rat had died behind the oven. (我去厨房查看了一下.气味似乎是从烤箱后面飘来的.我把烤箱推开后, 知道了是什么原因导致的气味.烤箱后面死了一只老鼠.)

表7 各方法在ROCStories数据集上的生成结果案例分析 Table 7 Case study of generated results of different methods on ROCStories dataset

由表7可看出, EtriCA和GPT-3.5(上下文学习)生成的故事在内容上都存在一定问题.对于EtriCA, “ A light went into the kitchen(一束光进入了厨房)” 与后文厨房起火的情节矛盾, 既然厨房已经起火, 那么正确的描述应该是有火光从厨房出来, 并且结尾“ Everyone died by that time(那时所有人都死了)” 的叙述方式从前文的第一人称转换成第三人称, 稍显突兀.对于上下文学习, “ before it died any further(以免它进一步死亡)” 一句中用死亡形容食物显然不太合适.本文方法生成的故事显然更具有逻辑性, 各句子之间的衔接也更自然, 并且为故事的主要冲突“ 厨房里的某样东西发出了难闻的味道” 生成一个合理的结局:我发现味道的来源是一只死老鼠.同时, 故事内容也更接近参考文本.