文本摘要任务旨在保留原始源文本语义的前提下, 将文档或文档集浓缩成简明的摘要^[1]. 文本摘要技术通常分为抽取式和抽象式, 抽取式是从输入文本中选取重要的词或者句子, 然后将其合并成摘要^[2–4]; 抽象式则是通过模型理解原文语义而后重新组织自主生成摘要的方法^[5,6]. 与抽取式相比, 抽象式具有更大的灵活性, 更有可能生成准确度高的摘要.

典型的抽象摘要的算法使用带有注意力机制^[7]、复制机制^[8,9]、信息指导^[10,11]或者知识增强的序列到序列的模型. 然而, 抽象摘要的灵活性也使其存在更多问题. 一是产生忠实性差的摘要, 包括关键内容不一致和关键语义与主旨偏离的问题. 二是由于在语义收集过程中无法准确地学习源文档的语义信息, 导致语义学习不足或者语义偏差, 进而无法生成更好的摘要. 针对第1个问题, 本文提出允许模型复制源文件中实体的策略, 这样可以有效防止关键信息出错, 确保摘要的质量. 针对第2个问题, 本文提出使用不同粒度的指导信息指导摘要的生成, 这样可以有效控制学习到的语义特征, 保证摘要的忠实性.

在本文中, 提出了CE2GSum模型, 这是一个利用实体复制和双粒度引导进行联合训练的框架. 具体而言, 本文首先从源文档中抽取实体(实体短语), 这使得模型在解码阶段能够复制实体, 可以针对重要的实体直接复制而不是通过一个个的token生成, 这样可以有效保证关键信息不会出错. 此外, 还将提取的实体视为候选实体, 并计算它们在源文档中的相关性, 以获得关键实体, 这些关键实体将用作多粒度级的指导信息. 同时, 还确定源文档中的关键token, 这些token将用作单粒度级别的指导信息. 通过在生成过程中利用两个不同粒度级别的指导信息, 结合实体复制, 进而可以生成可靠的摘要.

本文对两个基线文本摘要数据集(XSum^[12]和CNNDM^[13])进行的评估实验, 实验表明, 本文的CE2GSum模型在文本摘要指标上都获得了提升, 说明模型在保真度上表现优秀. 结果明确展示了我们的模型在生成准确且主旨一致于源文本的摘要方面取得的显著效果.

1 相关工作 1.1 抽象摘要

Rush等人在2005年首次基于注意力机制的序列到序列的模型用于生成摘要^[14], 自此以后编码器-解码器架构在文本摘要领域被广泛地应用. 2017年, Vaswani等人提出了划时代模型Transformer^[15], 以此取代传统的循环神经网络, 解决了长序列输入的问题. 随后, 预训练模型被引入抽象摘要任务中, 2019年, Dong等人首次利用BERT作为编码器^[3], 以大型预训练捕捉源文档的丰富语义信息, 而解码器则依然使用Transformer进行解码, 在抽象摘要领域也取得了很好的性能; 2019年, Lewis等人提出了另一种预训练模型BART^[16], 随后Raffel在2020年提出了T5^[17], 这两种预训练方式不同于BART, 使用Transformer的编码器和解码器同时训练得到的. 2020年, Zhang等人提出了PEGASUS^[18], 专门用于生成摘要的领域预训练模型, 自此研究者不断地在这些预训练模型上进行微调和改进, 以此获得适应于不同场景摘要任务的模型.

1.2 信息指导

由于基于预训练模型的摘要模型本身的复杂度, 很容易出现错误, 导致摘要不准确. 具体而言, 生成的摘要与源文档主旨不一致, 甚至有时与源文档语义矛盾^[19,20]. 信息指导机制为解决这个问题也被提出并广泛使用, 2020年, Dou等人提出了使用关键词和关键句子作为指导信息的GSum模型, 并获得了不错的效果^[21]. 2022年, Xu等人提出了使用关键短语作为指导信息的GISG模型^[11]; 2021年, Ma等人提出了使用源文档主题信息作为摘要生成的指导信息的T-BERTSum模型^[22]. 随后, 研究人员不断将各种类型的信息以不同的方式作为指导信息, 并取得了很大的提高. 基于以上, 本文提出了使用关键实体和关键token作为两种不同粒度的指导信息, 并且以不同于以上几种模型的方式在模型上融入信息指导机制.

1.3 实体复制

为了解决OOV问题, 即词汇表不足的问题, 2017年, See等人首次提出了指针生成网络(pointer-generator network), 即允许模型从源文档中复制某些摘要需要的而词汇表中不存在的token^[23]. 2021年, Liu等人提出了BioCopy模型^[24], 这是一种即插即用的架构, 它使用的是BIO和token的联合训练. 2021年, Li等人提出了利用历史分布预测当前分布的模型^[25]. 上述大部分模型都是基于token级复制的, 而2022年提出了SpanCopy模型^[26], 其允许模型复制实体以实现更好性能的方法.

2 CE2GSum模型

正如图1所示(左边部分为token生成的过程, 右边部分为实体复制的过程.), 本文的模型也是基于序列到序列的模型的. 其中, 使用PEGASUS作为基础模型, 然后融合了实体复制模块和双粒度指导模块. 在第2.1节, 第2.2节, 第2.3节将分别介绍编码器和解码器、双粒度指导、实体解码器.

2.1 编码器解码器

本文使用PEGASUS预训练模型作为编码器和解码器, 并作为本文模型的基础架构. 抽象文本摘要可以描述为输入源文档$ X = \{ {X_1}, {X_2}, \cdots, {X_n}\} $ , 然后压缩为简洁的一段文本$Y = \{ {Y_1}, {Y_2}, \cdots, {Y_m}\} $.

$ {H^e} = Encoder(X) $

(1)

令${H^e} = \{ h_1^e, h_2^e, \cdots, h_n^e\} $, 其中, $h_i^e \in {\mathbb{R}^h}$, 表示第$i$个token的隐藏表示, $h$表示隐藏状态的维度大小. 在解码的第$t$步, 解码器通过利用编码器的上下文表示${H^e}$和前缀词$\{ {Y_1}, {Y_2}, \cdots, {Y_{t - 1}}\} $的编码器-解码器注意力生成第$t$个的隐藏表示$h_t^d$. 最后确定从词汇表$V$中预测的${Y_t}$的概率:

$ P({Y_t}|{Y_{ < t}}, X) = {\textit{Softmax}} (Eh_t^d) $

(2)

其中, $E \in {\mathbb{R}^{|V| \times h}}$.

2.2 双粒度指导

计算关键token和关键实体信息的方法不同于直接从源文档中通过某些算法选取其中重要的关键token和关键实体. 相反, 本文则是根据每个token或者实体信息在词汇表上分配相关性概率分布.

2.2.1 关键tokens

如图2所示, 使用上下文表示、嵌入矩阵、以及编码器和解码器的交叉注意力共同生成关键token指导信息. 其中, $ {\mathrm{crossAttn}} $表示编码器和解码器的交叉注意力, $ {\mathrm{Embedding}}{\text{ }}{\mathrm{matrix}} $表示嵌入矩阵.

第1步: 首先使用编码器的隐藏表示来学习token-vocabulary的分布.

$ {S^t} = GELU({H^e}{W_1}){W_2}E $

(3)

其中, ${W_1}$和${W_2}$是学习权重. ${H^e}$表示为编码器的隐藏上下文表示, $E$为嵌入矩阵. ${S^t} \in {\mathbb{R}^{n \times |V|}}$, 其中$\{ s_1^t, s_2^t, \cdots, s_n^t\} $, ${{s}}_i^t \in {\mathbb{R}^{|V|}}$, 表示token ${X_i}$和词汇表的token的上下文相似度.

第2步: 然后, 我们将token-vocabulary分布和解码器注意力结合, 最终生成指导信息. 使用注意力权重$a_t^{d, L}$对token-vocabulary相似度进行加权求和, 从而得到token级指导信息.

$ f_t^{{\mathrm{token}}} = \mathop \sum \limits_{i = 1}^n a_{t, i}^{d, L} \cdot s_i^t $

(4)

其中, $a_t^{d, L} \in {\mathbb{R}^n}$, 表示输出token ${Y_t}$在最后一层解码器层$L$中与上下文表示之间的交叉注意力分布.

最后, 修改预测概率为:

$ p({Y_t}|{Y_{ < t}}, X) = {\textit{Softmax}} (Eh_t^d + f_t^{{\mathrm{token}}}) $

(5)

2.2.2 关键实体

首先为了获取实体, 我们使用现有的命名实体识别工具Spacy提取实体. 每一个实体由$\{ {X_i}, \cdots, {X_j}\} $组成, 则每个实体的表示为${e_i} = avg(\{ {X_i}, \cdots, {X_j}\} )$.

相似地, 计算关键实体信息使用类似于关键token的计算方法, 计算过程如图3所示. $ {\mathrm{crossAttn}} $表示实体上下文和解码器的交叉注意力, $ {\mathrm{Embedding}}{\text{ }}{\mathrm{matrix}} $表示嵌入矩阵. 首先, 我们通过实体隐藏上下文获得Entity-EntitiesSet分布, 计算如式(6), 式(7)所示:

$ {H^{e\_{\mathrm{entity}}}} = {\textit{LSTM}}(R) $

(6)

其中, $R = \{ {e_1}, {e_2}, \cdots, {e_k}\} $, 其中$k$表示实体的数量, ${H^{e\_{\mathrm{entity}}}} = \{ h_1^{e\_{\mathrm{entity}}}, h_2^{e\_{\mathrm{entity}}}, \cdots, h_k^{e\_{\mathrm{entity}}}\} $ .

$ {S^e} = (GELU({H^{e\_{\mathrm{entity}}}}{W_3}){W_4}E) $

(7)

其中, ${S^e} = \{ s_1^e, s_2^e, \cdots, s_k^e\} $, 其中$ s_i^e \in {\mathbb{R}^{|V|}} $.

令$a_t^E \in {\mathbb{R}^k}$表示解码器在解码的第$t$步中实体上下文与解码器之间的交叉注意力分布. 然后使用$a_t^E$对Entity-EntitiesSet分布就行加权求和, 得到第$t$步解码的实体级指导信息$f_n^{{\mathrm{entity}}} \in {\mathbb{R}^{|V|}}$.

$ f_t^{{\mathrm{entity}}} = \mathop \sum \limits_i^{} a_{t, i}^E \cdot s_i^e $

(8)

最终可以得到融合了token级指导信息和实体级指导信息的概率分布为:

$ p({Y_t}|{Y_{ < t}}, X) = {\textit{Softmax}} ((1 - \lambda )h_t^dE + \lambda (f_t^{{\mathrm{token}}} + f_t^{{\mathrm{entity}}})) $

(9)

其中, $\lambda $为超参数.

2.3 实体解码器

在每个解码步骤$t$中(在图1左上部分), 作为实体解码器, 用于生成实体的逻辑向量, 同时, 还需要计算当前步骤的实体复制和token生成的概率.

2.3.1 实体生成

首先, 使用LSTM模型获取实体的上下文语义.

$ {H^{e\_{\mathrm{entity}}}} = {\textit{LSTM}}(R) $

(10)

然后我们计算当前步的实体逻辑向量:

$ {y_{{e_t}}} = Q(h_t^d)K(h_j^{e\_{\mathrm{entity}}}),\; {y_{{e_t}}} \in {\mathbb{R}^k} $

(11)

其中, $k$表示实体的数量.

2.3.2 复制概率

将一个映射函数应用于隐藏状态, 将其映射为一个单一的表示, 即可作为复制实体的概率, 即:

$ p_t^{{\mathrm{copy}}} = {\textit{Sigmoid}}({\textit{FFN}}(h_t^d)),\; p_t^{{\mathrm{copy}}} \in [0, 1] $

(12)

其中, $p_t^{{\mathrm{copy}}}$就是代表第$t$步中选择复制实体的概率, 那么$p_t^{{\mathrm{gen}}} = 1 - p_t^{{\mathrm{copy}}}$是在第$t$步生成一个来自词汇表的token的概率. 最终的概率表示为:

$ p_t^{{\mathrm{final}}} = [(1 - p_n^{{\mathrm{gen}}}) \times {y_{{e_t}}}, p_t^{{\mathrm{gen}}} \times {y_{{t_t}}}] $

(13)

其中, $p_t^{{\mathrm{final}}} \in {\mathbb{R}^{|V| + E}}$, $|E|$是实体的数量. 并且${y_{{t_t}}} = {\textit{Softmax}} ((1 - \lambda )h_t^dE + \lambda (f_t^{{\mathrm{token}}} + f_t^{{\mathrm{entity}}}))$, $ f_t^{{\mathrm{token}}} $表示的是当前步生成token的逻辑向量.

2.4 损失函数

本文使用交叉熵损失函数作为模型最后的损失函数, 即:

$ Loss = \mathop \sum \limits_t^n CrossEntropyLoss(p_t^{{\mathrm{final}}}, {t_t}) $

(14)

因此, 真实标签可以是从词汇表中生成单词的索引, 也可以是从源文档复制的实体的索引, 即, ${t_t} \in [0, |V| + |E|]$, 其中, $|V|$表示词汇表的大小, $|E|$表示实体的数量.

3 实验分析 3.1 数据集

本文选取两个文本摘要通用数据集XSum和CNNDM上进行实验, 其中CNNDM来源于新闻媒体, 包含多个参考摘要, 而XSum则来自于新闻网站, 只有一个摘要. 为了获得过滤数据集, 使用工具Spacy抽取文章的实体, 随后, 对数据集进行过滤, 保留只包含那些文章摘要和源文档都存在相同实体的样本. 过滤后的数据集的详细统计如表1所示.

3.2 评估指标

ROUGE-3被广泛用于自动摘要生成任务的评估^[27], 因此在实验中使用 ROUGE-1 (R-1), ROUGE-2 (R-2), ROUGE-L (R-L) 作为评估指标. R-1指的是生成的摘要与参考摘要之间重叠词的比例. R-2衡量长度为2的连续词序列的重叠度. R-L考虑生成摘要和参考摘要之间最长的共同子序列.

R-N计算为:

$ \begin{split} & R {\textit{-}} N = \\ & \frac{{{\displaystyle\sum _{s \in \{ {\textit{ReferenceSummaries}}\} }}{\displaystyle\sum _{gra{m_n} \in S}}Coun{t_{match}}(gra{m_n})}}{{{\displaystyle\sum _{s \in \{ {\textit{ReferenceSummaries}}\} }}{\displaystyle\sum _{gra{m_n} \in S}}Count(gra{m_n})}} \end{split} $

(15)

其中, $ N $的值分别为1和2, 主要为了统计在1-gram和2-gram的召回率, 反映的是生成摘要1个粒度和2个粒度的重叠率, 进而表示摘要的准确程度. 对于R-L计算如下:

$ {R_{LCS}} = \frac{{LCS(C, S)}}{{len(C)}} $

(16)

$ {P_{LCS}} = \frac{{LCS(C, S)}}{{len(S)}} $

(17)

$ R {\textit{-}} L = {F_{LCS}} = \frac{{(1 + {\beta ^2}{R_{LCS}}{P_{LCS}})}}{{{R_{LCS}} + {\beta ^2}{P_{LCS}}}} $

(18)

其中, $S$表示人工摘要, 即真实摘要; $C$表示机器摘要, ${R_{LCS}}$表示召回率, ${P_{LCS}}$ 表示精确率, ${F_{LCS}}$就是R-L的得分, 其主要在一定程度上可以体现生成的摘要的可读性.

3.3 实验细节

本文的实验在过滤数据集和原始数据上进行的, 使用单张V100 GPU作为实验设备, 使用PEGASUS作为模型的编码器和解码器, batch_size设置为6, 同时经过多次实验, 确定了超参数$\lambda $的取值为0.2时效果明显. 过滤 CNNDM 数据集的训练时间为36 h, XSum 数据集的训练时间为24 h. 在未过滤的 CNNDM 数据集, 训练时间为60 h, XSum 数据集训练时间为48 h.

3.4 结果分析

(1)首先对过滤后的数据集进行了对比实验, 以评估模型的性能. 具体而言, 比较了基线模型PEGASUS和SpanCopy的性能, 比较的结果如表2所示. 在过滤数据集上进行评估时, 本文的模型在两个数据集的大多数指标上都比其他两个模型表现更优. 这表明本文的模型在摘要生成由于其他两个模型, 尤其是在 XSum 数据集上, 它在所有3个指标上都超过了其他两个模型, 其中, 本文模型的R-2 和R-L指标都比其他两个模型高出约0.9–1. 同时, 也证明我们引入的实体复制机制、双粒度信息指导机制可以提高模型性能.

(2)同样地, 也在未经过滤的数据集进行了实验, 其结果如表3所示. 可以得出, 本文的模型在CNNDM数据集上的表现并不令人满意, 分析主要是由于实体复制机制会引入的大量不必选择的实体噪声, 影响了模型性能. 然而, 在XSum数据集上却表现良好, 这归因于该数据集相对于CNNDM更具有抽象性的特性.

通过以上对过滤数据集和未过滤数据集的实验, 可以观察到本文的模型在未过滤数据集上表现差, 然而在过滤的数据集上却表现良好. 这种性能差异原因是未过滤数据集摘要中存在的实体并非直接来源于源文件, 这就导致这些实体在模型生成过程中引入误导性信息, 致使性能指标下降. 然而, 本文的模型在抽象性强的XSum数据集上表现较好的结果, 可以看出, 尽管通过实体复制引入了噪声的挑战, 模型仍然在XSum性能良好, 这表明模型中的信息引导机制在一定程度上可以弥补实体复制机制引入的错误.

3.5 消融实验

在消融实验中, 主要关注点是评估使用过滤数据集的不同模块对模型性能的影响, 因此, 使用过滤后的CNNDM数据集进行消融实验分析, 以展示引入的实体复制机制和双粒度指导信息的有效性.

如表4所示, 本文的模型进行了3个消融实验, 这些实验移除不同的模块进行实验: 删除双粒度指导信息模块(CE2GSum–(KT and KE))、删除关键token (CE2GSum–(KT))和删除关键实体模块(CE2GSum–(KE)), 以此分析不同模块对模型性能的影响.

从表4中结果可以得出, 实体复制机制和双粒度引导机制均可以在不同程度上提高模型的表现性能. 其中, 实体复制机制略比双粒度引导机制更有效, 实体复制机制使指标提升了约0.6–0.7, 而双粒度引导机制只提高了约0.2–0.3. 此外, 同时包含关键实体和关键token指导信息也可以在不同程度上增强模型的性能.

4 结论与展望 4.1 结论

本文通过实验证明了CE2GSum模型的有效性. 通过对不同数据集进行实验以及在CNNDM数据集上的消融实验, 可以得出以下结论.

(1) CE2GSum模型更适合过滤数据集的一个主要原因是, 在给定的未过滤数据集中存在大量摘要中提到的实体并非来自源文件的样本. 这会导致引入大量的噪声, 从而对模型的性能产生负面影响. 通过使用过滤数据集, 可以确保摘要中提到的实体来自源文件, 从而提高性能和结果的准确性.

(2) 实体复制机制和双粒度的指导信息都可以在不同程度上提高模型的性能, 实体复制对模型性能的提高略大于指导信息.

(3) 双粒度指导信息在一定程度上可以弥补实体复制机制带来的语义偏差, 并有效控制生成的摘要的语义.

4.2 展望

本文提出了一种新颖的抽象摘要生成模型, 具体来说, 在序列到序列模型架构的基础上, 首先引入了实体复制机制, 使得模型在生成token的基础上也可以复制源档中的实体, 通过实验, 验证了该机制的有效性; 此外, 在摘要生成过程中结合关键实体级(多粒度)和关键token级(单粒度)信息作为指导信息, 同样可以提高模型摘要生成的性能. 最后将两者公共引入模型, 并取得了显著的效果. 在未来的工作中, 一方面目标是提取更多的短语信息, 以此扩展模型在生成摘要时短语的可选项, 这样就可以将使模型在摘要生成过程中既能生成单个token, 也能生成短语, 从而使模型更贴近人类实践. 另一方面, 为了生成摘要更加简洁, 贴合主旨, 在后续的工作中, 将使模型生成多个摘要, 然后通过另外一个小模型进行二次训练, 进而获得更加符合主旨的摘要.