电讯技术

作者：王侃,曹开臣,徐畅,潘袁湘,牛新征

单位：(中国西南电子技术研究所，成都 610036;电子科技大学 计算机科学与工程学院;,成都 610000;电子科技大学 信息与软件工程学院,成都 610000)

关键词：文本摘要；Transformer模型；先验知识；动态词向量；句向量；

传统的文本摘要方法，如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等，在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷，以及文本摘要生成的准确率和流畅度的问题。对此，提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型，在文本预处理阶段引入先验知识，将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征，结合此词对应当句的文本句向量拼接生成输入文本矩阵，将文本矩阵输入到Encoder生成固定长度的文本向量表达，然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标，与其他方法进行的对比实验结果表明，所提方法所生成的文本摘要的准确率和流畅度更高。

来源：2019年第10期

《电讯技术》期刊编辑部

查看电讯技术杂志2019年第10期