Page 64 - 《软件学报》2021年第10期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(10):30363050 [doi: 10.13328/j.cnki.jos.006207] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563


基于多任务预训练的 AMR 文本生成研究 

1
2
1
徐东钦 , 李军辉 , 朱慕华 , 周国栋 1
1
(苏州大学 计算机科学与技术学院,江苏 苏州 215006)
2
(腾讯科技(北京)有限公司 腾讯新闻,北京 100001)
通讯作者: 李军辉, E-mail: jhli@suda.edu.cn

摘 要: 抽象语义表示(abstract meaning representation,简称 AMR)文本生成的任务是给定 AMR 图,生成与其语义
一致的文本.相关工作表明,人工标注语料的规模大小直接影响了 AMR 文本生成的性能.为了降低对人工标注语料
的依赖,提出了基于多任务预训练的 AMR 文本生成方法.特别地,基于大规模自动标注 AMR 语料,提出与 AMR 文
本生成任务相关的 3 个预训练任务,分别是 AMR 降噪自编码、句子降噪自编码以及 AMR 文本生成任务本身.此外,
基于预训练模型,在朴素微调方法的基础上,进一步提出了基于多任务训练的微调方法,使得最终模型不仅适用于
AMR 文本生成,同时还适用于预训练任务.基于两个 AMR 标准数据集的实验结果表明:使用 0.39M 自动标注数据,
提出的预训练方法能够大幅度提高 AMR 文本生成的性能,在 AMR2.0 和 AMR3.0 上分别提高了 12.27 和 7.57 个
BLEU 值,性能分别达到 40.30 和 38.97.其中,在 AMR2.0 上的性能为目前报告的最优值,在 AMR3.0 上的性能为目前
为止首次报告的性能.
关键词: AMR;AMR 文本生成;多任务预训练;序列到序列模型
中图法分类号: TP18

中文引用格式: 徐东钦,李军辉,朱慕华,周国栋.基于多任务预训练的 AMR 文本生成研究.软件学报,2021,32(10):30363050.
http://www.jos.org.cn/1000-9825/6207.htm
英文引用格式: Xu DQ, Li JH, Zhu MH, Zhou GD. Improving AMR-to-text generation with multi-task pre-training. Ruan Jian
Xue Bao/Journal of Software, 2021,32(10):30363050 (in Chinese). http://www.jos.org.cn/1000-9825/6207.htm
Improving AMR-to-text Generation with Multi-task Pre-training

1
2
1
XU Dong-Qin , LI Jun-Hui , ZHU Mu-Hua , ZHOU Guo-Dong 1
1
(School of Computer Science and Technology, Soochow University, Suzhou 215006, China)
2
(Tencent News, Tencent Technology (Beijing) Co. Ltd., Beijing 100001, China)
Abstract: Given an AMR (abstract meaning representation) graph, AMR-to-text generation aims to generate text with the same meaning.
Related studies show that the performance of AMR-to-text severely suffers from the size of the manually annotated dataset. To alleviate
the dependence on manually annotated dataset, this study proposes a novel multi-task pre-training for AMR-to-text generation. In
particular, based on a large-scale automatic AMR dataset, three relevant pre-training tasks are defined, i.e., AMR denoising auto-encoder,
sentence denoising auto-encoder, and AMR-to-text generation itself. In addition, to fine-tune the pre-training models, the vanilla
fine-tuning method is further extended to multi-task learning fine-tuning, which enables the final model to maintain performance on both
AMR-to-text and pre-training tasks. With the automatic dataset of 0.39M sentences, detailed experimentation on two AMR benchmarks
shows that the proposed pre-training approach significantly improves the performance of AMR-to-text generation, with the improvement
of 12.27 BLEU on AMR2.0 and 7.57 on AMR3.0, respectively. This greatly advances the state-of-the-art performance with 40.30 BLEU

 基金项目: 国家重点研发计划(2017YFB1002101); 国家自然科学基金(61876120)
Foundation item: National Key Research and Development Project of China (2017YFB1002101); National Natural Science
Foundation of China (61876120)
收稿时间: 2020-07-30; 修改时间: 2020-10-19; 采用时间: 2020-11-18; jos 在线出版时间: 2020-12-02