Page 65 - 《软件学报》2021年第10期
P. 65

徐东钦  等:基于多任务预训练的 AMR 文本生成研究                                                     3037


                 on AMR2.0 and 38.97 on AMR 3.0, respectively. To the best knowledge, this is the best result achieved so far on AMR 2.0 while AMR-to-
                 text generation performance on AMR 3.0 is firstly reported.
                 Key words:    abstract meaning representation (AMR); AMR-to-text generation; multi-task pre-training; sequence-to-sequence

                                                                   [1]
                    抽象语义表示(abstract meaning  representation,简称 AMR) 是一种新型的语义表示方法,它将自然语言文
                 本以句子为单位抽象成单根有向无环图.如图 1 所示:“word-01”和“tend-02”等图节点称为概念(concept),自然语
                 言中的实词被映射为 AMR 图中的概念节点;节点之间的边表示两个概念之间的语义关系,如“:ARG0”和“:op1”
                                                                       [3]
                                                                                  [4]
                                                             [2]
                 等.AMR 作为句子的语义表示已被广泛应用于机器翻译 、问答系统 、事件抽取 等自然语言处理的相关任
                 务中.AMR 文本生成是指给定 AMR 图,自动生成语义上一致的自然语言文本.如图 1 所示,该问题可以看作是一
                 个图(即 AMR 图)到序列(即文本句子)的转换任务,在复述生成、机器翻译等自然语言处理相关任务中有着潜在
                 的应用,同时对图到序列、树到序列任务的算法研究提供借鉴意义,近年来越来越受到人们的关注                                  [210] .
                    与其他自然语言处理任务相似,AMR 文本生成的性能受标注语料规模大小的影响.例如:基于相同的测试
                 集,当训练集由包含 16 833 条训练样例的 AMR1.0 切换为包含 36 521 条训练样例的 AMR2.0 时,文献[10]在测
                 试集上的性能由 25.50 显著提升至 27.43.这说明,通过扩大标注语料的规模,能够进一步提高 AMR 文本生成的
                 性能.为了降低对人工标注语料的依赖,一种可行的解决方案是借助预训练技术.首先通过在大规模无标注文本
                 语料上训练深层网络结构,从而得到一组模型参数;然后将预训练好的部分或全部模型参数应用到后续任务,如
                 本文的 AMR 文本生成.然而,在通用领域的预训练模型中,如 ELMo                 [11] 、GPT-2 [12] 和 BERT [13] 等模型,并不能直接
                 用于 AMR 文本生成.其主要原因在于:ELMo、GPT-2 和 BERT 等预训练模型皆训练自大规模自然语言文本,而
                 在 AMR 文本生成任务中,源端是带结构化信息的 AMR 图.即使能够将 AMR 图线性化为序列,但该序列中存在
                 着大量的 AMR 图标签,如图 1 所示的边标签“:ARG0”“:mod”等和节点标签“word-01”“tend-02”等.因此,已训练好
                 并公开的预训练模型并不适合直接用于本文的 AMR 文本生成任务.

                                                    word-01      :mod

                                                       :ARG1
                                                   tend-02             other
                                                               :ARG2
                                          :ARG1

                                            everybody         mistake-01
                                                       :ARG0
                                                                  :ARG2
                                                       :ARG1
                                                part           whole

                      Fig.1    AMR graph for sentence “In other words, everybody tends to mistake the part for the whole.”
                        图 1   句子“In other words, everybody tends to mistake the part for the whole.”对应的 AMR 图
                    为此,针对 AMR 文本生成任务,本文提出了与该任务相关的 3 个预训练任务.同时,为了能够更好地捕获
                 AMR 和自然语言文本之间的关联,本文进一步提出了联合多任务的预训练.特别地,本文的预训练任务和 AMR
                 文本生成任务皆采用通用的序列到序列框架.于是,可以直接将预训练模型的所有参数应用于 AMR 文本生成
                 任务.基于预训练模型,传统的微调方法仅使用 AMR 文本生成任务的训练集进一步优化模型参数.但该微调方
                 法会导致模型出现“灾难性遗忘”问题,即:微调后模型将会失去对预训练任务的预测能力,不再适用于原预训练
                 任务.受 Li 和 Hoiem [14] 的启发,本文提出了多任务训练框架对 AMR 文本生成进行微调,使得微调后模型同时适
                 用于 AMR 文本生成和预训练任务.基于两个 AMR 标准数据集 AMR2.0 和 AMR3.0 的实验结果表明:借助于
                 0.39M 的自动标注句子,本文提出的预训练方法能够大幅度提高 AMR 文本生成的性能,分别达到 40.30 和 38.97
                 的 BLEU 值.其中,AMR2.0 上的性能为目前报告的最高性能,AMR3.0 上的性能为目前为止首次报告的性能.
                    本文的主要贡献包括:
   60   61   62   63   64   65   66   67   68   69   70