Page 292 - 《软件学报》2026年第2期

张建新 等: 依存句法信息增强的完全非自回归翻译 771

别是在 images to pictures 这一短语的使用上. 示例 2 中, 我们观察到 GLAT 和 SynNAT 都存在重复的问题, 但
GLAT 还出现了较为严重的拼写错误, 如 insiders information 和 obviouslyly. GLAT 和 SynNAT 都属于非自回归翻
译模型的范畴. 在非自回归架构中, 模型通常是并行生成所有目标词. 与自回归模型相比, NAT 模型更容易出现词
与词之间的上下文建模不足, 从而导致词语冗余或重复的现象. 这是非自回归翻译模型中普遍存在的多模态问
题 [76] . IWSLT14 DE→EN 数据集的规模相对较小, 模型并没有在大规模语料上进行充分的上下文学习. 在此情况
下, 一旦面对较为复杂的源句, 模型的泛化能力不足, 更容易出现重复或者其他歧义现象.

40.0
GLAT
SynNAT
37.5
35.0
32.92
32.5 31.82
BLEU 30.0 28.93

27.94
27.5

25.0
22.5

20.0
Raw Distilled
图 3 IWSLT DE→EN 任务中原始数据和蒸馏数据使用 beam=5 时的 BLEU 分数

表 3 GLAT 和 SynNAT 在蒸馏后的 IWSLT14 DE→ EN 测试集上的翻译示例

模型 示例 1 示例 2
sie wurde ein goldener zugang zu einer welt voller und uns fiel auch auf, dass sie sehr professionell konstruiert
Source piraten und verunglückter schiffe und zu bildern in waren, von leuten, die offensichtlich alle insider- informa-
meiner vorstellung. tionen zur verfügung hatten.
it became a gilded gateway into a world full of pirates and we also saw that they are very professionally engineered by
Reference
and shipwrecks and images in my imagination. people who obviously had all insider information.
she became a golden access to a world full of pirates and and we also noticed that they were very professionally
GLAT unfortunate ships and images to pictures in my mind in constructed by people who obviouslyly had all the insiders
my mind. information information.
it became a golden access to a world full of pirates and and we also noticed that they were very professionally construct-
SynNAT
unfortunate ships and to images in my imagination. ed by people who obviously had all all the insider information.

香农熵 (Shannon entropy) [77] 用于度量随机变量的不确定性或信息量的期望值. 熵越大, 表示不确定性越大. 我
们使用香农熵来衡量“模型对词的预测不确定度” (但并不足以可靠地反映句子的歧义程度). 具体而言, 每个单词
进行一次 [MASK] 替换, 然后通过 BERT (bert-base-uncased) [78] 的 Masked LM 得到在该位置上所有可能词的概率
分布 (Softmax 后的分布). 接着计算该分布的熵, 再将所有词的熵取平均, 得到句子级平均熵. 该方法主要衡量的
是 BERT 自身对词汇预测的不确定性, 不能够完全代表真实语言环境或人工判断下的歧义程度. 此外, 我们采用 N-gram
[2]
重复率作为衡量句子潜在歧义性的一种辅助指标, 以测量句子中重复单词的比例, 采用大模型 GPT-4o-mini 评估、
人工评估作为主观与客观结合的综合评估手段 (详见附录 A), 以进一步确保歧义检测的可靠性. 我们在没有蒸馏
的 IWSLT14 DE→EN 数据上进行测试, 结果如表 4 所示. 从表 4 中可见, 给 GLAT 加入 Syntax (SynNAT) 后, 句子
层面的香农熵 (entropy) 和 N-gram 重复率 (rep) 均有所下降, 意味着模型对词的预测不确定性、句子中重复单词