Page 283 - 《软件学报》2026年第2期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2026,37(2):762−783 [doi: 10.13328/j.cnki.jos.007463] [CSTR: 32375.14.jos.007463] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
依存句法信息增强的完全非自回归翻译

张建新, 郭 沛, 李俊涛, 张 民

(苏州大学 计算机科学与技术学院, 江苏 苏州 215008)
通信作者: 李俊涛, E-mail: ljt@suda.edu.cn

摘 要: 完全非自回归翻译 (fully non-autoregressive translation, Fully NAT) 的主要挑战在于, 如何在保持解码速度
优势的同时, 达到与自回归翻译 (autoregressive translation, AT) 相当的翻译质量. 这是因为并行解码的特性使得
Fully NAT 方法难以捕捉目标端的依赖信息, 从而导致翻译质量下降. 因此, 利用源端的依赖信息来增强模型能力
显得十分自然, 尤其是在句法信息已被证明能够有效提升 AT 方法效果的背景下. 尽管近年来这一领域取得了显著
进展, 但关于在 Fully NAT 中应用句法信息的研究仍然有限. 通过在 5 个翻译基准 (如 workshop on machine
translation, WMT) 上的实验发现, 依存语法信息对 Fully NAT 方法非常有帮助, 可以显著提升翻译表现, 同时解码
速度的损失成本也在可接受范围内. 代码开源地址 https://github.com/tianxiexiaozhu77/syngec.
关键词: 非自回归翻译 (NAT); 句法信息; 依存关系; 机器翻译
中图法分类号: TP18

中文引用格式: 张建新, 郭沛, 李俊涛, 张民. 依存句法信息增强的完全非自回归翻译. 软件学报, 2026, 37(2): 762–783. http://www.
jos.org.cn/1000-9825/7463.htm
英文引用格式: Zhang JX, Guo P, Li JT, Zhang M. Dependency-syntax-information-enhanced Fully Non-autoregressive Translation.
Ruan Jian Xue Bao/Journal of Software, 2026, 37(2): 762–783 (in Chinese). http://www.jos.org.cn/1000-9825/7463.htm

Dependency-syntax-information-enhanced Fully Non-autoregressive Translation
ZHANG Jian-Xin, GUO Pei, LI Jun-Tao, ZHANG Min
(School of Computer Science and Technology, Soochow University, Suzhou 215008, China)
Abstract: The main challenge of fully non-autoregressive translation (Fully NAT) lies in maintaining translation quality comparable to
autoregressive translation (AT) while preserving the decoding speed advantage. This challenge arises from the parallel decoding nature,
which prevents Fully NAT methods from capturing dependency information on the target side, leading to degraded translation quality.
Therefore, enhancing the model’s ability to capture dependency information from the source side is a natural approach, especially given
that syntactic information has proven effective in improving AT methods. Although significant progress has been made in this area in
recent years, there has been limited research on incorporating syntactic information in Fully NAT. Through experiments on five translation
benchmarks (e.g., workshop on machine translation, WMT), it is found that dependency syntax information is highly beneficial for fully
NAT methods, significantly improving translation performance with a decoding speed cost that remains within an acceptable range. The
code has been released at https://github.com/tianxiexiaozhu77/syngec.
Key words: non-autoregressive translation (NAT); syntactic information; dependency relation; machine translation
[1]
近年来, 神经机器翻译 (neural machine translation, NMT) 在基于 Transformer 的自回归模型推动下取得了显
著进展, 尤其是在大语言模型 (large language model, LLM) 不断涌现和发展的背景下 [2,3] . 然而, 这些模型主要采用
自回归模型 (autoregressive model, AR) 解码模式, 即严格按照从左到右的顺序逐一生成词元. 因此, 它们的推理效
率较低, 且随着模型参数数量的增加, 这一效率问题变得愈发严重 [4] . 在实际应用中, 这一效率瓶颈已逐渐成为主

* 基金项目: 国家自然科学基金 (62206194); 江苏省自然科学基金 (BK20220488)
收稿时间: 2024-11-20; 修改时间: 2025-02-15, 2025-04-21; 采用时间: 2025-04-28; jos 在线出版时间: 2025-12-10
CNKI 网络首发时间: 2025-12-12