Page 199 - 《软件学报》2025年第4期

孙泽辰 等: 基于可控性解释的混合数据增强框架 1605

the model performance in in-distribution test scenarios. The solution code is available at https://github.com/Mint9996/HEDA.
Key words: shortcut learning; generative pre-trained language model; natural language understanding
预训练语言模型, 例如 BERT 、RoBERTa 等, 在经过任务特定数据集的微调之后, 往往能够在多种自然语
[1]
[2]
言理解任务中展现出优秀的性能. 比如, BERT 模型在使用 MNLI 数据集 [3] 进行微调之后, 在自然语言推理任务上
[4]
的准确率可以达到 84.6% . 然而, 当测试集与训练集的数据分布不一致时, 模型的性能将显著下降 [5] . 研究者们认
[6]
为造成该现象的一个主要原因是模型的捷径学习 (shortcut learning) , 即模型依赖于数据集中捷径进行预测. 捷径
具体表现为非鲁棒性特征与目标标签之间的虚假关联, 往往极易被模型捕捉. 如图 1(a) 所示, 以自然语言推理任务
为例, 在训练阶段, 模型学习了前提句 (premise) 和假设句 (hypothesis) 之间的单词重叠与标签“蕴含 (entailment)”
之间虚假关联, 即学习到了捷径; 因此, 在推理阶段, 模型倾向于通过捷径将存在单词重叠的样本标记为“蕴含”关
系, 而非通过语义进行预测. 当测试数据与训练数据的分布不同时, 捷径学习可能导致错误的预测, 降低了模型的
预测准确率. 为了更好地揭示模型的捷径学习现象, 研究者们构造了用于检测捷径学习的测试场景 (如 HANS 数
据集 [7] 和 MNLI-Hard 数据集 [8] ), 并且通过对比模型在分布内测试场景与这些具有挑战性的分布外测试场景中的
性能差异, 反应模型的捷径学习程度 [6] . 图 1(b) 的实验数据直观地反映了经过 MNLI 数据集训练后的 BERT 模型
LLaMA
的捷径学习问题: 在分布内测试场景中, 该模型的准确率高达 84.3%, 而在 HANS 数据集中的准确率仅为 61.1%,
相差 23.2%. 这个显著的性能差异表明, BERT 模型受捷径学习问题的影响较为严重. 总之, 捷径学习问题反映了模
型在训练中倾向于学习虚假关联, 并且利用捷径进行推理, 该问题严重损害了模型在分布外数据中的鲁棒性与泛
化性 [9] , 需要引起研究者们的关注和重视.

虚假关联: 在训练集中, 标签“entailment”与
句子中的词汇重叠之间存在联系.
输入
Premise: The student ran, or the president slept. MNLI-
Model MNLI HANS
Hypothesis: The student ran. Hard
BERT-base 84.3 61.1 75.9

LLaMA (7B) 89.9 72.3 85.8
模型
捷径学习

输出 输出 注: HANS 与 MNLI-Hard 均为常用于探究捷径学习的测试集.
HANS 主要用于检测词汇重叠捷径 (lexical-overlap bias);
Entailment Non-entailment
MNLI-Hard 主要用于检测仅假设捷径 (hypothesis-only bias).
(a) 捷径学习对模型的影响示意图 (b) 捷径学习对模型的性能影响
图 1 捷径学习的表现与影响

近年来, 已有一些关于模型捷径学习问题的探索和研究. 众多研究显示, 使用参数规模更大的模型、更先进的
预训练策略或者更为平衡的训练数据, 均有助于缓解模型的捷径学习问题 [10,11] . 然而, 我们注意到上述研究主要围
绕 BERT 类判别式预训练模型展开, 在模型规模以及结构的变种上存在明显的局限性. 同时, 随着计算资源的扩展
和预训练数据量的增加, 生成式预训练大模型, 如 [12] 、LLaMA 2 [13] 、FLAN-T5 [14] 等, 已在多个自然语言理
解任务中显示出卓越的潜力, 性能超越了以往的最优模型. 尽管这些生成式大语言模型拥有强大的泛化能力, 但是
它们训练过程中是否仍存在捷径学习的问题尚不明确. 因此, 为了解答上述疑惑, 我们基于近期具有代表性且使用
广泛的生成式预训练大模型 LLaMA 系列模型与 FLAN-T5 模型, 探索并分析了该类模型在多个自然语言理解任
务中的捷径学习现象, 并与传统的 BERT 类判别式模型进行比较.
我们在图 1(b) 展示了 LLaMA 模型的捷径学习问题的部分实验结果. 实验结果表明, 经过 MNLI 数据集微调
后, LLaMA 模型在分布内外测试场景中的准确率相比于 BERT 模型均有所提升. 然而, LLaMA 模型在 MNLI 分