Page 315 - 《软件学报》2024年第4期

张启辰 等: 一种基于窗口机制的口语理解异构图网络 1893

来学习节点表示.
[6]
Co-interactive Transformer 提出了协同交互模块, 通过在两个相关任务之间建立双向连接来考虑交叉影响,
其中槽和意图可以利用相应的互信息.
4.4 总体结果
与上述基线模型保持一致, 我们使用 F1 分数评估口语理解在槽位填充中的性能, 使用准确度评价意图检测的
性能, 以及使用整体准确度进行句子级语义框架解析评估. 表 1 显示了我们提出的模型在 ATIS 和 SNIPS 数据集
上的整体性能. 我们将我们提出的 HcoSG 的性能与所有基线方法进行了比较. 正如预期的那样, 我们的模型在两
个公开数据集上的结果显示, 我们提出的模型优于以上的所有基线模型. 如表所示, 在 ATIS 数据集上, 与当下最
[6]
优的联合建模模型 Co-interactive Transformer 相比, HcoSG 在槽位填充任务上的 F1 分数提高了 0.20%, 意图检测
精度提高了 0.28%, 整体精度提高了 0.62%. 对于 SNIPS 数据集, 我们的框架在槽位填充任务上的 F1 分数超过了
最先进的方法 0.21%, 在意图检测准确度上提高了 0.31%, 在整体准确度上提高 0.05%. 这证明了充分考虑不同任
务类型的节点和连接所代表的不同语义信息的有效性. 我们将此归因于我们的模型充分利用了句级语义和词级异
构信息结构, 可以更好地掌握意图和话语之间的关系, 使两个任务能够更充分地进行信息交互, 以提高模型的鲁棒性.

表 1 在 ATIS 和 SNIPS 数据集上 HcoSG 针对意图检测和槽位填充任务与基线方法的比较 (%)

ATIS SNIPS
Model
Intent Acc Slot F1 Overall Acc Intent Acc Slot F1 Overall Acc
Slot-Gated [30] 93.60 94.80 82.20 97.00 88.80 75.50
SF-ID Network [4] 97.09 95.80 86.90 97.29 92.23 80.43
CM-Net [9] 96.10 95.60 85.30 98.00 93.40 84.10
Stack-Propagation [32] 96.90 95.90 86.50 98.00 94.20 86.90
Graph LSTM [7] 97.20 95.91 87.57 98.29 95.30 89.71
Co-interactive Transformer [6] 97.70 95.90 87.40 98.80 95.90 90.30
HcoSG 97.98 96.10 88.02 99.11 96.11 90.35
HcoSG+BERT 98.10 97.61 90.21 99.55 97.45 93.38

4.5 单一组件消融实验与分析
我们推测我们提出的模型达到的改进效果是由于说话者的意图从槽节点级信息中获得了更多的知识, 而槽位
填充任务也受益于会话的语义级意图信息, 这从本质上提高了对会话的上下文理解. 在本节中, 我们将从几个方向
研究我们的模型. 我们首先进行了单一组件消融研究以检查我们框架中不同组件的效果和影响, 并分析自我注意
窗口机制及窗口大小的影响.
(1) 两级意图解码器消融实验
我们认为, 两级意图解码器可以通过第 1 阶段对意图检测进行准确预测, 而第 2 阶段利用先验知识精确生成
意图标签嵌入表示. 我们通过消除第 2 级意图解码器替换为使用可训练的嵌入矩阵来初始化生成意图标签嵌入表
示作为异构交互层部分的输入来执行消融实验. 从表 2 中可以看出, 在 ATIS 和 SNIPS 数据集上槽 F1 分数分别下
降了 0.53% 和 0.49%. 同时, 在两个数据集上的意图检测准确度和整体准确度也有所下降. 我们分析原因是模型没
有准确生成意图标签表示, 使得意图表示没有表达更丰富的语义特征, 导致槽和意图之间的语义关联松散, 槽位填
充任务的性能下降也会反作用于导致相应的意图检测任务准确性下降.
(2) 异构交互结构消融实验
此部分实验旨在验证异构结构的有效性. 我们将异构单元替换为同构结构, 即使用图注意力网络和自注意力
机制分别进行意图信息和槽位信息的交互. 首先, 我们直接将意图标签嵌入表示与词级嵌入表示拼接起来, 再作为
自注意力单元的输入, 以进行第 1 个消融实验. 在表 2 中将其称为仅使用自注意力机制. 我们可以观察到槽 F1 分
数在两个公开数据集上分别下降了 0.10% 和 0.21%. 同时第 2 个消融实验, 我们同时将意图标签嵌入表示和词级