Page 269 - 《软件学报》2025年第9期

4180 软件学报 2025 年第 36 卷第 9 期

模型生成常识事件三元组, 还显示了专门为生成更为具体的事件三元组微调的模型, 充分学习到了训练数据中的
特征, 能够生成了高质量的事件三元组.

表 13 不同方法获取的三元组数量 表 14 微调模型与人工验证事件三元组的准确率 (%)

三元组 微调模型 人工验证
方法 事件关系 三元组数量 总计 方法 事件关系
总数量 验证准确率 准确率
因果 226 845 因果 93.04 96.2
时序 187 192 时序 99.9 97.8
ek-prompt 798 838 ek-prompt
条件 212 103 条件 98.21 97.6
子事件 172 698 子事件 96.08 96.6
因果 234 609 因果 95.76 96.8
时序 163 253 时序 99.88 98
微调模型生成 783 091 2 806 155 微调模型生成
条件 211 086 条件 97.44 97.8
子事件 174 143 子事件 93.72 97.4
因果 395 495 因果 82.94 95.6
时序 265 596 时序 93.8 98.2
事件共享机制 1 224 226 事件共享机制
条件 316 446 条件 84.75 96
子事件 246 689 子事件 86.25 97.8
(2) 通过事件共享机制获取的新三元组, 虽然准确率略低于基于 ek-prompt 和微调模型生成的三元组, 但整体
表现仍然不错, 特别是在时序关系中, 准确率达到了 93.8%. 这体现了事件共享机制扩展 ECKG 的可行性, 确保了
相似事件的三元组信息一致性, 并获取了一定数量的事件三元组.
(3) 人工抽样审核的结果显示, 3 种扩展方法中的 4 种事件关系的准确率均在 95% 以上. 这表明了本文微调
的 LLM 用于验证事件三元组的有效性和可靠性, 证明它可以作为验证大规模事件三元组正确性的有力工具.
总体而言, 上述的验证结果充分证明了本文方法在获取事件三元组方面具有高精确度和可靠性, 有效地支持
了扩展 ECKG 的工作.
基于事件三元组正确性的验证结果, 本文统计了微调模型评估为正确的三元组数量, 具体的数据见表 15. 从
表 15 可以看出, 在 3 种扩展 ECKG 的方法中, 利用 ek-prompt 和微调模型生成的事件三元组, 评估为正确的总三
元组数量较为接近. 值得一提的是, 通过引入事件共享机制获取的正确三元组数量最多. 这一现象表明了事件共享
机制扩展 ECKG 的可行性和有效性, 同时也促进了相似事件三元组的一致性.
与此同时, 本文对表 15 中的所有事件三元组进行了合并和去重处理, 从而获得最终增补到 ECKG 的总三元
组数量, 如表 16 所示. 这些数据表明, 本文方法有效地扩大了 ECKG 的规模并丰富了其知识库, 能够为使用
ECKG 进行更广泛的应用和研究提供了可靠的常识知识资源.

表 15 不同方法获取的正确三元组数量 表 16 增补到 ECKG 的三元组数量

三元组 事件关系 三元组数量
方法 事件关系 三元组数量 总计
总数量 因果 666 193
因果 211 056 时序 592 691
时序 187 005 条件 653 605
ek-prompt 772 295
条件 208 306 子事件 520 523
子事件 165 928 总计 2 433 012
因果 224 661
时序 163 057
微调模型生成 756 607 2 587 011
条件 205 682
子事件 163 207
因果 328 023
时序 249 129
事件共享机制 1 058 109
条件 268 188
子事件 212 769