Page 284 - 《软件学报》2025年第5期
P. 284
2184 软件学报 2025 年第 36 卷第 5 期
p
图 7 计算程序生成过程展示
66
64
62
60 RoBERTa-large Ans Acc
RoBERTa-large Prog Acc
Acc (%) 58 BERT-base Ans Acc
56
BERT-base Prog Acc
54
52
50
48
46
44
0.1 0.2 0.4 0.6 0.8 1.0
Temperature
图 8 温度系数对 FinQANet 生成器性能影响
4.8.2 不同映射函数对 FinQANet 生成器性能探究
相关研究表明将原始锚点, 正负例向量映射到辅助空间进行对比损失学习是有益的 [4,18] . 因此本文探究了 4 种
映射类型: 两种非线性变换 (Sigmoid 和 ReLU)、线性变换, 以及不进行任何映射 (None). 为了优化计算资源消耗,
并结合第 4.8.1 节的模型性能随温度系数变化的讨论, 所有实验的温度系数设定为 1.0. 表 8 展示了在不同映射类
型下, FinQANet 生成器的程序准确率 (program accuracy) 和答案准确率 (answer accuracy).
表 8 不同映射函数对 FinQANet 生成器性能影响 (%)
方法 Sigmoid ReLU Linear None
FinQANet(BERT-base)+MGCC (48.21, 50.65) (47.86, 49.69) (47.95, 49.69) (48.91, 51.00)
FinQANet(RoBERTa-large) (61.90, 64.52) (60.33, 62.69) (62.30, 64.98) (62.42, 64.34)
+MGCC
从表 8 可以得到下列结论: (1) 在两种参数规模下, 基于 Sigmoid 的非线性映射函数比 ReLU 表现更优. (2) 对
于非线性和线性映射, FinQANet(BERT-base)+MGCC 在非线性映射函数上获得更好性能; FinQANet(RoBERT-
