Page 258 - 《软件学报》2024年第6期

2834 软件学报 2024 年第 35 卷第 6 期

表 2 dSATNS 和 SATNS 两算法缺陷检测率的比较 (%)(续)

N=4 N=6 N=10 N=50 N=100
FM
dSATNS SATNS dSATNS SATNS dSATNS SATNS dSATNS SATNS dSATNS SATNS
csb281 49.49 49.33 ± 56.75 56.61 ± 65.14 65.12 ± 86.75 86.80 ± 92.24 92.20 ±
ecos-icse11 49.68 49.49 ± 56.75 56.78 ± 65.64 65.38 ± 86.76 86.70 ± 92.24 92.15 ±
ebsa285 48.90 48.98 ± 56.08 55.92 ± 64.62 64.43 ± 86.34 86.34 ± 91.95 91.88 ±
vrc4373 51.07 50.80 ± 58.07 58.08 ± 66.64 66.35 • 87.63 87.60 ± 92.81 92.86 ±
pati 50.96 50.81 ± 58.05 57.82 • 66.89 66.73 ± 87.60 87.56 ± 92.73 92.65 ±
dreamcast 50.77 50.63 ± 57.95 57.89 ± 66.57 66.83 ± 87.54 87.49 ± 92.71 92.70 ±
pc i82544 50.59 50.62 ± 57.69 57.71 ± 66.30 65.94 • 87.42 87.38 ± 92.60 92.53 ±
XSEngine 49.69 49.39 • 56.78 56.65 ± 65.54 65.38 ± 86.94 86.93 ± 92.35 92.41 ±
refidt334 50.27 50.05 ± 57.43 57.34 ± 65.91 65.63 • 87.00 86.79 • 92.21 92.20 ±
ocelot 51.08 51.09 ± 58.24 58.11 ± 66.51 66.51 ± 87.30 87.35 ± 92.56 92.51 •
integrator arm9 49.84 50.03 ± 57.04 56.77 • 65.34 65.22 ± 86.63 86.60 ± 92.01 91.94 ±
olpcl2294 49.99 50.14 ± 57.17 57.05 ± 65.90 65.77 ± 86.93 86.89 ± 92.29 92.19 •
olpce2294 50.39 50.34 ± 57.45 57.31 ± 66.14 66.04 ± 86.88 86.80 ± 92.17 92.17 ±
phycore. 50.63 50.75 ± 57.96 57.81 ± 66.38 66.11 ± 87.29 87.25 ± 92.60 92.55 ±
hs7729pci 50.24 50.35 ± 57.41 57.26 ± 65.89 65.83 ± 86.48 86.44 ± 91.88 91.78 •
freebsd-icse11 44.43 43.01 • 51.50 50.30 • 60.14 59.45 • 84.16 84.33 ◦ 90.91 90.91 ±
fiasco 81.18 80.90 • 85.10 85.17 ± 89.77 89.77 ± 95.20 95.12 ± 96.29 96.41 ±
uClinux 87.98 86.17 • 92.23 91.40 • 96.01 95.67 • 99.79 99.78 ± 99.97 99.97 ±
Automotive01 44.13 44.06 ± 50.07 49.98 ± 57.02 57.19 ± 76.10 76.13 ± 82.40 82.32 ±
SPLOT-FM-5000 38.98 38.23 • 44.91 44.47 • 52.46 52.22 • 74.43 74.35 • 81.63 81.55 ±
busybox-1.18.0 81.36 79.84 • 86.55 85.58 • 91.84 91.37 • 98.86 98.81 • 99.61 99.61 ±
2.6.28.6-icse11 42.11 42.75 ◦ 48.93 49.44 ◦ 58.08 58.13 ± 82.05 82.11 ± 88.87 88.75 •
uClinux-config 80.07 78.31 • 85.23 84.16 • 90.87 90.48 • 98.58 98.56 ± 99.51 99.49 •
buildroot 72.84 72.82 ± 79.43 79.28 ± 85.27 85.32 ± 96.51 96.50 ± 98.20 98.16 •
•/◦/± 14/3/33 •/◦/± 12/2/36 •/◦/± 9/1/40 •/◦/± 6/1/43 •/◦/± 7/1/42
注: 粗体标注最优结果, •、◦、±分别表示第1个算法显著地优于、差于和等同于第2个算法

SATNS) 和持平情形 (即

表 3 dSATNS 和 SATNS 的 ˆ A 12 比较结果汇总 (%)

覆盖率 N=4 N=6 N=10 N=50 N=100 缺陷检测率 N=4 N=6 N=10 N=50 N=100
↑ 28 32 14 0 0 ↑ 16 16 12 4 4
l l
↓ 2 2 0 4 2 ↓ 2 2 0 0 0
↑ 6 8 12 4 2 ↑ 10 4 6 6 10
m m
↓ 2 0 6 2 2 ↓ 0 0 2 2 2
↑ 22 42 26 14 8 ↑ 20 30 34 24 22
s s
↓ 4 2 2 14 22 ↓ 12 4 10 2 10
n ～ 36 14 40 62 64 n ～ 40 44 36 62 52
注: ↑: dSATNS更优; ↓: SATNS更优, ～: 二者性能相当

根据 dSATNS 与 SATNS 的 ˆ A 12 比较结果, 若忽略效应量幅度, 可分 3 种情形: 改进情形 (即 dSATNS 表现优
于 SATNS), 退化情形 (即 dSATNS 表现差于 dSATNS 与 SATNS 的表现相当). 将 l, m 和 s
这 3 种幅度所对应的百分数累加即可得到“改进情形”与“退化情形”所占的总的百分比, 而 n 对应的百分数即为“持平
情形”所占的百分比. 图 3 以柱状图的形式给出了各种情形所占的百分比, 其中, ↑表示改进情形、↓表示退化情形、
～表示持平情形. 如图 3(a) 所示, 就覆盖率而言: 当 N 小于等于 10 时, dSATNS“改进情形”的百分比明显高于“退
化情形”的百分比, 也高于“持平情形”的百分比; 当 N=50 和 100 时, 虽然“退化情形”的百分比高于“改进情形”, 但
是在绝大多数模型上 (62%+), 两算法的性能是持平的. 由图 3(b) 可知, 就缺陷检测率而言, 不论 N 取何值, “改进情