Page 138 - 《软件学报》2020年第11期

3454 Journal of Software 软件学报 Vol.31, No.11, November 2020

(2) 结果分析
图 5 为基于 TF-IDF 的方法和 8 种 SFL 方法的 Exam 对比图,对于每个子图,横坐标表示根据错误定位结果
按照降序排列的语句列表中检查的语句数的百分比,纵坐标表示定位到缺陷的错误版本数的百分比.从图中可
以看出:除了 Ochiai 之外,其余方法在检查可执行语句到 5%或 10%时则出现了明显的效果提升.其中,Tarantula、
Russel&Rao、GP02、Dstar 和 GP19 在检查可执行语句到 5%时出现了明显的效果提升,GP03 和 Optimal_P 在
检查可执行语句到 10%时出现了明显的效果提升.因此,基于 TF-IDF 的方法提升了缺陷定位的性能.

(a) (b)

(c) (d)

Fig.5 Exam comparison of TF-IDF over SFL
图 5 基于 TF-IDF 的方法和 SFL 的 Exam 对比

表 3 显示了基于 TF-IDF 的方法和 5 种 SFL 方法的 Exam 对比情况.对于每种 SFL 方法,实验提供了 3 种类
型的 Exam 对比,分别为 best、average 和 variance.Best 是指在程序的所有错误版本中最小的 Exam 值,即表示最
好的定位效果;average 为所有错误版本的 Exam 平均值,即表示平均定位效果;variance 表示所有错误版本的
Exam 方差,即表示定位效果的稳定性.表 3 中标粗的数据代表最优值.以 ER1′为例,基于 TF-IDF 的 ER1′和原始
的 ER1′对比,它获得 8 个最优 best、8 个最优 average 和 5 个最优 variance.这表明基于 TF-IDF 的 ER1′与原始
的 ER1′相比,其最好定位效果和平均定位效果高于 ER1′,并且定位效果具有更好的稳定性.表 3 的实验结果表
明:基于 TF-IDF 的错误定位方法能提高错误定位效果,且具有更好的稳定性.