Page 56 - 《软件学报》2021年第11期

3382 Journal of Software 软件学报 Vol.32, No.11, November 2021

Table 5 Result of MRR in different time window constrained
表 5 不同时间窗约束的 MRR 结果
MRR
Project Approach
时间窗约束=2h 时间窗约束=4h 时间窗约束=8h
ReviewFinder 0.40 0.46 0.50
Facebook/react IR+CN 0.47 0.50 0.58
MOC2R 0.68 0.69 0.68
ReviewFinder 0.31 0.30 0.49
tensorflow/tensorflow IR+CN 0.42 0.44 0.57
MOC2R 0.63 0.61 0.64
ReviewFinder 0.26 0.30 0.32
twbs/bootstrap IR+CN 0.39 0.38 0.46
MOC2R 0.62 0.62 0.59
ReviewFinder 0.22 0.26 0.31
ohmyzsh/ohmyzsh IR+CN 0.28 0.34 0.38
MOC2R 0.61 0.55 0.56
ReviewFinder 0.41 0.47 0.51
flutter/flutter IR+CN 0.44 0.46 0.46
MOC2R 0.57 0.60 0.62
ReviewFinder 0.27 0.29 0.37
electron/electron IR+CN 0.32 0.36 0.45
MOC2R 0.53 0.58 0.59
ReviewFinder 0.31 0.35 0.42
mean IR+CN 0.39 0.41 0.48
MOC2R 0.61 0.61 0.61
我们可以看到,相对于 ReviewFinder 和 IR+CN 这两种推荐方法,时间窗约束越强的窗口,MOC2R 方法的优
势越明显.当时间窗约束为 2h 时:
• 与 ReviewFinder 方法相比 ,MOC2R 方法的 Top-1 准确率比 ReviewFinder 平均 提高了
143%((51%−21%)/21%),MOC2R 方法的 Top-5 准确率平均提高了 63%((72.1%−44.3%)/44.3%),MRR 平
均提高了 97% ((0.61−0.31)/0.31).
• 与 IR+CN 方法相比,MOC2R 方法的 Top-1 准确率平均提高了 81%((51%−28.2%)/28.2%),Top-5 准确率
平均提高了 35%((72.1%−53.3%)/53.3%),MRR 提升了 56%((0.61−0.39)/0.39).
并且,IR+CN 方法在推荐效果上优于 ReviewFinder 方法.这是因为 IR+CN 在考虑两次代码评审的相似度基
础上,还通过社交网络方式考虑了两个评审人的相似度.
进一步地,在整体响应时间较慢的项目(例如 ohmyzsh/ohmyzsh),我们方法的 MRR 指标能够 2 倍以上
((0.61−0.28)/0.28)优于基线算法.这说明,我们方法推荐的第 1 个正确的评审人的排序位置更靠前.
4.2 RQ2:各个目标的贡献
为了清晰地比较各个目标对评审人推荐性能的影响,我们对 MOC2R 的 3 个目标分别进行了实验分析.我们
将 EXP(ExpertiseScore)、RSP(ResponseScore)和 ACT(ActivScore)分别以单目标方式和双目标方式进行评审人
推荐:对于单目标方式,我们按照该目标的值进行排序;对于双目标方式,我们基于两个目标运行多目标优化算
法.图 6~图 8 分别列出不同组合方式在不同时间窗约束下的 Top-k 准确率和 MRR.

Fig.6 Top-k accuracy & MRR in different objective, time window constrained ϕ=2h
图 6 时间窗约束ϕ为 2h,各目标 Top-k 准确率和 MRR