Page 211 - 《软件学报》2024年第6期
P. 211
杨岚心 等: 基于多标签学习的代码评审意见质量评价 2787
表 4 模型表现 (项目视角)
TextCNN TextRCNN FastText DPCNN Transformer 本文方法
项目
HL 01L mF HL 01L mF HL 01L mF HL 01L mF HL 01L mF HL 01L mF
P1 0.06 0.19 0.63 0.06 0.18 0.67 0.06 0.20 0.61 0.06 0.20 0.61 0.07 0.24 0.59 0.04 0.12 0.73
P2 0.06 0.20 0.67 0.06 0.21 0.67 0.07 0.21 0.65 0.06 0.19 0.68 0.08 0.26 0.58 0.04 0.13 0.77
P3 0.12 0.37 0.63 0.12 0.35 0.69 0.13 0.37 0.67 0.14 0.39 0.66 0.16 0.44 0.52 0.08 0.25 0.79
P4 0.08 0.28 0.68 0.09 0.28 0.69 0.10 0.31 0.65 0.10 0.31 0.71 0.10 0.33 0.58 0.05 0.17 0.84
P5 0.10 0.33 0.66 0.09 0.30 0.74 0.10 0.31 0.65 0.10 0.32 0.70 0.12 0.39 0.53 0.06 0.20 0.79
P6 0.06 0.22 0.62 0.06 0.19 0.63 0.07 0.23 0.56 0.07 0.23 0.59 0.09 0.27 0.51 0.04 0.14 0.66
P7 0.05 0.18 0.72 0.05 0.18 0.75 0.06 0.20 0.75 0.05 0.19 0.78 0.07 0.25 0.64 0.03 0.12 0.83
P8 0.07 0.26 0.63 0.07 0.22 0.64 0.08 0.26 0.62 0.08 0.26 0.63 0.08 0.28 0.60 0.04 0.15 0.72
P9 0.07 0.24 0.62 0.07 0.22 0.72 0.08 0.26 0.65 0.08 0.27 0.69 0.08 0.27 0.60 0.05 0.16 0.73
P10 0.06 0.21 0.64 0.06 0.19 0.69 0.07 0.22 0.65 0.06 0.20 0.69 0.07 0.23 0.63 0.04 0.12 0.69
P11 0.09 0.28 0.76 0.09 0.26 0.78 0.10 0.31 0.73 0.10 0.30 0.73 0.12 0.38 0.58 0.06 0.21 0.85
P12 0.06 0.22 0.71 0.06 0.21 0.78 0.07 0.23 0.64 0.06 0.21 0.67 0.07 0.24 0.64 0.04 0.16 0.80
P13 0.08 0.26 0.62 0.08 0.25 0.63 0.08 0.25 0.60 0.08 0.25 0.62 0.09 0.30 0.59 0.05 0.16 0.68
P14 0.06 0.22 0.64 0.06 0.21 0.63 0.07 0.24 0.62 0.06 0.23 0.66 0.09 0.28 0.57 0.05 0.17 0.67
P15 0.13 0.40 0.63 0.13 0.39 0.66 0.14 0.41 0.67 0.15 0.43 0.63 0.15 0.45 0.53 0.10 0.32 0.73
P16 0.05 0.17 0.63 0.04 0.15 0.67 0.05 0.17 0.67 0.05 0.17 0.63 0.07 0.23 0.58 0.03 0.11 0.70
P17 0.06 0.21 0.70 0.07 0.22 0.72 0.08 0.25 0.71 0.08 0.24 0.68 0.09 0.29 0.58 0.05 0.19 0.72
P18 0.09 0.29 0.74 0.10 0.31 0.74 0.10 0.32 0.74 0.10 0.30 0.77 0.12 0.37 0.59 0.06 0.20 0.86
P19 0.09 0.27 0.58 0.09 0.28 0.57 0.11 0.32 0.53 0.11 0.33 0.56 0.11 0.34 0.51 0.06 0.20 0.70
P20 0.09 0.30 0.65 0.08 0.28 0.68 0.09 0.30 0.65 0.10 0.31 0.62 0.10 0.32 0.60 0.06 0.20 0.68
P21 0.06 0.22 0.65 0.06 0.23 0.65 0.07 0.23 0.64 0.07 0.25 0.63 0.08 0.26 0.61 0.04 0.16 0.69
P22 0.09 0.31 0.66 0.09 0.31 0.66 0.13 0.36 0.60 0.12 0.37 0.63 0.13 0.39 0.53 0.07 0.24 0.74
P23 0.12 0.38 0.63 0.12 0.38 0.68 0.12 0.39 0.67 0.12 0.36 0.69 0.13 0.40 0.55 0.10 0.31 0.74
P24 0.09 0.30 0.61 0.09 0.29 0.67 0.10 0.32 0.59 0.11 0.33 0.65 0.12 0.37 0.56 0.07 0.24 0.75
P25 0.08 0.25 0.59 0.08 0.26 0.59 0.10 0.32 0.54 0.11 0.33 0.54 0.12 0.37 0.50 0.07 0.24 0.67
0.20
0.65
0.06
0.11
0.03
0.65
0.18
P26 0.06 0.19 0.68 0.06 0.19 0.67 0.05 FastText 0.71
0.69
0.18
0.05
P27 0.06 0.20 0.63 0.05 0.19 0.63 0.06 0.20 0.62 0.06 0.19 0.62 0.07 0.23 0.59 0.04 0.15 0.65
P28 0.10 0.33 0.68 0.10 0.31 0.68 0.12 0.36 0.66 0.12 0.35 0.67 0.13 0.39 0.58 0.07 0.25 0.78
P29 0.12 0.38 0.65 0.13 0.37 0.64 0.12 0.37 0.67 0.12 0.35 0.72 0.14 0.41 0.55 0.08 0.26 0.82
P30 0.06 0.21 0.66 0.06 0.19 0.68 0.07 0.23 0.62 0.07 0.24 0.62 0.08 0.25 0.56 0.05 0.16 0.70
P31 0.08 0.27 0.75 0.08 0.24 0.76 0.08 0.25 0.73 0.08 0.24 0.75 0.08 0.28 0.66 0.06 0.18 0.79
P32 0.07 0.24 0.66 0.08 0.26 0.66 0.07 0.22 0.65 0.07 0.23 0.72 0.09 0.29 0.61 0.05 0.17 0.75
P33 0.09 0.29 0.74 0.09 0.31 0.74 0.09 0.31 0.78 0.10 0.33 0.73 0.11 0.35 0.63 0.08 0.25 0.81
P34 0.10 0.34 0.55 0.10 0.34 0.57 0.12 0.38 0.51 0.13 0.42 0.52 0.13 0.40 0.51 0.07 0.25 0.63
Avg 0.08 0.26 0.66 0.08 0.26 0.68 0.09 0.28 0.65 0.09 0.28 0.66 0.10 0.32 0.58 0.06 0.19 0.74
表 5 模型表现 (质量属性视角)
TextCNN TextRCNN DPCNN Transformer 本文方法
属性
P R F P R F P R F P R F P R F P R F
情绪 0.85 0.22 0.35 0.57 0.32 0.40 0.75 0.31 0.44 0.70 0.35 0.43 0.63 0.06 0.10 0.76 0.42 0.54
疑问 0.95 0.89 0.92 0.92 0.93 0.92 0.90 0.82 0.85 0.89 0.86 0.87 0.87 0.84 0.85 0.93 0.96 0.94
评价 0.79 0.60 0.68 0.74 0.68 0.71 0.78 0.62 0.69 0.75 0.68 0.71 0.80 0.51 0.62 0.80 0.81 0.81
建议 0.89 0.90 0.90 0.89 0.91 0.90 0.89 0.89 0.89 0.89 0.89 0.88 0.92 0.82 0.86 0.92 0.94 0.93
表 7 展示了本文提出的方法与基准模型在 34 个项目上关于汉明损失、0-1 损失和宏 F1 分数的 Wilcoxon 符
号秩检验结果, 实证了本文提出的方法在预测评审意见质量属性任务上领先基准模型 (当 p 值小于 0.001 时, 拒绝
空假设).
