Page 282 - 《软件学报》2021年第7期

2200 Journal of Software 软件学报 Vol.32, No.7, July 2021

结果是否一致计算出主题判断规则的准确率.对应表 6 中的类型 1 与类型 2,在方法判断与人工标注的主题个数
相同的前提下,对比人工标注,进行主题判断准确率的计算,具体计算如式(1)、式(2)所示.
x
OneAccTopic  (1)
y
1
n
AccTopic   OneAccTopic (2)
i
i n  1
其中,x 为某条复杂用户评论本文方法判断和人工标注的相同主题个数,y 为该条复杂用户评论人工标注的
主题个数,OneAccTopic i 为第 i 条复杂用户评论的主题判断的准确率,n 为复杂用户评论总数.
通过计算,主题判断的准确率为 0.66,表明本文方法的主题判断规则可以对复杂用户评论中的主题进行较
为有效的判断.

5.2 复杂用户评论的代码质量属性判断
为了进一步说明本文方法在复杂用户评论代码质量属性及其相关信息判断的有效性,本文将方法最终判
断的代码质量属性相关结果与人工标注进行对比,分别计算了复杂用户评论在代码质量属性、代码质量属性表
现和代码质量属性表现结果判断的准确率.准确率的计算采用取交集的方式,首先分别对每条用户评论的每种
代码质量属性结果的准确率进行计算,然后再对所有用户评论的代码质量属性准确率的计算结果取平均值,将
平均准确率作为应用本文方法处理得到该代码质量属性结果的准确率.具体计算如式(3)、式(4)所示.
Iset
OneAccAtt  (3)
Pset
n
1
AccAtt   OneAccAtt j (4)
n j 1
其中,Iset 为某条复杂用户评论对于某种代码质量属性结果人工标注和本文方法得到结果的交集中元素的
个数,Pset 为对于某条复杂用户评论的某种代码质量属性结果中应用本文方法得到的元素个数,OneAccAtt j 为第
j 条复杂用户评论的某种代码质量属性结果的准确率,n 为复杂用户评论总数.
对比人工标注,应用本文方法处理得到的代码质量属性相关结果的准确率见表 7.
Table 7 Accuracy of three results of code quality attributes
表 7 代码质量属性相关结果的准确率
判断对象 准确率
代码质量属性 0.86
代码质量属性表现 0.83
代码质量属性表现结果 0.74
由表 7 可知,通过应用本文提出的复杂用户评论的代码质量属性判断方法,代码质量属性、代码质量属性
表现、代码质量属性表现结果判断的准确率可以达到 0.86、0.83 和 0.74,与代码质量属性及代码质量属性表现
判断准确率相比,代码质量属性表现结果判断的准确率较低.通过对判断的代码质量属性表现结果进行分析发
现,其原因是由于代码质量属性表现与表现结果的识别只是基于连词而产生的因果关系,导致对不具有因果连
词产生的因果关系的代码质量属性表现与表现结果难以识别,因而代码质量属性表现结果判断的准确性较弱.
综上,虽然代码质量属性表现结果的准确率相对较低,但是可以表明本文针对复杂用户评论的代码质量属性的
判断方法可以对复杂用户评论的代码质量属性及代码质量属性相关信息进行较为准确的判断.
此外,对比初始代码质量属性特征词库与经过处理后扩充的特征词库,扩充后的代码质量属性特征词库增
加了一定数量的特征词对.本文在前期工作中代码质量属性特征词库为 63 个特征词,本文在实验开始时有 152
个特征词对,实验结束后扩充后的代码质量属性特征词库中有 653 个特征词对,新增了 501 个特征词对.为了验
证扩充的特征词对的有效性,应用本文第 4 节提出的针对复杂用户评论的代码质量属性判断方法,在第 4.2 节识
别用户评论与代码质量属性相关信息的过程中,使用扩充后包含 653 个特征词对的代码质量属性特征词库对