Page 72 - 《软件学报》2021年第11期

3398 Journal of Software 软件学报 Vol.32, No.11, November 2021

评价方法中设置 k/m=0.3 时得到的评价结果能使用户群体满意度最大.
然后,验证 C/C ideal 与用户数量之间的关系.每次实验固定 m=100,k=30,分别在数据集 MV,IC 和 ML 上随机
抽取 100~800 个用户进行实验,实验结果如图 3 所示.

1.000 1.000
0.975 0.975
0.950
0.950
C/C ideal 0.925 C/C ideal 0.925

0.900 MV,m=100
ML,m=100 0.900 MV,m=100,k=30
0.875 IC,m=100 IC,m=100,k=30
0.875 ML,m=100,k=30
0.850
0.1 0.2 0.3 0.4 0.5 100 200 300 400 500 600 700 800
k/m 用户数量
Fig.2 Relationship between C/C ideal and k/m Fig.3 Relationship between C/C ideal and the number of users
图 2 C/C ideal 与 k/m 之间的关系 图 3 C/C ideal 与用户数量之间的关系

从图 3 中可看出,当用户数量在 100~200 之间时,C/C ideal 在 0.875~0.9 之间;然而随着用户数量增加到 300,
*
该比值大幅度提升,随后在 0.94~0.96 之间浮动.实验表明:方法在用户数量在 300 以上的时候,由 G 所得的用户
群体满意度较高.由此可见,在其他条件不变的情况下,本文方法更适合用户数量较大的评价场景.
最后,验证 C/C ideal 与在线服务数量之间的关系.每次实验分别在数据集 MV,IC 和 ML 上随机选择 900 个用
户,分别设置 k/m=0.3,将服务数量 m 从 30 增加到 210,实验结果如图 4 所示.

1.00
0.98
0.96
0.94
C/C ideal 0.92
0.90
0.88
MV,n=900,k/m=0.3
0.86 IC,n=900,k/m=0.3
ML,n=900,k/m=0.3
0.84
30 60 90 120 150 180 210
用户数量
Fig.4 Relationship between C/C ideal and the number of services
图 4 C/C ideal 与服务数量之间的关系
根据图 4 可知,当 k/m 的值一定时,随着在线服务数量的增加,C 与 C ideal 的比值总体呈上升趋势;并从服务数
量为 120 开始,C/C ideal 的值缓慢增长.这表明本文方法在服务规模较大的情况下能获得较高的用户群体满意度,
进一步说明其在服务规模较大时仍然适用.
*
5.2.3 方法 G 与 STV 方法的对比实验
考虑到现有的在线服务评价方法不适用于面向用户群体的 Top-k 在线服务评价场景,而该场景与 Top-k 群
推荐场景具有相似之处.文献[7]中提出的 STV 方法基于 STV(single transferable vote)规则聚合用户群体偏好向
用户群体推荐 k 个服务,符合 Top-k 在线服务评价场景的服务评价需求.STV 方法也是社会选择理论一种有影响
力的多胜者选举方法,常被用于候选人选举和服务推荐.同时,其具备比例代表的性质,在一定程度上能保证评
*
*
价结果的公平性和合理性.因此,本实验将 STV 方法作为本文方法 G 的对比实验,进一步验证 G 的有效性.
由于 STV 方法不能用本文的用户群体满意度指标衡量其选择的服务的合理性,因此需要在 STV 方法的基