Page 257 - 《软件学报》2021年第10期

李豁然 等:基于细粒度数据的智能手机续航时间预测模型 3229

5.3.2 Kendall’s Tau
Kendall’s Tau 是一种被广泛使用的排序型指标(https://en.wikipedia.org/wiki/Kendall_rank_correlation_
coefficient),其基本思想为:将所有查询(样本)按照其实际续航时间和预测续航时间分别进行排序,然后比较两
个排序的一致程度.如果两个排序完全一致,则说明预测续航时间非常可靠;如果排序完全不一致,则说明预测
续航时间完全错误.排序型指标可以较好地克服均方根误差的缺点(对噪声敏感、评价不均衡),可以作为评价指
标的有效补充.
均方根误差和 Kendall’s Tau 可以从不同的角度(数值角度和排序角度)衡量预测的准确性,但是两者都不能
解决前文提出的不可见样本问题.换言之,两者在进行评价时均需要全体样本具有明确的标签,对于标签不可见
的样本则无法纳入评价当中.处理这一问题的最简单的方法即为舍弃不可见样本,仅针对可见样本进行评价.但
是由于可见样本与不可见样本之间的分布可能存在差异,仅在可见样本上进行评价得到的结果可能与在全集
上进行评价的结果具有较大偏差,因此需要考虑如何克服这一问题.
5.3.3 Concordance Index
Concordance Index 是在生存分析(https://en.wikipedia.org/wiki/Survival_analysis)领域常用的一种评价指标,
生存分析来自于医学领域,其基本目标是研究病患的生存时间.对于一组病患,实验通常无法等待所有参与者均
死亡后才结束,因此在实验结束时会存在部分病患仍然存活.这将导致该部分病患的实际生存时间不可知.由以
上简介可知,生存分析中的生存时间不可知与续航时间预测中的样本标签不可见非常类似,因此生存分析中的
评价指标也可以引入到续航时间预测问题之中.
本文引入生存分析领域的 Concordance Index 作为评价指标,其类似于 Kendall’s Tau,对于两个样本 A 和 B,
其比较 A 与 B 实际续航时间的顺序与预测续航时间的顺序是否一致:如果一致,则 A 和 B 构成一个正序对;否则,
构成一个逆序对.与 Kendall’s Tau 不同的是,Concordance Index 能够对一些不可见样本进行处理.例如:假设会话
A 的实际续航时间为 3 小时,会话 B 的实际续航时间不可见,但可知 B 会话结束时的使用时间已为 5 小时,那么
可以明确地知道,会话 B 的续航时间一定长于会话 A.因此,即使 B 是一个不可见样本,我们也仍然可以准确地对
A 和 B 的续航时间顺序进行比较.Concordance Index 基于以上思路,将部分不可见样本纳入到评价过程中.
综上所述,本文共采取均方根误差、Kendall’s Tau 和 Concordance Index 这 3 种评价指标对预测效果进行评
价.其中,均方根误差和 Kendall’s Tau 仅用于可见样本,Concordance Index 则用于全体样本.
6 实验结果

6.1 实验基准线
在分析结果之前,首先需要选定一个适当的实验基准线,作为后续实验结果的参考.根据日常生活经验,显
然可知:当查询时,若电量与目标电量之间的差距越来越大,则续航时间会倾向于更长.如果假设电池的耗电速
率始终恒定(显然,该假设是不切实际的,仅能够作为最简单、最理想化的假设),那么电池的续航时间与查询时电
量和目标电量差呈完全正比的关系.因此,本文首先仅采用查询时电量与目标电量的差(F0)作为唯一的特征训
练模型,并以该模型的效果作为实验基准线.
相关结果见表 4 的前 3 行.上述简单模型在可见样本上的均方根误差为 149.9 分钟,Kendall’s Tau 值为
0.585 6.在全体样本上的 Concordance Index 的值为 0.867 左右.由于仅有一个特征,4 种模型得到的效果基本是
一致的.可以看出,仅采用单一特征模型的均方根误差是不够令人满意的.将近 150 分钟的误差,使得该模型的实
际应用价值较差.不过,该模型得到的 Kendall’s Tau 和 Concordance Index 尚可,均好于随机猜测的数值(分别为 0
和 0.5).
均方根误差和排序指标体现出的差异说明:查询时电量与目标电量的差(F0)和续航时间之间呈正相关性
这一点比较明显,也因此才能够仅依靠这一个指标得到较好的排序指标结果.但是仅依靠单一指标仍然比较粗
略,无法得到较为精确而具体的续航时间数值.因此,还需要借助其他指标,进一步精细化续航时间预测.