Page 38 - 《软件学报》2020年第10期

3014 Journal of Software 软件学报 Vol.31, No.10, October 2020

为各个终端设备上的本地数据集.其中,FEMINST 同样来自原 LEAF 的标准数据集,数据为 non-iid.ImageNet 数
据集用于训练 MobileNet 的 1 000 类物体识别,FEMINST 用于迁移学习至手写体识别任务,迁移学习中只有最
后一层全连接层与 Softmax 层会参与模型更新.两个数据集中,我们都只挑选了数据量最大的 10%用户用于训
练与测试,因为现实中用户的历史数据积累往往大于这些标准数据集的数据量.
基准线.我们比较 AutLearn 与以下方案:(1) 联邦学习是近些年兴起的在分布式数据上进行模型训练的技
[3]
术(具体见第 1 节),这里我们使用最常见的联邦学习算法 FedAvg .与自治学习技术相比,联邦学习没有对不同
用户的模型进行定制化,且需要大量的通信开销;(2) 中心化的云端训练技术(CloudTrain) [33] 将用户的数据都收
集到各个终端上,然后利用这些数据训练一个通用的模型.同样地,CloudTrain 的方法也未对模型进行定制化训
练.这种集中式的训练模式也是现在工业界通用的部署方式;(3) 中心化的定制训练技术(CloudCustomize) [34] ,
是指在 CloudTrain 获得的模型的基础上,对新模型在不同设备上的数据进行定制化训练后的结果.从模型准确
率的角度考虑,CloudCustomize 可被认为是最优的情形,因为它同时使用了用户隐私数据进行预训练和迁移学
习.但同时,CloudCustomize 的方式在用户隐私和可扩展性上都有较大的缺陷.AutLearn 和所有基准线都通过
mini-batch 的方式进行模型训练 [35] .
终端设备.我们使用 Samsung Note 8 和 Redmi Note 8 两种设备型号测试 AutLearn 在终端设备上的训练效
率,包括训练时间与能耗.
4.2 模型准确率
图 7 总结了离线学习中,AutLearn 在不同模型下和各个基准线的准确率对比.实验结果表明,AutLearn 和各
个基准线都可以训练得到收敛的模型.与 CloudTrain 这种传统的训练模式相比,FedAvg 联邦学习训练模式得到
的模型有少量的精度损失(约 1%),而 AutLearn 的精度则与 CloudTrain 模式基本持平甚至更高:在 LSTM 模型上,
AutLearn 相较于 CloudTrain 有 0.9%的精度下降,而在 MobileNet 模型上,则有 0.8%的模型精度提升.原因是,
AutLearn 采用自治式学习方式,在终端迁移学习过程中会对每个用户的模型使用该特定用户产生的数据进行
训练,达到了个性化学习的效果.此外,CloudCustomize 方式在两种模型上都得到最高的准确率,原因是它在
CloudTrain 集中式训练的基础上,再进行个性化训练,且使用相同的用户隐私数据集;而 AutLearn 使用分布不
同的数据集首先进行云端预训练得到一个全局模型,然后再利用与测试数据集同源的数据集进行迁移学习.
由于预训练与迁移学习中使用的数据集不同,难免导致预训练过程中模型学到的特征提取无法完全适用于
用户隐私数据,因此效果不如 CloudCustomize 模式.需要强调的是:在 4 种训练模式中,只有 FedAvg 和
AutLearn 考虑了用户隐私保护的问题.在这一系列实验中,我们发现模型定制化的效果有限,原因是数据集限
制了每个设备上的数据量.

(a) LSTM 模型 (b) MobileNet 模型
Fig.7 The accuracy of AutLearn compared with baselines
图 7 AutLearn 训练模型准确率与基准线对比