Page 30 - 《软件学报》2020年第10期

3006 Journal of Software 软件学报 Vol.31, No.10, October 2020

行部署?为了解决这两个问题,我们设计实现了第 1 个面向移动终端的自治式学习系统 AutLearn,其核心思想是
采用云端协同思想,在云端服务器首先利用公共数据集训练一个泛化能力较强的模型,然后在终端利用迁移学
习技术对模型进行调整,得到一个适用于该终端设备的可用于部署的模型.云端的预训练使用公共的非隐私数
据集,而无需用户上传任何数据;终端的迁移学习使用了数据增强技术,以提高训练的效果.为了不影响用户在
使用终端设备过程中的体验,我们将终端迁移学习进一步分成了两种模式:终端离线学习与终端在线学习,以适
用于不同的训练场景与目标.此外,AutLearn 引入了一系列的优化技术,包括模型压缩、运行时缓存优化、神经
网络编译器等.这些技术在保证模型精度(或极少精度损失)的前提下,极大地节省了终端设备上神经网络训练
的资源开销.
我们基于 AutLearn 实现了两个自治式学习的典型应用场景:输入词预测与图像分类,并在大规模数据集
和经典神经网络模型上进行了验证.实验结果表明,AutLearn 可以在保护用户隐私的前提下,训练得到收敛至
较高准确率的神经网络模型.与集中式/联邦式的训练模式相比,自治式训练得到的模型可以达到相近甚至更
高的准确率,产生个性化定制的效果.此外,AutLearn 的终端训练优化技术可以节省最多超过 80%的训练时间
和终端设备能耗.结合我们对真实智能手机用户使用行为的观察分析,AutLearn 可以在一天内完成新模型的
训练用于部署.

1 研究背景与相关工作

1.1 研究背景
以深度学习算法为代表的机器学习技术已经得到了学术界的广泛关注,并在工业界也进行了大量的部署.
深度学习模型的质量依赖于训练数据,后者的数量与质量决定了最终训练得到模型的准确率是否满足要求.然
而,这些数据往往需要从用户设备中采集,并包含用户的隐私信息.这些数据一旦离开终端设备就会带来隐私泄
露的风险.例如,输入法应用的词预测任务中需要用户的输入文本作为训练集,其中可能包含用户的信用卡号、
聊天记录、邮件等隐私信息.当数据被上传至服务器后,传统的信息安全技术,如加密传输、用户匿名处理等都
无法保证用户数据不会被泄露和恶意地使用.为了更加规范地保护用户数据,各个国家机构出台了相关的法律.
[1]
例如,欧盟于 2018 年正式施行《通用数据保护条例》 ,详细规定了公司在涉及用户数据时需要遵循的原则.如
何在保证用户隐私的前提下训练高质量的深度学习模型是一项巨大的挑战.为此,相关研究人员提出了不同的
解决方案.下面我们概述其中几个主要相关工作,总结各自的不足.
1.2 相关工作
[3]
联邦学习技术最初是由 Google AI 团队提出来的 ,其核心思想在于不直接上传用户数据,而是将模型训练
任务部署到终端设备,后者在训练结束后上传模型的更新到云端,而云端只需要对来自不同终端设备的模型更
新聚合,以及下发聚合后的模型.由于输入数据到梯度是多对多的高维空间映射,攻击者很难根据模型梯度获取
原始数据.因此,联邦学习在一定程度上保护了用户隐私.后续有大量的工作关注于如何优化联邦学习的流程.
[5]
例如,为了减小终端到服务器的通信开销,Konečný 等人 提出了两种优化策略:结构化更新与速写式更新.前者
将模型参数限制在一个相对更小的解空间里,使得模型可以使用更少的参数表示,从而减少了模型梯度的大小.
后者仍旧使用原模型进行训练,但在上传之前对训练得到的模型梯度进行压缩,如量化、降采样等;为了解决联
[6]
邦学习过程中的终端设备异构性问题,Li 等人 提出的 SmartPC 系统使用动态步调同步策略,在每一轮训练根
据上一轮收到终端模型更新的延迟来动态调整当前的等候期限.其次,该工作还提出了通过动态调整终端设备
的 CPU 运行频率,保证梯度可以在等候期限之前被上传,并最小化训练能耗;为了进一步优化联邦学习过程中的
[7]
数据安全,Bonawitz 等人提出模型的更新通过安全多方计算技术在终端进行融合,从而保证服务器只能看到
融合后的整体更新,而无法通过个体的模型更新来推断其训练数据.
同态加密算法允许对密文进行特定形式的代数运算后,得到仍然是加密的结果,将其解密所得到的结果与
对明文进行同样的运算结果一致.换言之,这项技术令人们可以在加密的数据中进行诸如检索、比较等操作,得