Page 31 - 《软件学报》2020年第10期

徐梦炜 等:面向移动终端智能的自治学习系统 3007

出正确的结果,而在整个处理过程中无需对数据进行解密.一些相关工作 [8,9] 探究了如何将同态加密运用于机器
学习训练过程,但主要集中在一些简单算法上,如支持向量机、决策树等.由于深度学习运算的复杂性,为其设计
同态加密算法具有更大的挑战.同时,在加密数据上进行训练也远远比预测 [10] 更加复杂.Nandakumar 等人 [11] 初
步探讨并实现了如何利用同态加密技术在加密数据上进行深度学习训练.他们使用了 ciphertext packing 技术对
训练进行加速,但训练的效率依旧不高,无法支持卷积层操作,在训练得到模型精度上甚至还有少量的损失.
差分隐私 [12] 最初是针对数据库查询而设计的,其目的在于将用户隐私量化,保证用户只能够获取数据库的
统计信息,而无法获得单独的个体信息,同时最大化数据查询的准确性.差分隐私的具体实现方式主要是在查询
结果里加入随机性,如服从 Laplace 分布和指数分布的噪音.为了将差分隐私技术应用于机器学习训练过程中的
[5]
数据保护,Abadi 等人 提出修改模型的训练算法,在每一个 batch 的数据训练得到的梯度之上加入扰动,然后将
扰动后的梯度应用于模型训练.在该过程中,还可以累加扰动的数值,从而在训练结束之后得到整体隐私的量化
度.该技术也已经被集成到 TensorFlow 的开源项目中,以帮助开发者训练具有隐私保护的深度学习模型.Shokri
等人 [13] 提出部分梯度共享的策略,即在每一轮训练结束之后,选择性地分享梯度中的一部分,然后将多个组织的
梯度聚合,整体应用于旧模型参数上,得到更新后的模型.这种策略能够有效工作的主要原因在于梯度下降训练
法本身对不可靠的带有随机性质的模型梯度具有很强的健壮性.在这种策略之上,Shokri 等人进一步采用差分
隐私技术来量化并减少隐私泄露的风险.
小结:以上技术虽然能够在某种程度上保护用户隐私,但同样存在着其局限.例如:联邦学习技术始终要求
用户上传数据相关信息(模型梯度或者模型本身),导致其依旧存在隐私泄露的风险 [14] ,并且联邦学习本身会导
致大量的网络通信开销,对带宽的要求较高;同态加密技术会导致大量的计算开销,无法被应用于复杂的神经网
络结构及实践之中;差分隐私技术主要用于保护训练后得到的模型中蕴含的数据信息,而无法保护训练过程中
训练数据不被获取以及被恶意地使用.
2 分布式自治学习:优势、挑战及可行性分析

本文提出分布式自治学习的概念,其核心思想是:终端设备无需以任何形式上传用户数据,与用户数据相关
的运算(模型训练)全部在本地进行.在某种程度上,自治式学习可以视为集中式学习到近些年的联邦式发展方
向的一种特殊情况,即,原始数据上传(集中式学习)→训练结果数据上传(联邦学习)→无数据上传(自治式学习),
其对隐私的保护程度也依次递增.在自治式学习中,每个客户端设备完全不依赖于任何外部的数据与计算能力,
从一个初始模型出发,通过本地数据和计算能力获得一个新的部署于本地的高精度定制模型.

(a) 集中式学习 (b) 联邦式学习 (c) 自治式学习
Fig.1 A comparison of different machine learning training paradigms
图 1 多种机器学习训练模式的比较示意图
这种自治式学习的计算模式也契合了近些年逐步引起重视的去中心化思想.联邦式学习虽然在某种程度
上进行了去中心化(相较集中式学习),但是依旧存在一个中心化节点来协调各个终端的计算任务,汇总这些终
端上传的模型参数.而自治式学习实现了更加彻底的去中心化机器学习训练模式.
我们认为,自治式学习的优势主要体现在以下 3 个方面.