Page 254 - 《软件学报》2025年第4期

1660 软件学报 2025 年第 36 卷第 4 期

参与联邦学习, 但在后期训练过程中决定撤回其客户端数据的授权, 并希望从共享模型中删除个人数据, 则会发出
遗忘请求. 与中心化模型的机器遗忘相比, 联邦学习中的机器遗忘需考虑客户端和服务器端的交互.
目前有部分文献针对联邦学习框架下的部分算法进行了探索 [92−95] . 例如, 对于传统机器学习算法, Liu 等人 [92]
针对联邦学习框架下随机森林算法提出了遗忘方法 RevFRF. Gong 等人 [95] 针对贝叶斯推断场景提出了 Forget-
SVGD. 对于深度学习, Wang 等人 [96] 研究了使用卷积神经网络做图像分类场景下, 如何遗忘某个特定标签的数据,
Che 等人 [97] 考虑边缘计算训练局部机器学习模型的场景, 利用非线性函数分析技术来修正局部模型, 使得遗忘更
快速.
对于联邦学习框架下机器遗忘的未来研究, 首先可就其针对的机器学习算法继续扩展. 对于传统机器学习模
型, 除了已有的随机森林算法外, 还可考虑联邦学习框架下的逻辑回归和聚类算法等; 对于深度学习, 还可考虑循
环神经网络等模型. 其次, 联邦学习自身存在的问题在机器遗忘中仍需注意. 比如, 联邦学习中的通信开销, 在机器
遗忘中, 当遗忘请求到来时, 应当尽可能减少需要更新的数据量; 遗忘过程中, 可能存在客户端突然宕机的情况, 在
该情况下如何处理中断的遗忘, 以及客户端重新连接后, 是否应恢复到遗忘前的状态, 等等, 均有待讨论.

7.3 遗忘评估标准化

前文已经提到, 机器遗忘多数文献都是在自定义的理论体系下对遗忘方法进行探索, 甚至对“遗忘”的定义都
有差异. 对此, 目前仍缺少一个标准化评估框架, 如给定统一测试数据集和评估流程, 评估不同定义下机器遗忘方
法的优劣. 由于机器遗忘场景的多样性, 在设计该评估框架时, 需对问题进行全面的考量. 比如, 测试数据集需包含
删除多样本和删除多标签的场景, 以及需考虑多样本来自不同标签或相同标签的场景; 在进行机器遗忘评估时, 需
统一计算各种指标, 如加速比和准确率等. 整个评估框架需全面考虑遗忘的场景, 并对模型遗忘性能有综合展现.
此外, 研究者可进一步思考, 设计统一指标来对机器遗忘方法进行评估. 在第 5 节中, 本文提出了 3 个评估角
度, 即遗忘速度、可用性和完成性, 未来若有统一指标, 应与这 3 个角度都有所关联, 即当遗忘模型可用性高, 参数
距离小或输出距离小时, 该指标也会相应地提高. 如果存在这样的统一指标, 人们在评估机器遗忘方法或比较大量
机器遗忘方法时, 即可以此为标准, 筛选出最适合应用的算法, 这对于机器遗忘从理论投入实际应用具有重大
意义.
本节主要从遗忘数据多样化、遗忘计算多方化、遗忘评估标准化这 3 个角度展望未来的工作, 此外, 研究者
也可以考虑机器遗忘本身是否会侵犯人们隐私 [98] 等问题. 机器遗忘仍处于蓬勃发展阶段, 未来工作的开展应重视
其落地应用, 使其与生活实际更好地结合.

8 结束语

由于机器学习模型会记住用户信息, 单从数据集中删除用户数据并不能消除数据对模型的影响, 由此引出了
机器遗忘这一问题. 机器遗忘研究如何以较小的代价获得与重新训练模型相似的模型. 本文首先对机器遗忘目标
进行了定义, 随后介绍了基于训练、基于编辑和基于生成的机器遗忘方法, 概括了目前机器遗忘中用以衡量遗忘
效果的度量指标, 并对深度学习中的机器遗忘方法进行了统一实验, 比较这些方法的性能, 得出参数编辑类方法速
度较快, 可用性和完成度也处于中上; 继续训练类方法遗忘可用性和完成度较高, 但速度较慢等结论. 最后, 结合当
前发展情况, 本文提出了遗忘数据多样化、遗忘计算多方化和遗忘评估标准化这 3 个未来的研究方向. 在机器学
习得到广泛应用的当下, 让模型拥有“遗忘”用户信息的能力, 是信息时代个人隐私保护的重要组成部分.

References:
[1] Shokri R, Shmatikov V. Privacy-preserving deep learning. In: Proc. of the 22nd ACM SIGSAC Conf. on Computer and Communications
Security. Denver: ACM, 2015. 1310–1321. [doi: 10.1145/2810103.2813687]
[2] Schelter S. “Amnesia”—Machine learning models that can forget user data very fast. In: Proc. of the 10th Conf. on Innovative Data
Systems Research. 2020.
[3] Zanella-Béguelin S, Wutschitz L, Tople S, Rühle V, Paverd A, Ohrimenko O, Köpf B, Brockschmidt M. Analyzing information leakage
of updates to natural language models. In: Proc. of the 2020 ACM SIGSAC Conf. on Computer and Communications Security. Virtual