Page 356 - 《软件学报》2025年第5期
P. 356
2256 软件学报 2025 年第 36 卷第 5 期
本文的主要贡献如下.
(1) 定义了激励欺诈攻击问题, 提出了激励成本比来评估激励欺诈攻击方法的优劣和防御方法的有效性.
(2) 提出了一种新的针对模型梯度进行攻击的激励欺诈攻击方法 GSupA, 通过放大模型梯度来提高激励, 能
够成功进行激励欺诈攻击.
(3) 设计了针对梯度放大攻击的防御方法, 计算和比较参与者上传梯度的二范数值来进行模型检验, 在无需多
余信息的情况下高效地进行防御.
(4) 通过在 MNIST 等多个数据集上进行图像识别分类模型训练实验来对梯度放大攻击和基于 L 2 -norms 的防
御方法进行评估, 结果显示使用梯度放大攻击能大幅提升所获激励, 得到满足要求的激励成本比, 而基于 L 2 -norms
的防御方法能有效防止梯度放大攻击, 验证了本文方法的有效性.
本文第 1 节综述本文提及方法所需的背景知识和主要概念. 第 2 节定义激励欺诈攻击问题. 第 3 节对本文提
出的梯度放大的激励欺诈攻击方法进行详细的描述. 第 4 节对本文提出的基于 L 2 -norms 的防御方法进行详细说
明. 第 5 节通过实验验证本文方法的有效性. 最后总结全文.
1 背景知识
本文探讨的是联邦学习中的激励欺诈攻击与防御, 涉及联邦学习及其激励机制和防御机制, 下面对这些相关
概念和基本知识进行介绍.
1.1 联邦学习
联邦学习这一概念由谷歌在 2016 年最先提出 [1] , 最开始是为了解决手机终端用户数据的模型训练问题, 目前
该技术主要用于解决数据在不共享情况下的联合建模问题. 联邦学习系统通常由一个联邦服务器和多个客户端
(参与者) 组成, 这些客户端都持有一定的本地数据集, 在联邦学习中使用本地数据集训练本地模型并上传至服务
器, 服务器接收到各客户端的本地模型梯度后进行聚合操作来更新全局模型. 联邦学习的具体训练过程如下: 在第
t 轮, 联邦服务器将上一轮的全局模型参数 w t−1 广播发送给各个客户端, 每个客户端在获取初始模型参数后会在本
w , 接着将本地模型参数而不是原始训练数据
t
地使用其持有的私有数据集训练模型并得到相应的本地模型参数 i
w 来更新
t
发送给联邦服务器. 在从各个客户端接收到本地模型参数后, 联邦服务器对这些参数进行聚合操作得到
全局模型, 再将更新后的全局模型参数广播发送给各个客户端. 上述这一过程会多轮次重复进行直到满足要求即
停止, 如达到期望的模型测试准确率或达到规定的训练轮次等. 在联邦学习中, 服务器不需要将所有本地数据收集
起来合为一个数据集来进行模型训练, 而是数据持有者作为联邦学习的参与者联合训练一个机器学习模型, 和传
统的模型训练方法对比, 充分保护了数据的隐私安全.
联邦服务器在更新全局模型时使用的聚合算法在联邦学习中起到了至关重要的作用, 采用不同的聚合算法得
[2]
到的全局模型不同, 目前主流使用的聚合算法为联邦平均算法 FedAvg . FedAvg 的思想是基于各客户端的训练
数据量对其本地模型参数进行加权计算, 如公式 (1):
∑
N n i
t
w = w t (1)
i=1 n i
其中, n i 为客户端 i 的本地训练数据量, n 为所有客户端的本地训练数据量之和, N 为联邦学习中参与者的数量.
1.2 联邦学习中的激励机制
联邦学习系统最终得到的结果很大程度上依赖于各参与者的本地数据和本地模型梯度的质量, 然而数据持有
者可能不愿意在没有足够报酬的情况下参与联邦学习并分享他们的本地模型梯度, 同时联邦学习中的参与者是独
立自主的, 他们可以自行决定如何参与联邦学习, 其行为是服务器无法控制的. 激励在一定程度上可以影响参与者
的决定, 因此需要在联邦学习系统中引入激励机制. 采用不同的激励机制, 参与者也会实行不同的训练策略, 从而
影响最终得到的联合模型的表现. 如何有效评估每个参与者的贡献是联邦学习实际应用与长远发展的关键问题 [10] ,
也是激励分配机制设计中最具挑战性的.