Page 348 - 《软件学报》2025年第9期

赵亚茹 等: 云边联邦学习系统下抗投毒攻击的防御方法 4259

这就给攻击者发起投毒攻击创造了机会, 使得设计有效的防御方法更加困难. 因此, 我们调查了 FedDiscrete 算法
在不同的训练数据分布下面向差异化的攻击能力表现出的性能. 而且, 比较现有的工作, 结果表明 FedDiscrete 在
IID 和 non-IID 场景下均具有明显的优势, 具体的实验细节展示在第 4 节.
此外, 我们也从 FL 高效性的角度来讨论 FedDiscrete 的性能. 不同于以往基于连续更新空间的防御方法, 上传
客户端本地训练的模型更新到服务器端, 其极大地增加了计算代价和通信开销, FedDiscrete 规避了直接上传本地
模型更新, 而是集中于上传每个客户端的本地排名向量到服务器端, 这在协同训练的全局任务中显然降低了计算
成本和通信开销. 而且, 与集中式 ML 框架不同, 我们的 FL 任务的学习效率主要取决于客户端的计算成本、客户
端和边缘服务器以及边缘端和云服务器之间的通信成本、边缘服务器和云服务器执行聚合算法的计算成本. 在客
户端, 本地训练是离线进行的. 根据第 3.2 节的描述, 一方面, 我们知道 FedDiscrete 的额外成本主要来自于客户端
˜
˜ 表示最后一层权重参数的维度大小,
计算参与者贡献度的过程, 其时间复杂度为 O(d w ·T Local ), 其中, d w T Local 表示本地
训练阶段的时间, 这主要是因为贡献度是基于模型权重参数通过主特征提取、线性计算和缩放操作迭代实现的;
另一方面, FedDiscrete 防御创建离散更新空间的计算成本受本地排名计算的支配, 其本质是对网络中的卷积层和
全连接层的连接边的分数所构成的固定维度大小的向量进行排序操作, 则对于一个客户端而言, 其时间复杂度为
O(d Local ×log(d Local )), 其中, d Local 表示该客户端构建的离散更新空间的维度大小. 由此可知, 模型越复杂, 参数数量
增加, 离散化操作的计算量越大. 在检测过程中, 通信开销主要来自于所有客户端上传本地排名构建的离散空间到
E 个边缘模型的全局排名构建的离散空间到云端的过程. 我们知道, 客户端是通过
边缘端的过程以及边缘端上传
随机选择的方式参与 FL 任务, 这就使得每个客户端参与的轮数不同, 对于前者, 每个客户端平均参与到边缘模型
K E ·m E ·m ( Em m )
的次数为 · = , 则对应通信开销为 O · ·R· P Local , 其中, P Local 表示客户端上传的离散更新空间的
N K N N K
O(P Edge ·R) P Edge 表示边缘模型上传的离散更新空间的
,
参数数量; 类似地, 对于后者, 一个边缘模型的通信开销为
(( ) )
Em 2
参数数量. 因此, 检测过程的总通信开销为 O · P Local + P Edge R . 相较于边缘端接收客户端上传的离散更新空
NK
间的过程所产生的通信开销而言, 后者所产生的通信开销是微不足道的, 因此, 在本文中, 我们主要关注前者产生
的通信开销. 显然, 根据第 3.2 节的介绍, 这就很大程度上降低了上传和下载模型参数的通信成本, 而且, 客户端通
信的模型参数通常是 32 bit 或 64 bit (比如, FedAvg 算法). 在服务器端, 其操作是在线执行的. 在 CEFL 系统下, 边
缘服务器接收客户端上传的离散更新空间并执行多数投票聚合, 以获得边缘模型; 同样地, 云端接收边缘模型上传
的离散更新空间并执行全局聚合, 以获得全局模型. 因此, 服务器端的计算代价主要源于边缘端和云端的多数投票
聚合操作, 即依赖于客户端的本地排名, 通过线性求和的方式计算所有边的信誉值, 然后排序并返回对应索引以获
O(K ×d Local + E ×d Edge ), 其中, K 是客户端数量, d Edge 是边缘
得全局排名, 该过程的时间复杂度通常是线性的, 即为
端构建的离散更新空间的维度大小. 一般地, 在 CEFL 系统下, 聚合阶段的计算能力比客户端强大得多, 因此, 我们
认为聚合阶段的线性成本也是有限的, 可以忽略不计. 综上, 就提高 FL 高效性和减少计算成本而言, 我们的方法
具有一定的可行性.
进一步地, 目前有一些工作与本文的思想类似, 它们基于连续更新空间或者离散更新空间设计防御方法, 以移
除针对 FL 投毒攻击的恶意更新. 例如, Li 等人 [40] 提出了一种两阶段的防御方法 LoMar, 其主要是通过对客户端的
模型更新打分以区分恶意和干净更新; Lyu 等人 [41] 探讨了一种利用声誉强制参与者收敛到不同的模型, 以实现客
户端之间的公平性; Mozaffari 等人 [27] 提出了 FRL 方法, 通过创建离散更新空间减少可选择的模型更新. 我们认可
上述的思想, 因为在 CEFL 系统中, 良性参与者和恶意攻击者所训练的模型更新之间存在差异, 鉴于此, 通过移除
可能的恶意更新实施防御是可行的; 另一方面, 离散更新空间的使用会导致部分关键信息丢失, 比较连续更新空
间, 其能够在选择模型更新空间上缓解攻击者的投毒能力, 基于这个思想实施防御同样也是可行的.
[40]
然而, LoMar 基于连续更新空间实施防御, 但未能考虑到模型更新的复杂性 (ML 模型大和维度高的特点),
这主要是由于 ML 模型的维度也是影响防御性能的一个重要因素. CFFL [41] 假设服务器端拥有一个与原始训练数
据具有相似分布的验证数据集, 显然, 该方法类似于现有集中式 ML 防御方法的思想, 不适用于 FL 场景. FRL [27] 方
法集中于无目标投毒攻击且忽略了协作训练的参与者之间可能存在搭便车的现象. 相反, FedDiscrete 防御能够在