Page 395 - 《软件学报》2026年第3期

1358 软件学报 2026 年第 37 卷第 3 期

distributed (non-IID) data, which significantly degrade model training performance. To address these challenges, this study proposes an
efficient federated learning framework—FedAlt, aiming to enhance model training performance (e.g., test accuracy) in edge networks while
reducing resource consumption. FedAlt builds upon the classic federated learning algorithm FedAvg by incorporating block-wise multi-
output and self-knowledge distillation techniques. These enhancements enable clients to more effectively absorb information from the
model’s representational layers during local training, mitigating the negative impact of non-IID data on model training. Specifically, the
model is divided into multiple consecutive blocks, and at the start of each global training round, the server sends only the initial blocks of
the global model to the clients, reducing communication overhead. Clients then combine the global model with their local models and use
self-knowledge distillation techniques to absorb information from the model’s representational layers, addressing data heterogeneity
challenges. Moreover, considering that communication overhead increases with the number of transmitted model blocks, adaptive
algorithms are designed for both the server and client sides: the model block distribution algorithm and the block-wise multi-output
regularization algorithm. These algorithms dynamically adjust the number of distributed model blocks based on the client’s data
distribution, computational capacity, and communication capabilities. Extensive experimental results show that, compared to existing
methods, FedAlt improves average test accuracy by approximately 2.64% under limited communication bandwidth conditions.
Key words: edge computing; federated learning; data heterogeneity; resource limitation

1 引 言

传统云计算模式虽然具有高度的灵活性和可扩展性, 但在处理大规模数据、实时分析以及满足低延迟需求方
面存在一定的局限性 [1] . 为了解决这些问题, 边缘计算 (edge computing, EC) 作为一种新兴的计算模式, 正逐渐引
起广泛关注 [2] . 边缘计算是指在靠近物或数据源的系统边缘侧, 集成存储、计算、网络等能力的开放平台 [3] . 这种
分布式的计算模式可以为用户就近提供大数据计算 (如模型训练) 服务, 从而降低网络延迟和数据传输成本. 然而,
随着边缘计算的普及, 在涉及用户隐私和敏感数据的场景中, 数据隐私和安全性等问题日益凸显. 在此背景下, 联
[4]
邦学习 (federated learning, FL) 作为一种适用于边缘场景的分布式机器学习方法逐渐受到重视. 在联邦学习中, 多
个客户端分别使用自身的本地数据进行模型训练, 然后将更新后的本地模型上传到服务器进行全局聚合. 服务器
聚合得到全局模型之后将其返回给客户端并开始下一轮的训练. 这种服务器与客户端之间的传输过程一直持续到
全局模型收敛或者资源耗尽为止. 由于联邦学习传输模型而不是数据, 因此显著减少了模型训练过程中的通信延
迟. 此外, 服务器不会访问客户端的本地数据从而保护了用户隐私.
然而, 在边缘计算环境下实现高效的联邦学习仍然面临诸多挑战 [5] . 其中, 数据异构性也称为非独立同分布
(non-independent and identically distributed, non-IID) 数据, 是当前联邦学习中最为显著的挑战 [6] . 数据异构指的是
参与设备之间的数据分布和特征存在较大差异, 导致在联邦学习过程中出现数据不均衡和特征不匹配等问题. 在
这种情况下, 某个参与设备上训练的模型可能无法直接泛化到其他参与设备. 例如, 在医疗领域中, 不同医院的患
者数据可能包括不同的疾病种类和严重程度, 以及不同的医疗记录格式, 这种异构性给跨医院的模型训练和共享
带来了巨大挑战. 此外, 联邦学习还面临着网络中通信资源有限的问题 [7] . 参与设备之间有限的通信带宽限制了模
型参数和更新信息的传输效率. 例如, 在一个银行的联邦学习场景中, 各个分行通过联邦学习来改进欺诈检测模
型. 然而, 由于分行之间的网络连接速度有限, 传输大量参数和更新信息可能会导致通信拥堵和延迟, 从而影响模
型的训练效率和精度.
[4]
正则化技术是应对联邦学习中客户端之间数据异构性问题的一种有效方法. 基于 FedAvg 、FedProx 通过
[8]
在客户端本地损失函数中增加一个表示全局模型与本地模型距离的正则化项, 使得客户端的本地训练更加稳定.
[9]
FedMLB 将模型划分为多个块, 利用多条本地计算分支构建多个模型块, 并通过知识蒸馏来汲取本地计算分支的
知识, 以获取更多的全局信息. 尽管这些正则化方法有效地缓解了数据异构性问题, 但它们增加了模型层次的计算
时间, 减缓了模型的收敛速度 [10] . 为了减少联邦学习训练过程中通信资源开销, Jiang 等人 [11] 提出了 FedMP, 通过
自适应模型剪枝, 使客户端根据自身状态调整本地模型的大小, 从而减少服务器与客户端之间的通信开销. Kim 等
人 [12] 提出了 DepthFL, 为客户端定制不同大小的模型并通过深度缩放使得服务器和客户端之间只传输部分模型从
而减少了通信开销. 然而, 这些方法都使得模型受训练的参数减少, 从而降低全局模型训练的性能.