Page 408 - 《软件学报》2026年第3期

刘建春 等: 基于块级多输出和知识自蒸馏的高效联邦学习框架 1371

δ 在 CIFAR-10 和 CIFAR-100 数据集上对 FedAlt 的测试精度的影响 (%)
表 2 不同温度超参数

数据集 δ = 0.5 δ = 1.0 δ = 1.5 δ = 2.0 δ = 2.5 δ = 3.0
CIFAR-10 58.33 82.45 81.65 81.88 82.61 82.30
CIFAR-100 50.03 54.19 52.88 51.30 51.75 50.67

● 消融实验. 最后, 我们测试了 FedAlt 中两个关键部分, 即块级多输出 (BMR) 和知识自蒸馏 (KD), 对于所提
框架的性能影响. 具体而言, 我们分别测试了 FedAlt、FedAlt w/o BMR 和 FedAlt w/o KD 在给定带宽预算 (100 GB)
和 non-IID 程度 ( ε =7) 的性能 (即损失函数和测试精度). 如图 7 所示, FedAlt 的性能明显优于其他两种方案. 例如,
当训练轮数为 100 时, FedAlt 的测试精度为 80.04%, 而 FedAlt w/o BMR 和 FedAlt w/o KD 的测试精度分别为
70.89% 和 71.64%. 换而言之, 相比于其他两种方案, FedAlt 可以提高平均 8.78% 的精度. 在所提框架 FedAlt 中, 知
识自蒸馏可以改善方案在 non-IID 数据分布下的性能, 块级多输出可以显著减少带宽消耗, 因此在给定带宽的前
提下, FedAlt 和 FedAlt w/o KD 的性能显著优于 FedAlt w/o BMR. 综上所述, 块级多输出和知识自蒸馏对于
FedAlt 的性能改进有显著的必要性.

2.00
FedAlt
FedAlt w/o KD 80
1.75
FedAlt w/o BMR
1.50 60
损失函数 1.25 测试精度 (%) 40

1.00
0.75 20 FedAlt
FedAlt w/o KD
FedAlt w/o BMR
0.50
0
0 50 100 150 200 0 50 100 150 200
轮数 轮数
图 7 BMR 和 KD 对于 FedAlt 的性能影响测试

总之, FedAlt 相比于其他基线方法拥有最好的性能. 首先, 当客户端之间的本地数据分布是非独立同分布时,
FedAlt 在经历一定轮数的全局训练之后获得的全局模型相比于其他基线方法训练出的全局模型具有最高的测试
精度. 其次, 即使是在资源 (完成时间和网络带宽) 约束条件下, FedAlt 训练出的全局模型也具有最好的泛化性能.

6 总 结

本文提出了 FedAlt 框架, 在 FedAvg 基础上通过结合知识自蒸馏和块级多输出的正则化来缓解数据异构带来
的模型训练性能下降问题. 此外, 本文在服务器和客户端分别设计了相应的算法 (BMD 和 BMR), 根据客户端的不
同的本地数据分布、计算和通信能力来确定服务器分发给客户端的模型块数量. 最后, 本文通过大量实验证明, 与
现有方法相比, FedAlt 可以有效提高模型测试精度, 同时显著减少网络带宽损耗.

References
[1] Jain P, Gyanchandani M, Khare N. Big data privacy: A technological perspective and review. Journal of Big Data, 2016, 3: 25. [doi: 10.
1186/s40537-016-0059-y]
[2] Shi WS, Cao J, Zhang Q, Li YHZ, Xu LY. Edge computing: Vision and challenges. IEEE Internet of Things Journal, 2016, 3(5):
637–646. [doi: 10.1109/JIOT.2016.2579198]
[3] Shi WS, Sun H, Cao J, Zhang Q, Liu W. Edge computing——An emerging computing model for the Internet of everything era. Journal
of Computer Research and Development, 2017, 54(5): 907–924 (in Chinese with English abstract). [doi: 10.7544/issn1000-1239.2017.
20160941]