Page 79 - 《软件学报》2026年第4期

1520 软件学报 2026 年第 37 卷第 4 期

w . 随后, 依据客户端上传的局部类别原型加权聚合更新全局类别原
t+1
行加权聚合, 更新得到新一轮全局模型参数
g
+
−
型表示 {P ,P }. 完成更新后, 服务端将模型参数和类别原型广播至各客户端, 用于启动下一轮本地训练.
3.4 收敛性分析
本节对于 FedRPDA 在非凸条件下的收敛性给出了简要的理论分析, 并作出与现有框架相似的假设条件.
假设 1. L n (公式 w n 和w , 满足:
′
L -光滑性. 每个客户端的局部目标函数 (18)) 是 L -光滑的, 即对任意模型参数 n
( ′ ) ′
||∇L n w −∇L n (w n )|| ⩽ L||w −w n || (19)
n n
等价于二次上界条件:

L
( ) ⟨ ⟩ 2
′
′
′
L n w ⩽ L n (w n )+ ∇L n (w n ),w −w n + ||w −w n || (20)
n
n
n
2
假设 ∇L n (w n ;ξ) 是对真实梯度的无偏估计:
2. 无偏梯度. 基于小批量数据 ξ 计算的随机梯度
[ ]
E ξ ∇L n (w n ;ξ) = ∇L n (w n ) (21)
假设 2 w n 有:
n
3. 有界方差. 随机梯度方差有界, 即存在常数 σ , 使得对任意
[ ]
2
E ξ ||∇L n (w n ;ξ)−∇L n (w n )|| ⩽ σ 2 n (22)
假设 2 2 w n 有:
4. 有界非相似性. 存在常数 β ⩾ 1 与 κ ⩾ 0, 使得对任意模型参数
N ∑ N ∑
2 2 2 2
ρ n ||∇L n (w n )|| ⩽ β || ρ n ∇L n (w n )|| +κ (23)
n=1 n=1
γ n
其中, ρ n = ∑ 表示归一化聚合权重.
N γ
n ′ =1 n ′
假设 h(·) 满足 L 2 -Lipschitz 连续:
5. Lipschitz 连续. 节点特征提取网络
( )
′ ′
||h w ;v −h(w n ;v)|| ⩽ L 2 ||w −w n ||, ∀v ∈ V n (24)
n
n
定理 1. FedRPDA 的非凸收敛性. 基于上述假设, 在非凸条件假设下, FedRPDA 算法经过 T 轮通信后可以达到
如下收敛保证:

1 ∑ ( ) 2 ] 4β 2 ( ( ) ) ( ) 2κ 2
T−1 [
2
2 2
E ||∇L w || ⩽ L w −L +2β L η K D +σ + +2β Lησ +4β λL 2 G (25)
2
0
2
2
2
t
2
∗
T g ηKT g K
t=0
证明: 考虑在通信轮次 t 时客户端 n 的第 k 步本地更新:

( )
t
t
w t n,k+1 = w −η∇L n w ;ξ k (26)
n,k
n,k
根据假设 1–3 及假设 5, 可以得到任意客户端在单个通信轮次的局部目标函数偏差界限:

K−1 ( 2 ) 2
[ ( )] ( ) ∑ Lη
( )
2 LKη
2
t

E L n w t ⩽ L n w − η− − λ

∇L n w t
+ σ +ληL 2 KG (27)
n,K g 2 2 n,k 2 n
k=0
通过选取适当的 η 和 λ 值, 且扰动项受控, 可以保证单轮期望下降.
对于服务端加权聚合项, 可以得到全局损失的递推上界:

 
N ∑ K−1 )
2 LKη 2
[ ( )]   ( ) η ∑
(  
2
t 

E L w t+1 ⩽ ρ   t g

∇L n w t n,k
+ σ +ληL 2 KG     (28)
n L n w −
n
g
n=1 2 k=0 2
由假设 4 T −1 求和, 可以得到:
和梯度有界性 D ≜ max w,n ||∇L n (w n )||, 对 t = 0 到
1 ∑
( )
2 ] 4β 2 ( ( ) ) ( ) 2κ 2
T−1 [
2
2
2
2
2
2 2
2
E
∇L w
⩽ L w −L +2β L η K D +σ + +2β Lησ +4β λL 2 G (29)
0
t

∗
T g ηKT g K
t=0
其中, L ≜ min w L(w).
∗
这表明在非凸情形下, 随着通信轮次 T 的增加, FedRPDA 的平均梯度范数平方持续下降, 其收敛水平受异构
性、噪声以及多样化项共同约束. 详细推导过程可见附录 A.