Page 89 - 《软件学报》2026年第4期
P. 89

1530                                                       软件学报  2026  年第  37  卷第  4  期


                                                                                    
                                             N ∑          K−1 
           2
                                    [ (  )]         (  )  η  ∑  
  (  ) 
 
 2 LKη   
                                                                             2
                                                t 
                                                                                     
                                   E L w t+1  ⩽  ρ    t g  
∇L n w n,k 
 +  σ +ληL 2 KG  ,

                                                n L n w −
                                                                  t
                                                                                     
                                                                             n
                                        g
                                                                                     
                                             n=1         2  k=0          2
                 由假设   4, 存在常数   β ⩾ 1 与  κ ⩾ 0, 使得:
                                        2
                                 2


                                                                         
 2
                                            N ∑ 
            
 N ∑
                                                   (   ) 
 
 2  
    (  )
                                               
           1
                                                                             2
                                              ρ 
∇L n w n,k 
 ⩾  
  ρ n ∇L n w t 
 
 −κ ,
                                               t
                                                     t
                                               n                       n,k
                                                            2
                                                           β
                                            n=1               n=1
                 分解全局梯度后, 有:


                                                    
 2

                                        
 
 N ∑  (  )
  1
 
  (  ) 
 
 2  N ∑ 
  t 
 2
                                        
   t     t 
 
 ⩾ 
∇L w 
 − L 2  t 
  t

                                                              t
                                                                              g
                                        
  ρ ∇L n w           g        ρ 
w −w 
 .
                                                                          n,k
                                            n
                                                                        n
                                        
         n,k 
  2

                                         n=1                        n=1
                    由梯度有界性      D ≜ max w,n ||∇L n (w n )||, 得到本地参数偏差界:

                                                  [
     t 
 2  (     )
                                                          
 ]
                                                     t
                                                               2
                                                                  2
                                                                      2
                                                 E 
w −w 
 ⩽ η k D +σ .

                                                         g
                                                     n,k
                    对  t = 0 到  T −1 求和, 可以得到:

                             T−1 [
                            1  ∑  
  (  ) 
 ]  4β 2 ( (  )  )     (     )  2κ  2
                                        
 2
                                                               2 2
                                                                        2
                                                                    2
                                                                                 2
                                E 
∇L w 
 ⩽      L w −L +2β L η K D +σ +      +2β Lησ +4β λL 2 G,
                                                                                         2
                                                    0
                                                                                     2
                                                             2
                                                        ∗
                                       t

                           T           g    ηKT     g                      K
                              t=0
                 其中,  L ≜ min w L(w).
                       ∗
                 作者简介
                 杨家震, 硕士生, 主要研究领域为人工智能安全, 联邦学习, 基于图的数据挖掘.
                 邱天, 博士生, 主要研究领域为机器学习, 表征学习, 基于图的数据挖掘.
                 陈可嘉, 博士生, 主要研究领域为可信的生成式人工智能, 高效深度学习.
                 段明江, 博士生, 主要研究领域为反欺诈, 基于图的数据挖掘.
                 蒋健, 高级工程师, 主要研究领域为新一代信息技术, 人工智能.
                 胡泽远, 硕士, 主要研究领域为反欺诈, 人工智能安全, 大数据分析.
                 宋明黎, 博士, 教授, 博士生导师, CCF  专业会员, 主要研究领域为计算机视觉, 模式识别与人工智能, 机器学习.
                 冯尊磊, 博士, 副教授, 博士生导师, CCF  专业会员, 主要研究领域为医学图像分析, 模型优化, 基于图的数据挖掘.
   84   85   86   87   88   89   90   91   92   93   94