Page 239 - 《软件学报》2026年第6期
P. 239

2558                                                       软件学报  2026  年第  37  卷第  6  期


                 Route3  的协作似乎趋于“断裂”, Baichuan   模型在   Route3  中的参与率过低, 其潜在的优势回复能力无法有效传递
                 给  DS-Qwen  模型. 该结果对应了表     1  数据, 表  1  显示  Baichuan  模型对  DS-Qwen  模型的跨模型评分较高, 其证实
                 了评价分数对于实际协作效能的映射. Route4           几乎仅存在单模型       (约  60%) 与  1  次寻路  (约  40%) 两种情况, 且  1  次
                 寻路使   DS-Qwen  模型表现下降, 这表明协作关系的不匹配性与随机性会使得该路由呈现出模型能力抵消现象.

                     ERNIE  0.3   0.093   0.46   0.46   0.37      ERNIE
                                                                                                     80
                     Qwen  0.33   0.13   0.59   0.5   0.48  0.5   Qwen
                                                                                                     75
                   Baichuan  0.35   0.33   0.39   0.35   0.27   Baichuan
                                                                                                     70
                                                        0.4
                                            0.2
                  模型/路线  DS-Qwen  0.15   0.037   0.36   0.24   0.11  0.3  无害率  模型/路线  DS-Qwen        65  无害分数
                                                                                                     60
                     Route1
                                                                  Route1
                           0.22
                                                  0.28
                                       0.48
                                 0.047
                                                                                                     55
                     Route2  0.3   0.11   0.47   0.43   0.45  0.2  Route2
                                                                                                     50
                     Route3  0.15   0.037   0.36   0.2   0.11     Route3
                                                        0.1                                          45
                     Route4  0.29   0.079   0.45   0.41   0.36    Route4
                          公平性 安全性 道德性 合法性数据保护                          公平性 安全性 道德性 合法性数据保护
                                    测试维度                                         测试维度
                                    (a) 无害率                                     (b) 无害分数
                                            图 6 Flames 数据集无害率与无害分数结果


                    40                           60                            30
                                                 50                            25
                    30                           40                            20
                   回复占比 (%)  20                 回复占比 (%)  30                  回复占比 (%)  15



                    10                           20                            10
                                                 10                            5
                     0                            0                            0
                      Route1  Route2  Route3  Route4  Route1  Route2  Route3  Route4  Route1  Route2  Route3  Route4
                                路由                           路由                            路由
                            (a) 得分为1回复                    (b) 得分为2回复                   (c) 得分为3回复
                                                   单模型     1次寻路    2次寻路     3次寻路
                                             图 7 Flames 数据集无害分数路由情况

                    综合图   6  与图  7  的结果可知, 协作组合结合所提出的动态路由算法能够提升模型在无害率和无害分数上的表
                 现, 同时保持较短的路由, 在降低计算资源的同时保证了回复性能. 其中, Route2                   还在多个指标上明显优于其他路
                 由, 所提路由算法可以实现模型的定向补强, 也可以在模型性能不一致的前提下实现有效组合.
                  4.6   CaLM Lite 实验结果
                  4.6.1    准确率
                    CaLM Lite 准确率结果如后文图       8  所示, 各模型/路由的准确率处在       50%–60%  区间内  (极差  11.8%). Route1  推
   234   235   236   237   238   239   240   241   242   243   244