Page 232 - 《软件学报》2026年第6期
P. 232

吴俊儒 等: 基于协作关系的模型动态路由                                                            2551



                  参与大模型                                                   动态协作路由算法
                                                                                                  串联路由
                                                                                                  被选中
                                                                             任务                    模型
                                                  ···


                      大模型1           大模型2                   大模型N                                   下一跳
                                                                                                    预设
                                                                               不认可     认可    不认可
                  互评量化机制
                        模型互评                            协作关系感知                                     下一跳
                                                                                                    预设
                                                               路由1
                                                                                认可    不认可     认可
                                                               路由2
                                                              ···  ···
                               ···                                                ···    ···    ···
                                                               路由n
                        ···
                                           互评          ···                                         下一跳
                                           结果                                                       预设
                         ···  ···                              路由1
                                                                                认可     认可     认可
                                                               路由2
                                                              ···  ···
                                                               路由n
                                                                                     输出回复
                        预设任务                            优质路由   一般路由
                                             图 2 基于协作关系的模型动态路由方法

                    互评量化机制如算法        1  所示. 在模型互评过程中, 给定一个预设任务集合              T = {t 1 ,t 2 ,...} 以及参与串联架构的
                 模型集合   M = {M 1 ,..., M N }, 每个模型都需要对  T  中的所有任务进行回复且需要对所有其他模型的回复进行评价.
                 需要注意的是, 由于模型的异构性, 不同模型对相同的回复会有不同评分, 评价标准并不统一. 以百分制为例, 即使
                                                M 1  给分区间可能在    95–100 (                      M 2  则可能在
                 M 1  和  M 2  对相同回复持同样认可度, 但                           M 1  认为好回复就是满分), 而
                 95–99 ( M 2  认为不可能有满分回复出现), 从而分别给出         100  和  99  的分数. 为了解决该问题, 评价会以等级的形式
                 进行, 即假定等级集合为       G = {g 1 ,g 2 ,...}, 其中  g 1  为最高等级,  g 2  次之, 以此类推. 模型互评将各个模型所给出的梯
                 度等级映射为具体分数, 以此减少模型间异构性对评价产生的偏差影响. 假设                          r jk ∈ G  表示  M j  对任务  t k  的回复,
                 S i (r jk ) ∈ R  表示  M i  对  r jk  的评分, 则模型互评具体过程如下.
                    (1) 对于任务  t k ∈ T , 模型   M j  生成回复  r jk .
                    (2) 对于模型   M j 、任务  t k ∈ T  以及满足   i , j 的回复  , 每个模型   M i  生成评分  S i (r jk ).
                                                            r ik
                    (3) 计算模型   M i  的评分等级, 获得评分等级集合以及得分等级集合, 分别表示为:

                                               Given i = {S i (r jk ) | t k ∈ T, M j ∈ M,i , j}       (2)

                                              Received i = {S j (r ik ) | t k ∈ T, M j ∈ M,i , j}     (3)
                    然后, 该机制进一步评估两两模型间协作质量, 将每个模型                  M i  的  Given i  和  Received i  转换为分数, 等级与分数
                 映射公式为:

                                                     score(g k ) =|G|−k +1                            (4)
                    因此, 评分和得分可以分别由如下公式计算:

                                                      Sum({score(h) | h ∈ Given i })
                                              ScoreG i =                                              (5)
                                                              |Given i |

                                                     Sum({score(h) | h ∈ Received i })
                                             ScoreR i =                                               (6)
                                                            |Received i |
                    将评分和得分分别划分为两个区间, 即高评分               (评分处于全体模型评分前          d 1 %)、低评分  (评分处于全体模型
                 评分后  (100–d 1 )%) 区间以及高得分  (评分处于全体模型得分前        d 1 %)、低得分  (评分处于全体模型得分后 (100–d 1 )%).
                 通过正交组合评分以及得分区间, 得到表             1  所示的四元能力状态.
   227   228   229   230   231   232   233   234   235   236   237