Page 103 - 《软件学报》2026年第4期
P. 103

1544                                                       软件学报  2026  年第  37  卷第  4  期


                 响, 但整体相对稳定, 长度设为        15  或  20  时通常可获得更优解, 反映出较长提示向量在复杂任务场景下具有更强的
                 特征学习能力.


                      5   84.67%   86.39%   87.35%  87.47%        5   84.14%   81.18%   80.10%  76.73%


                    Prompt length  10  84.41%  86.56%  87.74%  87.96%  Prompt length  10  82.87%  79.74%  78.74%  77.17%


                                                    87.99%
                                   86.96%
                                            87.50%
                                                                               81.24%
                          84.99%
                                                                                                77.00%
                                                                      84.34%
                                                                                        78.30%
                     15
                                                                 15
                     20   84.75%   87.23%   87.79%  87.86%       20   81.90%   80.62%   77.08%  76.00%
                            1       3        5        7                 1       3        5        7
                                   Prompt number                               Prompt number
                                  (a) Split-CIFAR100                           (b) Open-CORe25
                                  图 3 不同提示长度与不同的提示个数对             TP-MoE  的性能变化热力图


                                            表 5 不同激活函数对       TP-MoE  的性能影响

                                          Split-CIFAR100                         Open-CORe25
                    激活函数
                                ACC t  (↑) (%)  AUC t  (↑)  FPR t  (↓)  ACC t  (↑) (%)  AUC t  (↑)  FPR t  (↓)
                    Sigmoid       87.69        0.917       0.273        77.05        0.764       0.301
                     ReLU         86.95        0.910       0.278        78.96        0.748       0.289
                     GELU         87.04        0.909       0.271        79.52        0.761       0.286
                      tanh        87.61        0.915       0.280        79.78        0.789       0.320


                                        0.3                              0.6
                                       0.97                                                   AUC t
                                                                        0.82
                                                                                              FPR t
                                       0.44                            0.40
                                                     0.7
                       0.4 0.95                          0.65                          0.8
                                                 0.82        0.79
                               0.34                              0.36            0.66
                                          0.16                               0.22
                                         0.21                      0.32
                                   0.28                                    0.27
                                                                              0.70
                                                                 0.79
                                              0.87
                              0.92
                             0.5                0.6             0.7              0.75
                                 (a) Split-CIFAR100                 (b) Open-CORe25
                                         图 4 阈值对    TP-MoE  的开放检测效果影响雷达图

                    而在图   3(b) 的  Open-CORe25  数据集上使用不同的提示长度和提示个数对            TP-MoE  的性能影响图中, 提示长
                 度和提示个数的组合对模型性能的影响更加显著. 尤其在提示个数增多时, 模型精度逐步下降, 提示个数为                                7  时最
                 低的模型精度为      76.00% (提示长度为   20), 说明过多的提示可能在特定领域的任务表征中引发干扰和泛化退化. 相
                 较之下, 较短的提示长度       (5  或  10) 配合少量提示个数    (1  或  3) 能获得更稳健的性能, 表明提示机制在不同模态下
                 应进行适配调整.
                    表  5  系统比较了不同激活函数       (Sigmoid, ReLU, GELU, tanh) 对  TP-MoE  模型性能的影响. Split-CIFAR100  中
   98   99   100   101   102   103   104   105   106   107   108