Page 98 - 《软件学报》2026年第4期

李昱洁 等: 面向开放世界持续学习的任务敏感提示驱动混合专家模型 1539

4.3 自适应的开放检测阈值
在本节中, 我们详细探讨如何在已知样本与未知样本之间构建判别边界, 重点在于如何在开放世界持续学习
过程中针对不同的任务均能够在测试推理阶段准确地检测出未知样本. 为应对这一挑战, 提出一种用于自适应地
进行开放集检测阈值选择的新方法, 该方法不需要参与训练即能够在测试推理阶段高效地进行开放样本检测, 借
助于已学习任务中获得的知识来构建一个紧凑的判别边界, 用于识别未知样本.
受到开放集识别现有工作的启发, 识别未知样本的关键在于充分利用对已知类别的学习, 我们提出的自适应
Softmax 熵上的阈值, 以任务敏感的提示改进后的 MoE 融合样
开放决策边界构建方法的核心思想是自适应地选择
本表征为基础, 利用对已知类别的知识设定合理的开放边界.
具体地, 本文提出了一种基于 logits 分数的任务敏感开放决策边界构建方法, 通过估计测试样本的分类输出
logits 得分来实现判断: 如果某个测试样本的最大 logits 得分不对应任何已学习任务类别, 则自然可以推断该样本
属于开放集 (未知类别). 在完成任务 t 的训练后, 将经过提示和多专家输出增强的训练样本标识输入至冻结的预训
练主干网络, 最终由一个可训练的分类器 f ν t 输出该样本未缩放的 Softmax 熵得分.
t 中的训练样本 , 首先使用通用冻结投影层得到的样本嵌入表征 ; 然后, 通过第 4.1 节中公式 (8)
t
t
对于任务 x i h i
h 进行 token h ; 因此接下
ˆ t
t
得到当前任务 t 下学习到的一批提示 , 对样本嵌入 i 增强, 我们将最终的增强嵌入记作 i
p t
来可以得到:

( )
h ˆ t (14)
i,t i
Logit Score = f ν t
t
这样, 我们就能够得到该样本的最大 Softmax 熵得分, 并通过对任务 的所有样本的最大 Softmax 熵得分取平
均, 来确定通过任务 t 学习到的开放集检测的阈值 :
η t
|X t |
1 ∑ ( )
η t = ς · max Logit Score i,t (15)
|X t | i
i=1
t
其中, |X t | 是任务 中训练样本的总数量, ς 为可调节的缩放因子超参数.
在推理阶段, 我们使用该阈值来判断一个样本是否属于开放集, 仅需将样本最终得到的最大 Softmax 熵得分与
阈值 η t 进行比较: 当样本最大 Softmax 熵得分小于阈值时, 则该样本被判定为未知对象, 模型将其标注为“unknown”;
反之, 则该样本被判定为已知对象, 模型则调用训练得到的分类头将其分类到已知类别中. 通过这种高效且即插即
用的自适应策略, 模型能够有效支持开放世界持续学习场景下针对未知类别的检测, 避免产生错误分类. 同时, 由
于样本经过任务敏感的提示融合和多专家网络输出融合, 能够有效地进行知识传输和更新.
5 实验分析
在本节中, 为了全面且充分地验证所提出的 TP-MoE 模型在开放世界持续学习任务下的表现, 我们对比了两
个广为应用且具有挑战性的基准数据集, 即 Split-CIFAR100 和 Open-CORe25. 在这两个数据集的基础上, 本文完
整地将开放世界持续学习在两种不同的任务设定下对所提模型进行了验证. 同时, 针对性地解决了两个主要研究
问题, 验证 TP-MoE 的效果, 并通过一系列消融实验和参数稳健性检验进一步验证不同模块的有效性和模型的稳
健性.
5.1 实验设置与实验数据
第一, 考虑到开放世界持续学习中任务类增量的场景, 记为类增量开放世界持续学习 (class-incremental OWCL,
CI-OWCL). 在此场景下, 我们将 Split-CIFAR100 数据集划分为 10 个任务 (每个任务包含 10 个类别), 测试时每个

任务的类别无重叠, 即新类别是随着新任务不断出现的, 且在每次训练当前任务时, 其余任务的训练集均不可用;
测试时, 每次都使用所有任务的完整测试集进行评估, 这样既保证了在前 9 个任务中会不断出现未知样本, 又保证
了未知样本会随着新任务的学习而不断得到对应的标签数据. 在此设定下, 开放世界持续学习模型不仅需要在类
增量任务上保持良好的分类效果, 还需要准确地识别没有学习过的开放样本, 同时, 还需要根据不断学习的新类别