Page 91 - 《软件学报》2026年第4期
P. 91

1532                                                       软件学报  2026  年第  37  卷第  4  期


                 learned  tasks  while  acquiring  new  tasks  but  also  to  recognize  unknown  categories,  thus  achieving  continuous  and  robust  knowledge
                 accumulation  and  generalization.  However,  most  existing  continual  learning  methods  are  built  upon  the  closed-world  assumption  and
                 cannot  effectively  cope  with  the  category  uncertainty  and  inter-task  interference  introduced  by  open  categories.  In  particular,  they  show
                 clear  limitations  in  balancing  knowledge  stability  and  plasticity.  Therefore,  based  on  the  formal  definition  of  the  OWCL  problem,  this
                 study  proposes  a  task-aware  prompt-driven  mixture-of-experts  model  (TP-MoE),  which  realizes  dynamic  modeling  of  task  semantics  and
                 efficient scheduling of expert modules, thus supporting knowledge transfer and knowledge update. Specifically, TP-MoE introduces a plug-
                 and-play  task  prompt  aggregation  mechanism  and  improves  the  gating  strategy  for  expert  routing,  enabling  the  continual  integration  of
                 historical  and  current  task  knowledge  during  task  increments.  At  the  same  time,  an  adaptive  open-boundary  thresholding  strategy  is
                 incorporated,  which  dynamically  adjusts  the  decision  boundaries  of  open  categories  according  to  the  transfer  between  new  and  old
                 knowledge,  thus  enhancing  both  open-category  detection  capability  and  known-category  classification  accuracy.  Experimental  results
                 demonstrate  that  TP-MoE  achieves  state-of-the-art  performance  across  various  metrics  on  the  Split-CIFAR100  and  Open-CORe25
                 benchmarks,  exhibiting  strong  robustness  and  generalization.  This  study  provides  a  scalable  and  transferable  framework  for  knowledge
                 modeling and task scheduling in open-world continual learning.
                 Key words:  open-world continual learning (OWCL); continual learning; task-aware; mixture-of-experts (MoE) model; knowledge transfer

                  1   引 言


                    持续学习    (continual learning), 又称终身学习或增量学习, 旨在使模型能够通过持续地学习不同的任务而不遗
                 忘之前学习的任务, 并在不断学习新知识的同时保留已获得的知识                      [1−3] . 现有的大多数持续学习方法通常建立在
                 “封闭世界”的假设之上, 即各任务的数据分布保持不变, 每个任务的训练集和测试集中的类别集合保持一致                                  [4−6] .
                 然而, 现实应用环境往往远比这一假设复杂: 模型可能在测试阶段遇到从未见过的新类别                             (即开放类别)   [7−9] , 这就
                 导致即便是性能最优的持续学习方法, 在面对测试时出现的未知类别时也会表现出显著的性能退化. 正是由于这
                 些现实挑战, 推动了持续学习向更具实际应用价值的开放世界环境下拓展, 要求持续学习模型在适应性和鲁棒性
                 方面具备更高能力, 以应对复杂动态的开放环境变化.
                    开放世界持续学习       (open-world continual learning, OWCL) [6,9,10] 是一种兼具实用性与挑战性的新的机器学习范
                 式. 在开放世界持续学习中, 模型需在开放环境中不断地适应潜在的动态任务序列, 其中包含的开放未知类别可能
                 在测试阶段不可预测、随机地出现            [9−12] . 与传统封闭集假设下的持续学习模型不同, 开放世界持续学习强调“边学
                 边用”, 这不仅要求开放世界持续学习模型能够识别从未见过的样本                      (或未知类别), 还需要在不遗忘旧任务知识的
                 前提下持续地学习和更新关于新出现的任务的知识. 如图                   1  所示, 我们以任务    1  至任务  t 简要展示开放世界持续
                 学习意图和本文研究动机. 在任务           1  中, 测试集中出现了训练集中没有出现过的未知类别, 面对这样的情况, 现有
                 的持续学习模型      (对应输出   1) 无法正确地识别出开放类别, 而是强制地将其错误地分类至现有的类别中; 然而, 开
                 放世界持续学习模型        (对应输出   2) 能够正确地识别出开放类别, 同时也能保证在已知类别                 (即训练集中出现过的
                 类别) 上的分类准确度. 随着任务不断地出现和学习, 到任务                 t 时, 出现了之前任务     1  中的开放类别的有标记样本,
                 那么持续学习模型才能够正确地将其分类, 但是面对没有标记的未知样本依然会造成错误的判别; 然而开放世界
                 持续学习模型不仅能够不遗忘已经学习过的知识, 还能够保持检测开放未知样本的良好能力, 减少错误分类的发
                 生, 展示出更强的泛化能力.
                    因此, 开放世界持续学习面临两大核心挑战: 一是如何准确识别未知样本, 避免未知样本被错误归类到现有的
                 已知类别中; 二是如何在持续学习的过程中保持对已学知识的稳定记忆和新学知识的增量学习, 即能够对已知样
                 本做出良好的分类. 而需要强调的是, 开放世界持续学习中的“开放识别”与“已知分类”并非独立任务, 而是相互依
                 赖、相互影响的: 未知样本的存在会加剧模型在稳定性                  (stability) 与可塑性  (plasticity) 之间的权衡难度, 而新任务
                 的逐步持续引入又进一步模糊了已知类别在嵌入空间中的决策边界, 使得开放识别也变得更为困难.
                    为了应对这两个挑战, 本文首先深入分析开放世界持续学习中“已知-未知”的相互作用机制, 尝试揭示实际应
                 用中更加复杂的知识演化过程. 同时, 本文在实验部分详细划分了两种基础开放世界持续学习场景, 即类增量开放
                 世界持续学习和域增量开放世界持续学习, 并在这两个场景下复现对比了大量基准模型. 然而, 现有的开放世界持
   86   87   88   89   90   91   92   93   94   95   96