Page 20 - 《软件学报》2024年第4期

1598 软件学报 2024 年第 35 卷第 4 期

ProtoNet+Ours ProtoNet+Ours
ProtoNet+Vanilla ProtoNet+Vanilla

(a) 测试精度随训练轮次的变化 (b) 测试精度随训练类别数目的变化
图 4 训练任务对测试精度的影响
可以看出:
1) 随着参与训练基类数目的增加, 我们的方法和原型网络的性能都会提升. 这是因为参与训练基类数
目的增加, 意味着训练任务可采样的空间更大, 训练任务的会更加多样, 小样本模型的泛化性能更
好. 这也证明了通过增加训练任务多样性来提高模型泛化性能的合理性;
2) 随着参与训练基类数目的增加, 与原型网络相比, 我们的方法提升的性能会逐渐下降. 这也是合理
的, 因为随着训练类别的增加, 原始任务的多样性已经足够了, 因此, 通过增加样本多样性的方式
对于小样本泛化能力的提升会下降. 由此也可以推断, 我们的方法在训练任务多样性不足的情况下
更有效.
6 总 结

基于元学习的方法是通过学着去学习的方式, 可以有效避免小样本分类任务中训练样本太少容易过拟合
的问题, 是小样本分类任务中最重要的一类方法. 但是这类方法通常需要大量的训练任务来保证在训练任务
和测试任务来自同一分布, 大大限制了这些模型在一些训练任务也十分缺乏的场景下的应用. 为此, 本文基
于多样真实任务生成的鲁棒小样本分类方法. 该方法通过簇间任务 Mixup 策略可以生成具有多样性的任务,
通过约束生成任务与真实任务分布之间的 MMD 距离来保证生成任务的真实性, 可以有效提高基于元学习的
小样本方法的泛化性能. 最后, 我们从理论上分析了为什么簇间任务 Mixup 策略可以提高模型的泛化性能,
并且在多个数据集上验证了我们所提方法在小样本分类任务上的有效性. 本文只是提出了一种约束生成任务
多样和真实性的方法, 未来如何更好地约束生成任务的质量, 也是一个值得研究的方向. 比如: 在多样性任
务生成方面, 本文通过聚类进行簇间任务 Mixup, 不同簇之间的特征并不明确, 未来可以考虑利用因果学习
进行分簇, 进一步挖掘伪相关特征, 提高模型的泛化性; 在任务真实性约束方面, 本文采用传统的 MMD 对特
征分布进行对齐, 可以进一步考虑标签分布之间的对齐, 提升生成任务的真实性.

References:
[1] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition. In: Proc. of the IEEE Conf. on Computer Vision and
Pattern Recognition. 2016. 770−778.
[2] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks. In: Advances in Neural
Information Processing Systems. 2012. 1106−1114.
[3] Silver D, Huang A, Maddison CJ, et al. Mastering the game of Go with deep neural networks and tree search. Nature, 2016,
529(7587): 484−489.
[4] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback. In: Advances in Neural
Information Processing Systems, Vol.35. 2022. 27730−27744.
[5] Wang Y, Yao Q, Kwok JT, et al. Generalizing from a few examples: A survey on few-shot learning. ACM Computing Surveys
(CSUR), 2020, 53(3): 1−34.