Page 454 - 《软件学报》2024年第6期

3030 软件学报 2024 年第 35 卷第 6 期

离散化, 选择 one-hot 中最大值对应的增强函数作为实际使用的增强函数, 离散化过程也将导致一定的性能偏差. 实际
[4]
[3]
上, 已有的自动化数据增强算法, 例如 Google AA 、PBA 等均采用了区间表示增强函数的方法, 并取得了不错的效果.

91.8
92.2
91.7
92.1
测试集准确率 (%) 91.5 测试集准确率 (%) 92.0
91.6
91.9
91.4
91.8
91.3
91.7
91.2
1 2 3 4 5 1 2 3 4 5
子策略操作个数 子策略操作个数
算法, 验证了自引导进化策略的有效性.
图 15 不同子策略操作个数在 AGNews 数集使用 图 16 不同子策略操作个数在 AGNews 数集使用
fastText 模型下得到的测试集准确率对比 Transformer 模型下得到的测试集准确率对

表 18 不同策略向量构造方式在 CIFAR-10 上的准确率 (%)

策略向量构造方式 WRN 40×2 WRN 28×10 Shake-Shake (26, 2×32d) Shake-Shake (26, 2×96d) Shake-Shake (26, 2×112d)
SGES AA 96.63 97.39 97.45 98.04 98.09
SGES AA-one hot 96.10 97.21 96.61 97.32 97.38

4.6 算法鲁棒性分析
在 SGES AA 算法设计中, 需要为随机数生成随机种子值, 该随机种子值固定时, 相关随机数生成均保持一致,
可用于算法的复现验证. 为了探索随机种子对实验准确率的影响, 本文进行了相关的实验探索. 表 19 为在 CIFAR-10、
ESC-50 和 AGNews 数据集上使用 SGES AA 算法配置不同的随机种子所产生的数据增强策略, 每一个数据增强
策略在单独的模型上分别进行了 3 次实验. 本文使用了 3 个不同的随机种子进行了自动化数据增强实验, 随后在
两种不同的模型上进行了训练和评估. 从表 19 可以看出, 不同的随机种子对最终实验结果的影响较小, 故侧面反
映出 SGES AA 算法具有较强的鲁棒性.
4.7 算法收敛性分析
在自动化数据增强中, 搜索空间、搜索策略和评估方法是 3 个最重要的因素. 为了评估算法的收敛性, 本节对
比分析了 SGES AA 和 ARS AA, ARS AA 的搜索空间和评估方法与 SGES AA 一致, 但采用的是增强随机搜索方
法, 缺少历史梯度信息的指导. 图 17 为 SGES AA 算法和 ARS AA 算法在搜索过程中, 根据每一次迭代观察到的
评估值取均值所绘制的收敛曲线图, 数据集为 CIFAR-10.
从图 17 可以看到 ARS AA 和 SGES AA 算法观察到的评估值总体呈上升的趋势, 说明了两种算法在搜索过
程中能够有效对最优策略进行逼近, 最终算法在某个迭代次数过后渐渐趋于收敛, 印证了本文提出的搜索空间和
评估策略的合理性. 从迭代次数 40–60 之间的评估值均值可以看出, SGES AA 算法的收敛性和表现能力在一定程
度上优于 ARS AA
此外, 本文也分析了其他自动化数据增强算法的收敛性, 包括基于可微分机制的 DADA、基于随机数据增强
的 Rand AA 以及基于种群训练的 PBA, 3 种算法的收敛性评估结果如图 18 所示. DADA 使用双层优化的方法交
替优化数据增强策略选择参数和模型参数, 两种参数耦合度高, 导致其选出次优的增强策略. Rand AA 每次迭代过
程从给定数据增强策略池中随机选择数据增强策略, 然后进行模型训练, 其收敛速度只能反映网络模型本身的收
敛速度, 无法反映数据增强策略优劣. PBA 在迭代次数为 55 左右时, 其验证集准确率才达到 SGES AA 水平, 表明
其收敛性不如 SGES AA 优越.