Page 449 - 《软件学报》2024年第6期
P. 449
朱光辉 等: 基于自引导进化策略的高效自动化数据增强算法 3025
和文本分类任务的自动化数据增强.
另外, 为了验证自引导进化策略的有效性, 本文也实现了基于增强随机搜索 [35] 的算法 ARS AA (augmented
random search for auto-augment), ARS AA 同样采用了本文设计的搜索空间. 由于搜索耗时的对比已在图 1 显示,
本节将重点关注增强策略在测试集上准确率指标. 所有实验均运行 3 次, 并统计准确率均值和标准差.
4.3.1 图像分类实验
表 10–表 12 为不同模型和算法在 CIFAR-10、CIFAR-100 和 SVHN 这 3 个图像数据集上的测试准确率结果
对比. 实验结果表明, SGES AA 算法在图像数据集上取得了优于或者匹配目前最优算法的性能. 其中, 在 CIFAR-10
数据集上平均排名第 1 (参与排名的算法共 10 个). 在 CIFAR-100 和 SVHN 数据集上平均排名为第 2.
表 10 SGES AA 与其他算法在 CIFAR-10 数据集上不同模型的测试准确率 (%)
算法 WRN 40×2 WRN 28×10 Shake-Shake (26, 2×32d) Shake-Shake (26, 2×96d) Shake-Shake (26, 2×112d) Average rank
Baseline * 94.70 96.10 96.40 97.10 97.20 10/10
Cutout * 95.90 96.90 97.00 97.40 97.40 9/10
Google AA 96.40 97.32 97.50 98.04 98.11 2/10
Fast AA * 96.31 97.26 97.24 97.55 97.78 5/10
PBA - 97.42 97.46 97.97 97.97 3/10
DADA * 96.14 97.11 97.32 97.80 97.83 7/10
Faster AA * 96.26 97.23 97.18 97.78 97.82 6/10
Rand AA * 95.67 96.63 96.93 97.54 97.88 8/10
ARS AA 96.46±0.008 97.30±0.010 97.43±0.012 97.87±0.008 97.95±0.006 4/10
SGES AA 96.63±0.003 97.39±0.006 97.45±0.010 98.04±0.006 98.09±0.004 1/10
Rank 1/9 2/10 3/10 1/10 2/10 -
注: 右上角标*表示该结果是使用该算法官方代码或第三方开源代码运行而来, 未标*则表示取自原论文实验结果. 加粗表示实验
结果在同组内最好. Rank代表SGES AA算法在所有自动化数据增强算法中的排名
算法和其他算法在
数据集上
数据
SVHN
表 12 SGES AA
表 11 SGES AA 算法和其他算法在 CIFAR-100 4/10
集上不同模型的测试准确率 (%) 不同模型的测试准确率 (%)
Shake-Shake Average Shake-Shake
算法 WRN 40×2 WRN 28×10 算法 WRN 28×10 Average rank
(26, 2×96d) rank (26, 2×96d)
* *
Baseline 74.21 81.22 82.89 10/10 Baseline 98.47 98.56 10/10
* *
Cutout 74.83 81.58 84.07 9/10 Cutout 98.66 98.67 9/10
Google AA 79.28 82.88 85.71 1/10 Google AA 98.87 98.96 1/10
Fast AA * 79.02 81.78 84.65 6/10 Fast AA * 98.72 98.74 6/10
PBA - 83.27 84.69 3/10 PBA 98.82 98.87 3/10
DADA * 78.87 81.88 84.67 5/10 DADA * 98.70 98.74 5/10
Faster AA * 77.90 81.96 84.42 8/10 Faster AA * 98.68 98.71 7/10
Rand AA * 78.36 82.28 84.30 7/10 Rand AA * 98.60 98.28 8/10
ARS AA 79.10±0.015 82.68±0.011 84.75±0.013 ARS AA 98.77±0.008 98.75±0.005 4/10
SGES AA 79.07±0.016 83.11±0.008 84.80±0.010 2/10 SGES AA 98.87±0.007 98.94±0.005 2/10
Rank 3/9 2/10 2/10 - Rank 1/10 2/10 -
注: 右上角标*表示该结果是使用该算法官方代码或第三方开 注: 右上角标*表示该结果是使用该算法官方代码或第三方开
源代码运行而来, 未标*则表示取自原论文实验结果. 加粗表 源代码运行而来, 未标*则表示取自原论文实验结果. 加粗表
示实验结果在同组内最好. Rank代表SGES AA算法在所有自 示实验结果在同组内最好. Rank代表SGES AA算法在所有自
动化数据增强算法中的排名 动化数据增强算法中的排名
4.3.2 语音分类实验
表 13 为不同的模型与算法在 ESC-50 和 GTZAN 数据集上的测试准确率结果, 其中 Random 代表数据增强策