Page 443 - 《软件学报》2024年第6期

朱光辉 等: 基于自引导进化策略的高效自动化数据增强算法 3019

划分为 10 个 3 维的向量 v, 则向量 v 中的分量分别表示为:
v[0]: 数据增强函数的类型.
v[1]: 数据增强函数的应用概率.
v[2]: 数据增强函数的应用幅度.
为了实现数据增强策略的连续化向量表示, 同时尽可能降低搜索空间的大小, 本文将策略向量 W 中的每一个
元素的取值范围均限制在 [0, 1], 并且设计了一个映射函数 map(), 函数定义如公式 (10) 所示:
map(op, prob,mag) = O(x : p,λ) (10)
其中, op, prob, mag 分别为向量 v 的 3 个元素, O(x : p,λ) 由公式 (6) 所定义. 在该映射转换中, 针对增强函数的类
型, 本文将规整后的区间 [0, 1] 进行了均匀划分, 如图像分类任务划分为 15 个均匀的子区间, 分别代表了 15 种不
同的数据增强操作, 以此类推语音分类和文本分类分别划分为 6 个均匀的子区间; 针对参数 p 则不需要做较大改
动, 因为 p 的取值范围默认为 [0, 1]; 针对参数 λ, 需要根据幅度定义区间的上界 λ ma 和下界 λ mi 做反归一化, 如公
n
x
式 (11) 所示:
(11)
e λ = λ×(λ max −λ min )+λ min
最后, 针对策略向量 W, 本文需要将该权重转换为具体的数据增强策略, 如图 3 所示, 将策略向量 W 按顺序
以 3 个元素为一组组成了操作三元组<增强函数, 应用概率, 应用幅度>, 2 个串联的增强操作组成了一个子策略, 5
个子策略组成了最终的数据增强策略 Π .
3.3 搜索空间设计
x ∈ X 是一个样本. 每个数据增强操
搜索空间 O 是数据增强操作 O : X → X 组成的集合, 其中 X 为输入空间,
O 包含两个参数: 被调用概率 p 和数据增强幅度 λ. 如表 1 所示, 子策略 3 表示一张图像最开始有 32% 的概率应
作
用 Solarize 增强操作, 应用的幅度为 111.87, 接着有 37% 的概率应用 Invert 操作, 然而 Invert 操作不需要幅度信息,
因此搜索出的幅度 0.35 没有实际意义. 根据表 1 可以看出, 本文在数据增强的具体实施方面, 主要是针对每个
batch 的训练数据, 从 5 个子策略中随机抽取 1 个子策略用于该 batch 的每个训练样本, 故不同 epoch 轮次之间相
同的 batch 抽取到的子策略可能是不同的, 同时也由于概率参数 p 的存在, 在相同的 batch 中同一训练样本也存在
不同的数据增强效果.

表 1 采用 5 个子策略在 SVHN 图像上的增强示例

子策略1 子策略2 子策略3 子策略4 子策略5
批次 原始图像 Solarize, 0.42, 104.45 Equalize, 0.37, 0.57 Solarize, 0.32, 111.87 Equalize, 0.61, 0.53 Invert, 0.40, 0.47
Equalize, 0.48, 0.46 AutoContrast, 0.54, 0.48 Invert, 0.37, 0.35 Posterize, 0.24, 6.40 Color, 0.23, 1.28

Batch 1

Batch 2

Batch 3

针对图像、语音和文本这 3 种媒体数据集, 本文分别设计了对应的数据增强函数方法并定义了本文算法要搜
索的策略集合. 针对图像数据, 本文主要使用 AutoAugment 提出的 13 种图像增强方法 (去除了 Sample Pairing 方
[3]
法 [19] ), 主要包括对图像的平移、旋转、剪切和颜色调整等变换; 针对语音数据集, 主要使用了 6 种语音增强方法,
包括音量调整、音量归一化、语音前后移动和声道调整等; 针对文本数据集, 主要使用了 6 种常见的文本增强方
法, 包括错词替换、同义词替换、反义词替换和单词删除等. 增强方法详见附录 A.