Page 441 - 《软件学报》2024年第6期

朱光辉 等: 基于自引导进化策略的高效自动化数据增强算法 3017

L G 可以提高梯度估计器的质量 (如减少方差等), 尤其
优化问题的内在结构. 因此, 在采样搜索方向的过程中利用
在高维优化问题中非常有效.
在采样搜索方向过程中, 自引导进化策略 [9] 利用了这两个非纠缠子空间对混合概率分布进行了编码, 如公式 (5)
所示:

), 以概率α
  δ ∼ N(0,I L G

(5)
P = 
δ ∼ N(0,I ), 以概率1−α

 ⊥
L G
这种采样方式起到了利用和探索 (exploitation & exploration) 的作用, 其中 α ∈ (0,1) 是优化过程中探索与利用
的权衡参数, 即利用作用是搜索方向有 α 的概率是从协方差矩阵为梯度子空间 L G 中所获取的多元高斯分布采样
L (或者是从整个空间) 中所
⊥
而来, 而探索作用则是搜索方向有 1−α 的概率是从协方差矩阵为所述正交补空间
G
获取的多元高斯分布中采样而来.
当从混合概率分布中采样搜索方向时, 使用固定的概率参数 α 可能会导致搜索效率低下, 无法为不同的优化
阶段调进行动态调整. 更理想的做法应该是在远离全局最优时应该贪婪地从梯度子空间中采样搜索方向, 而陷入
局部最优时应该进行均匀采样, 因此自引导进化策略使用了自适应采样技术, 即根据不同的搜索阶段动态调整
π∈Π
α 值.
3 基于自引导进化策略的自动化数据增强
3.1 问题定义
自动化数据增强算法是一种自动地搜索最优数据增强策略的算法. 自动化数据增强算法首先需要设计一个搜
O ∈ O 包含
索空间 O , 搜索空间 O 是数据增强操作 O : X → X 组成的集合, 其中 X 为输入空间. 每个数据增强操作
两个参数: 被调用概率 p (probability) 和数据增强幅度 λ (magnitude), p 表示该增强操作是否会被应用的概率, λ 表
示该增强操作对原始数据造成“扭曲”的幅度, 如图像旋转的度数、被裁切的面积等. 令 S 表示子策略 (sub-policy)
(π)
(π)
(π)
π ∈ S 则是由 L {O i (x; p ,λ ),i = 1,...,L} 组成, 每个操作会有相
的集合, 其中一个子策略 个串联的数据增强操作 i i
应的概率被应用到输入的原始数据 x 上, 如公式 (6) 所示:

 O(x : λ), 以概率p


O(x : p : λ) =  (6)

 x, 以概率1− p
因此, 子策略 π(x) 可被描述为一系列操作的组合, 如公式 (7) 所示:
(π)
e x n = O (e x (n−1) ), n = 1,...,L (7)
n
e x (0) = x,e x (L) = π(x) . 图 2 为在子策略 π(x) 下增强图像数据的一个示例. 由于每个子策略 π 是一个随机的依赖
其中,
于参数 p 和 λ 的增强操作变换序列, 所以一个子策略可以产生大量不同的数据增强效果.
因此, 自动化数据增强算法给出的最终数据增强策略 Π 是 N π 个子策略的集合, 即对于每个子策略 π ∈ Π ,
Π(D train ) 表示在训练数据集上应用数据增强策略 Π 后的增强数据集合:
∪
Π(D train ) = {(π(x),y) : (x,y) ∈ D train } (8)
假设自动化数据增强算法表示为 A , 原始数据集表示为 D (其中训练集为 D train ), 则自动化数据增强算法
Π 下进行变
A 在数据集 D train 上进行增强后得到优化后的增强策略 Π , 而原始训练数据集 D train 在数据增强策略
M 上使用训练数据集
换得到增强数据 Π(D train ) . 假设 M 代表固定架构的模型, F(M,D train ,D test ) 代表在模型
D train 进行训练, 在测试数据集 D test 进行评估得到的预测评估值, 则自动化数据增强算法 A 的优化目标可表示
为公式 (9) 所示:
maxE[F ξ (M,Π(D train ),D test )] (9)
Π
其中, 随机变量 ξ 代表了模型 M 评估增强数据 Π(D train ) 得到预测结果的随机性. 为了方便表述, 下文对评估函数
F 的使用省略了参数 M 和 ξ.