Page 220 - 《软件学报》2025年第5期

2120 软件学报 2025 年第 36 卷第 5 期

T
T
v ·x > v ·x (18)
ˆ n n
即样本向量和权重参数向量点积值的大小关系, 根据向量点积公式 a·b = ||a|| 2 ||b|| 2 cos{a,b} , 其中 {a,b} 为两向
量之间的夹角, 则上式可进一步改写如下:

T T T T
||v || 2 ||x|| 2 cos{v ,x} > ||v || 2 ||x|| 2 cos{v ,x} (19)
ˆ n ˆ n n n
||x|| 2 可得最终式:
约去不等号两边的等值项

T T T T
||v || 2 cos{v ,x} > ||v || 2 cos{v ,x} (20)
n
ˆ n
ˆ n
n
由公式 (20) 可知当 CNN 模型完成训练之后, 其对某一样本的判断将不受该样本向量的二范数影响, 而由样
本向量和正确类别对应权重参数向量的夹角值, 以及该权重参数向量的二范数所决定. 由于数据集样本空间的复
杂性使得样本向量的方向难以确定, 同时模型权重参数向量的方向难以人为控制, 因此无法优化两个向量之间夹
角余弦值. 我们考虑通过对权重参数向量的二范数取负然后进行优化以强化公式 (20) 中不等关系的成立, 使模型
具有更高的泛化性能, 定义原始样本的标签为 y T , 设计正确标签筛选权重参数正则化 (true label screening weight
parameter regularization, TLWR) 的损失函数如下:

[ ] 2
∂y T F(x;θ)
L TLWR = L CE −λ T (21)
∂x
该损失函数由两项组成, 第 1 项为标准的监督损失函数, 第 2 项为正确标签筛选权重参数的正则损失函数, 由
独热编码的正确标签从输入输出的雅可比矩阵中筛选出决定样本正确分类的权重参数, 旨在稳定并增强模型的泛
化能力, 正则项系数 λ T 用于权衡标准项和正则项的优化程度, 由于优化该正则项使权重参数提高会导致梯度爆炸
从而影响模型收敛, 因此该系数需要设置较小的值.

2.2 对抗样本标签筛选权重参数正则化
对于一个训练好的模型, 如果添加了噪声 r 的对抗样本能够使它判断错误, 即样本 x+r 的模型预测结果都满
f ˜n (x+r) > f ˆn (x+r) , 同样由公式 (16) 可得:
足 argmaxF(x+r) , ˆn , 假设该对抗样本的预测结果类为 ˜ n , 可知

/ /
k ∑ k ∑
v T
v T
v T
v T
e ˜n ·(x+r) e i ·(x+r) > e ˆn ·(x+r) e i ·(x+r) (22)
i=1 i=1
同第 2.1 节的分析和化简上式可得到:

T T T T
||v || 2 cos{v ,x+r} > ||v || 2 cos{v ,x+r} (23)
˜ n ˜ n ˆ n ˆ n
可知模型的脆弱性是由对抗样本的错误分类结果对应的权重参数向量所决定, 即该向量的二范数以及它和对
抗样本向量之间的夹角共同导致模型的错误判断. 本文根据对抗样本 x+r 的分类结果进行独热编码, 并定义其为
原始样本 x 的对抗标签 y A , 正则优化对抗标签筛选权重参数向量的二范数以降低其值可使得公式 (23) 的不等关
系难以成立. 本节设计如下对抗标签筛选权重参数正则化 (adversarial label screening weight parameter regulari-
zation, ALWR) 的损失函数:

[ ] 2
∂y A F(x;θ)
L ALWR = L CE +λ A (24)
∂x
该损失函数与 L TLWR 的区别在于其用对抗标签筛选出模型中导致样本被误分类的权重参数, 正则项系数 λ A
用于权衡标准项和正则项的优化程度.

2.3 标签筛选权重参数正则化
由前两个小节的简单推导可以得知, 公式 (21) 优化提高模型的正确标签筛选权重参数向量的二范数以达到
提高模型泛化性的效果, 但忽视了模型的健壮性. 公式 (24) 优化降低模型的对抗标签筛选权重参数向量的二范数
以提高模型的健壮性, 但忽视了模型的泛化性. 为了在深度学习训练过程中利用标签信息对模型的泛化性和健壮
性进行权衡, 保证最终模型能在高健壮性的前提下具有稳定的泛化性, 本节结合 TLWR 和 ALWR 提出标签筛选
权重参数正则化 (label screening weight parameter regularization, LWR).