Page 137 - 《软件学报》2020年第9期

2758 Journal of Software 软件学报 Vol.31, No.9, September 2020

1 相关工作

对抗样本防御是目前在单模型上应对对抗样本攻击的一个有效方法.对抗样本攻击是指使用经过恶意微
小调整的样本输入到神经网络,使其给出完全不同于真实样本的错误结果.这些调整通常是人眼无法察觉的,但
却能成功愚弄神经网络使其做出错误判断,这就会对机器学习模型支持的系统,特别是安全攸关的应用带来极
大的安全威胁.对抗样本防御方法的主要思想是:提升模型自身的鲁棒性,以使其能够对对抗样本做出正确判
断.根据 Rajeev 等人 [15] 的理论,可将其分为 3 类:对抗训练、对输入降噪预处理以及直接修改目标模型的网络结
构或优化训练过程.
对抗训练是把对抗样本加入到训练集中对模型进行训练.例如 Miyato 等人提出的虚拟对抗训练方法
(VAT) [16] ,他们基于虚拟对抗性损失提出了一种新的正则化方法,定义了没有标签信息的对抗方向,将对抗训练
扩展到了半监督学习任务中;Kurakin 等人则成功地将对抗训练扩展到大型模型和数据集中 [17] ,并解决了对抗
训练过程中的”标签泄露”效应;在 Google Brain 组织的 NIPS 2017 竞赛中,也有许多参赛队伍使用了对抗训练方
法并取得了不错的成绩 [18] .尽管如此,对抗训练却有其难以规避的显著缺点,即:这种训练方式下生成的模型的
防御效果不具有普适性,意味着它只能应对训练过程中使用的攻击方式,当攻击方式发生变化时,模型的脆弱性
就会再次体现,将其运用到物联网设备中也会遇到同样的问题.
对输入进行降噪预处理是在将样本输入到目标模型之前先去掉样本上的恶意扰动.例如 Samangouei 等人
提出的 Defense-GAN 模型 [19] ,它是一个利用生成模型的表达能力来保护深度神经网络免受对抗样本攻击的新
框架,在将给定图像输入到目标模型推理之前,利用生成器找到该图像的一个不包含对抗性变化的相近输出,然
后再把这个输出交由分类器处理;Guo 等人 [20] 也研究了这种在将输入样本馈送到系统之前转换输入来抵御图
像分类系统上的对抗样本攻击策略,他们在把图像输入到卷积网络分类器之前,应用诸如比特深度缩减、JPEG
压缩、总方差最小化和图像绗缝之类的变换,通过在 ImageNet 数据集上的实验证明,总方差最小化和图像绗缝
能够有效提高系统防御能力.但总体而言,这种解决方案实际上也需要在将输入样本输送到目标模型之前添加
额外的预处理过程,增加了物联网设备的计算负担.
直接修改目标模型的网络结构或者优化训练过程,是另一种有效提高模型鲁棒性的方法.例如 Lamb 等人
提出的强化网络 [21] ,它是对现有网络的一个简单转化,通过识别隐藏状态在数据流中断开的时间,把这些隐藏状
态映射回网络中运行良好的数据流部分,加强了深度网络的隐藏层,并通过实验证明了强化这些隐藏状态可以
提高深度网络的鲁棒性.但是,强化网络只有在与对抗训练同时使用时才能提高鲁棒性,这对于迭代攻击而言是
非常昂贵的.Rajeev 等人则认为,可以通过紧凑特征学习(compact feature learning) [15] 来中和对抗攻击.他们认为,
在一个封闭有界的区间里来学习特征能够提升网络的鲁棒性,并由此提出了一种创新的卷积方式——紧凑卷
积,保证了每层的特征有界且彼此相似.最后,通过实验证明使用此方法构造的新的紧凑卷积网络能够抵御多种
攻击方式,并且与 CNN 相比不会产生额外的训练开销,但这种改进方式也只对卷积神经网络有效.
通过对比以上 3 种基于单模型的对抗样本防御方法,本文决定采取第 3 种方式,直接修改目标模型的网络
结构并优化训练过程.受到组合模型的防御表现一般优于单模型 [10] 的论断和基于组合模型的整体多样性 [11] 定
义的启发,通过给目标模型添加分支并在训练过程中添加整体多样性计算,提出了一种在单模型上实现组合模
型鲁棒性提升效果的方法.
2 提出的方法

本文提出了一种基于特征融合和整体多样性的单模型鲁棒性提升方法.本文认为,在单个模型中进行均化
的多分支预测可以提高模型鲁棒性.该方法主要包含两个部分:一是将基础模型改造为均化多分支预测模型,二
是提出针对在单模型中各分支长度不一致情况下的整体多样性计算方法.下面将分别从结构改造、基于多分支
单模型的整体多样性计算以及模型训练这 3 个方面具体阐述.