Page 138 - 《软件学报》2020年第9期

韦璠 等:利用特征融合和整体多样性提升单模型鲁棒性 2759

2.1 结构改造
深度神经网络中:浅层次的特征图尺寸较大,蕴含了更多的信息,表达了输入的细节特征;深层次的特征图
尺寸较小,内容更抽象,表达了输入的语义特征.由于语义特征可以更抽象、更彻底地描述一个物体,所以层次的
加深使得模型可以更全面地认识输入的特征,达到更好的表现.但很多物体只需要使用部分细节特征或不那么
抽象的语义特征就可以辨认,所以浅层次的特征图做预测亦可以达到较好的精度.一般来说,特征融合是指采用
现有的多个特征集生成新的融合特征,它可以使两组不同层次的特征图信息互补,横向链接的特征融合(如图
1(c)所示)需要浅层特征图在不改变尺寸的同时增加到与深层相同的通道数,而深层的特征图需要使用上采样
的方法将尺寸扩大到与浅层一致,这样可以使得浅层的最终特征图获得深层信息,提高自身的判断精度.网络通
常为深层次的准确率会更好,同时也由于浅到深会有尺寸变换,细节特征还是会被抽象化,而深到浅的上采样则
是均分扩大,不会将语义特征具体化,所以在本文中,特征融合只需将深层特征融合到浅层.据此,定义了鲁棒性
提升方法的改造过程,如图 1 所示,具体过程如下.
1) 以现有模型(如图 1(a)所示)为基础,根据使用浅层特征图也能达到较好的预测精度理论,在模型浅层
添加额外分支如 Pre1~Pre3,形成多预测结构的分支网络(如图 1(b)所示);
2) 对图 1(b)的分支网络的各个分支做特征融合,从最深的出口开始,将做出预测前的特征上卷积融合进
相对浅层的出口,递归执行此步骤至最浅层出口处.在图 1(d)中的表现为 pre3 处特征融合更深处的全
部特征,pre2 处特征获得融合后 pre3 处特征的上卷积,pre1 处特征获得融合后 pre2 处特征的上卷积,
完成全部的融合过程后,形成图 1(d)所示的特征金字塔结构.最终,浅层特征就融合了相对其的全部深
层特征,可以更有效地辅助判断,同时复杂化模型的线性过程;
3) 为了保证单模型的唯一出口,对图 1(d)中各个分支的预测做平均运算,获得最终单出口输出 Final Out;
4) 除了计算最终单出口输出 Final Out 的误差 L CE 之外,也对图 1(d)中各个分支的预测做误差计算以提
高各自的识别精度.为了降低分支之间预测的相似性,从而提高模型鲁棒性,使用第 2.2 节提出的基于
多分支单模型的整体多样性计算公式计算 L ED ;最终,根据误差结果完成模型参数优化.

Feature(conv,pooling,activate) Out
(a) 基础网络
在合适的深度添加额外出口

Conv
Upsample
Out
Pre3 (c) 特征融合
Pre2
Pre1
(b) 分支网络
深浅层特征融合,形成特征金字塔结构,
最终出口平均计算各出口辅助训练

L CE
Final out
L ED
(d) 最终成型网络
Fig.1 Structure transformation process
图 1 结构改造过程