Page 482 - 《软件学报》2025年第9期

朱建秋 等: 视觉注意力和域特征融合的人脸活体检测方法 4393

Fcs(x i , x i ) = Fuse(Fc(x i ),Fs(x i )) (7)
其中, Fuse() 是风格特征融合函数. 而乱序辅助特征 Fcs(x i , x j ) 则通过原始的 Fc(x i ) 和随机打乱后的 Fs(x j ) 进行融
合而成, 公式为:

Fcs(x i , x j ) = Fuse(Fc(x i ),Fs(x j )) (8)
其中, i ∈ {1,2,...,N}, j ∈ random shuffle. 通过这种方式, 可以得到如图 4(a) 所示的 8 类乱序辅助特征, 根据内容特
征和风格特征的真伪标签信息和数据域信息可以分出同域同标签融合特征 (同为真实和同为欺诈), 同域异标签融
合特征 (内容为真实、风格为欺诈和相反情况), 异域同标签融合特征 (同为真实和同为欺诈), 异域异标签融合特
征 (内容为真实、风格为欺诈和相反情况). 接着, 如图 3(b) 所示, 完整特征与融合特征经过基于孪生网络的特征映
射模块 (由权值共享的 1D 卷积和全连接网络组成) 得到对应的映射结果, 并通过余弦相似度来计算两类特征的相
L · L ′
′
′
′
似度. 其公式为: sim cos = o d , 式中, L 和 L 分别是完整样本特征与乱序辅助特征. 值得注意的是, 对比学习主
′
′
∥L ∥∥L ∥ o d
o
d
要目的是促使模型的主干网络可以更侧重于学习样本的语义信息并忽视其域信息. 而本文不希望对比学习的梯度
反传过多用于不同的映射模型的参数训练, 但同时也需要映射模块来协助全局模型的稳定收敛, 因此采用孪生网
络完成融合特征的映射. 接下来, 本文将详细介绍用于域泛化的对比学习的训练策略以及相应损失函数的修正
设计.

内 孪
容 生 标
特 映 签 疏远
征 射 相
特 同 疏远
征 靠拢
融
合
标
风 孪 签
格 生 相 疏远
特 映 反
征 射 对比学习
靠拢 疏远
(a) 对比学习策略
2.0 2.0
损失函数 A 损失函数 B
1.5 1.5
域分类器 数据域 1
1.0 1.0
0.5 0.5 数据域 2
−0.75−0.50−0.25 0 0.25 0.50 0.75 −0.75−0.50−0.25 0 0.25 0.50 0.75
0 0
sim sim 数据域 3
−0.5 −0.5
−1.0 −1.0
Loss Loss 标签平滑
−1.5 Gradient −1.5 Gradient
梯度取反传递
−2.0 −2.0
(b) 新型对比损失函数曲线 (c) 梯度反传模块
图 4 对比学习及对抗训练

2.3 面向跨域的新型对比损失及对抗训练
域泛化指通过训练策略促使模型在提取样本的高级语义特征时忽视域特征而重视类别特征. 因此, 在处理完
整样本特征和乱序辅助特征 (两者的内容特征一致) 时, 本文采用图 4(a) 所示的对比学习策略. 其中, 形状表示的
真伪标签, 颜色表示数据域信息. 过程中, 侧重将同标签的融合特征记为同类 (l c = 1), 异标签融合特征记为异类