Page 345 - 《软件学报》2026年第6期

2664 软件学报 2026 年第 37 卷第 6 期

为了缓解近似处理预测准确率的负面影响, 提出了一种参数化二次多项式方法来近似激活函数 (即, ax ). 这
2
T
1
1
a = [a ,...,a ,...,a ,...,a ],
T
些参数允许在近似函数中具有更大的灵活性, 以提高隐私保护预测准确性. 为了学习参数 1 I 1 I
T 表示参数个数, 表示通道个数. 将卷积深度神经网络中 ReLU 层使用轻量级神经网络 (light neural network,
I
其中
LNN) 和求和层进行训练, 以替换图 4 中所示的每个 ReLU 函数. LNN 使用压缩和激励 (squeeze and excitation,
SE) [30,31] 模块来建模学习参数. 它首先执行平均池化以压缩输入向量 X 的空间信息, 然后通过两个全连接层激励,
t
t
并通过归一化层缩放输出. LNN 模型输出 2TI 个元素, 对应于 a 的残差 ∆a . 之后将残差归一化到 (−1,1). 最后, 通
i
i
t
t t t t α 是需要
过加权和求和初始值 α 和残差来获取最终输出, 即 a = λ a ∆a +α , 其中 λ a 是控制残差范围的标量. λ a 和
i i
2
t
avg (a X ).
在训练过程中调整的超参数. 在求和层中, 将计算 t i

输入向量: X
Light neural network
(LNN)
Conv Conv Conv Conv 压缩 平均池化层
I
LNN LNN 全连接层
ReLU ReLU 激励
Sum Sum I/D
全连接层 X
Pooling Pooling Conv Conv 2TI
归一化
Conv Conv
LNN 输出 t
LNN 参数 a i
ReLU ReLU
Sum Sum
求和 计算: avg t (a i X )
t
2
(a) VGG (AlexNet) & (b) ResNet &
LNN 修改模块 LNN 修改模块
图 4 VGG、AlexNet 和 ResNet 架构使用 LNN 块进行修改示意图

在修改后的模型使用训练数据集进行训练 (与原始卷积深度神经网络模型训练过程相同) 后, 云服务器将每
个轻量级神经网络发送给客户端, 可以将其放置在离线阶段. 在隐私保护预测期间, 客户端和云服务器分别获取线
性层的输出, 并将它们作为输入传递给 LNN 以安全近似计算近似激活函数. 由于收集了不同通道的信息, 此方法
可以更加准确地调整参数, 因此避免近似处理对预测准确率带来的负面影响. 对于池化层, 利用了平均池化, 这在
两个秘密份额上很容易评估. 两个参与者只需要在各自的份额上取平均值, 这使得非线性计算能够在秘密份额下
完成. 针对非线性层近似处理对于预测结果的影响以及提出的安全非线性层计算协议的有效性, 在第 5.3 节进行
分析说明.
4 理论分析

4.1 正确性分析
为了证明协议 1 的正确性, 按照以下步骤进行:

′
′
M + N = W · R 1 +W · R 2 +W 1 · R −W 2 · R ′ s
f
′
′
′
′
′
= W · R+W · R +W · A+W · R −W · R +W · R −W · R − B· R −W · R −W · R ′
′
′
′
′
′
′
′
f s f f s s f s
= W · R.
在协议 1 中, 有 W 1 =W −W − B W 2 =W +W R 1 = R+ R + A R 2 = R − R 以及 W · A− B· R = 0. 此外, W · R ′
′
′
′
,
′
′
′
′
,
,
′
s f s f f f
′
′
′ ′ ′ ′ W · R = W · R +W · R . 基于这个
′
′
′
′
和 W · R 对应于 W · R 的前一半和后一半计算结果. 根据矩阵乘法的定义, 有 f f s s
s
s