Page 147 - 《软件学报》2024年第4期

闫涛 等: 一种分组并行的轻量化实时微观三维形貌重建方法 1725

2.5 结构重参数化
基于神经网络的微观三维形貌重建模型使用更深更宽或多分支的卷积层抽取高维特征矩阵, 可有效增加
神经网络模型的特征表达能力. 在三维形貌重建过程中, 单分支串型结构易于陷入局部最优解, 而多分支并
行结构则额外增加内存访问成本. 因此, 本文在训练时采用多分支结构, 推理时将多分支等价转换为单分支
结构, 通过网络结构重参数化实现优势互补. 具体操作如下: 对于卷积核大小为 K 的卷积层而言, 输入通道的
D
维度是 C in , 输出通道的维度是 C out , 则卷积核的权重矩阵可以表示为 W′∈ C in C× out K× 2 , 偏置项 b′∈ . 归一化
层中包含累积得到的均值µ、标准差α和学到的缩放因子γ以及偏置项β. 由于卷积层和归一化层均属于线性运
ˆ
′
算, 因此在推理时可合并为一个新卷积操作. 在新卷积层中, 卷积核权重可以表示为 W = W γα
/, 偏置项为
ˆ
b = (b µγ α− )/ . 神经网络中多分支结构组成的多角度特征空间有利于挖掘三维形貌重建过程的最大聚焦点.
3 实验分析
3.1 实验设置
本文 Micro 3D 数据集共采集 488 组 20 张大小为 256×256 的多景深微观图像序列, 并通过聚焦形貌测量
构建初始形貌、激光逐点扫描细化形貌和手工微修场景先验深度等步骤生成标准的三维形貌图作为监督信息,
其中, 部分数据集形貌如图 7 所示.

图 7 Micro 3D 数据集中部分数据

本文使用 382 组多聚焦微观图像序列训练网络模型, 训练过程使用图像旋转、场景翻转、伽马变换和区
域裁剪等数据增广方式. 多聚焦图像序列作为网络模型的输入, 三维形貌图作为网络模型的监督信息, 在 106
组数据进行测试, 共进行 720 次迭代训练. 在训练过程中使用 Adam 优化器, 初始学习率设置为 0.001, 批处理
大小设置为 4, 其余参数皆为默认参数. 本文使用 Pytorch 框架搭建网络模型, 采用 TITAN XP GPU 训练并测
试 GPLWS-Net 与其他网络模型的性能. Micro 3D 数据集和网络模型 GPLWS-Net 已公布在 GitHub:
https://github.com/jiangfeng-Z/Multi-focus_Microscopic_3D_reconstruction_Datasets.
3.2 消融实验
为进一步验证本文 GPLWS-Net 网络模型结构的合理性, 消融实验中主要使用公共数据集 4D Light
Field [33] 对消融模型进行交叉验证,从模型性能(MSE)、模型参数和延迟进行多角度分析. 为避免设备自身算力
波动对实验结果的影响, 消融实验在同一环境下重复验证 50 次并计算其均值. 以下分别从残差连接与跳跃连
接、分组并行模块与结构重参数化这 3 个模块的有效性展开.
根据 U 型主干网络中相同尺度特征连接方式的不同, 分别使用“拼接式”的跳跃连接和“相加式”的残差连
接进行对比. 表 1 的结果表明: 跳跃连接和残差连接两种连接方式并不影响模型的性能; 但残差连接的网络
延迟显著优于跳跃连接, 由于跳跃连接之后网络变宽与卷积核参数增加, 使得运算量激增导致网络预测时间
增加.
分组并行模块的消融实验如表 2 所示, 根据 U 型网络收缩模块和扩张模块的连接方式不同, 可分为“拼
接式”和“相加式”, 其中又分别将常规卷积、深度可分离卷积和分组卷积进行对比, 因此共得到 6 组对比实