Page 144 - 《软件学报》2024年第4期

1722 软件学报 2024 年第 35 卷第 4 期

2.2 总体框架
本文提出的基于分组并行的轻量化实时微观三维形貌重建方法主要包括以下 4 个关键环节.
(1) 微观数据集生成: 鉴于现有研究普遍缺乏微观场景数据集, 通过自研的微米级超景深微观数据采集
[3]
装置实现微观场景多聚焦图像序列的采集, 采用 3D TFT 算法 得到场景初步的三维重建结果, 联
合亚微米级精度的激光共聚焦显微镜得到场景的三维结构信息. 采用 ALI-Net [33] 对上述两类多模态
重建结果进行配准, 最后通过人工筛选微调获得高精度的标签数据;
(2) 轻量网络主干: 为降低深度神经网络的内存访问成本和计算开销, 利用网络结构设计的优化和网络
模型之间的参数融合等原理对已有的 U 型网络架构进行重构, 在减少网络运算的内存访问频次的同
时, 保障其性能表现, 从而实现更低的计算开销;
(3) 分组并行加速: 为了最大程度提高图像序列的处理速度和效率, 使用分组卷积对多聚焦图像序列中
的图像进行特征处理以找出局部极大值, 然后再利用更为高效 1×1 卷积进行全局特征处理找到极值
点, 分组卷积操作具有的可并行特性可有效提升计算效率, 进而减少整个操作的时间成本;
(4) 结构重参数化: 由于神经网络中存在大量冗余参数, 这些参数可以融合为新参数进而赋予新的结
构, 以提高网络的效率. 因此, 本文使用结构重参数化对网络架构从训练到推理进行解耦合, 在不
影响网络精度的同时, 降低推理时间.
本文提出的基于分组并行的轻量化实时微观三维形貌重建方法示意图如图 3 所示.

图 3 基于分组并行的轻量化实时微观三维形貌重建方法示意图

2.3 GPLWS-Net轻量化网络模型
受到 U 型网络的高效率特征融合方式和低成本参数运算的启发, 本文以 U-Net 作为网络主干基础. 由于
相同聚焦设置下不同尺度的图像序列对于同一聚焦算子的敏感度不同, 其关键在于聚焦算子对于像素信息的
抽取会伴随图像尺度的改变发生变化. 而 U-Net 网络主干通过多次下采样操作降低特征图分辨率, 可获得多
聚焦图像序列不同尺度的特征. U 型网络中收缩模块和扩张模块在特征信息尺寸和神经网络宽度方面保持相
互对称, 在收缩模块中逐步缩小特征信息的尺度并增加特征信息的维度, 而收缩模块恰好相反, 二者间使用
跳跃连接(skip connection)有效耦合图像的表层特征和深层特征. 而跳跃连接在神经网络中具有的缺点对于网
络的轻量化设计是不容忽视的: 首先, 跳跃连接会增加网络参数量, 导致模型的复杂性和训练难度增加; 其
次, 跳跃连接需要额外的计算操作处理连接路径, 增加了计算资源的需求和时间成本; 此外, 如果底层特征