Page 146 - 《软件学报》2024年第4期
P. 146
1724 软件学报 2024 年第 35 卷第 4 期
shuffle) [11] 可实现通道组之间的信息流不再受到限制(如图 5(b)所示), 进而有效提升特征的表示能力. 但通道
重洗操作也会带来相应的缺点, 即需要大量的指针跳转和内存空间. 同时, 通道重洗操作又特别依赖于实现
细节, 导致实际运行速度不理想. 对于线性计算的卷积层来说, 通道重洗操作使得网络无法进一步优化. 而本
文使用 1×1 卷积加强各通道间的信息流动(如图 5(c)所示), 可增强网络的特征表达能力. 通道重洗仅能互换部
分特征区域, 而 1×1 卷积可有效选择全域聚焦信息.
(a) 分组卷积 (b) 通道重洗卷积 (c) 逐点卷积
图 5 本文采用的逐点卷积与通道重洗卷积对比
如图 6 所示: 在分组并行模块中, 首先将输入的特征张量按照原先设定的分组数进行等分; 然后, 针对分
组张量并行抽取特征, 得到分组子域内聚集极大值; 最后, 1×1 卷积层将每组卷积的聚焦结果进行合并, 并选
择全域内聚焦最大值. 相较于传统卷积操作, 分组卷积将输入特征在通道维度进行划分以减少卷积提取区域,
可降低模型训练及推理的时间.
图 6 本文采用的分组并行策略
