Page 47 - 《软件学报》2026年第5期

1926 软件学报 2026 年第 37 卷第 5 期

利用初始化后的伪点云特征, 我们将数据投影至二维空间, 借助卷积网络实现高效特征提取, 充分利用二维空
间的有序性和上下文信息. 通过应用二维稀疏卷积, 避免了对空值位置的无效计算, 从而降低了计算复杂度并加速
处理速度. 本方法在推理时间方面达到了当前最优水平 (如图 7 所示). 我们采用子流形稀疏卷积来保留伪点云的
形态特征, 并增强数据点之间的交互能力.

Ours SFD ACFNet
84
URFormer PA3DNet
3D 模型性能 (%) 82 CIA-SSD CLOCs
SASA

80
SA-SSD
3DSSD STD Part-A 2
基于点
78 基于体素
Associate-3Ddet 多模态
20 40 60 80 100
推理时间 (ms)
图 7 模型方法总体对比图

3.4 多模态双阶互馈融合
传统融合方法仅单一关注不同模态的特征或结果. 为此, 我们提出一种两阶段迭代融合方法, 该方法同时集成
了多模态特征融合与多模态结果融合.
在特征融合方面, 当前不同传感器的特征以不同格式组织. 真实点云中的 RoI 特征表示为尺寸为 (B,N,G,G,G,C)
的张量, 其中 B 为批量大小, N 为 RoI 数量, G 为每个 RoI 的网格点数, C 为网格点特征长度. 对于伪点云数据, 其
特征按点组织为 (M,C +1) 的形式, 其中 M 为 RoI 内的伪点数量 (随批量变化), C 为特征维度, 额外的“1”表示场景
编号以方便后期处理.
我们将不同模态的特征统一为网格点特征, 以促进多模态融合. 对于伪点云特征, 通过将 RoI 划分为均匀的
(G×G×G) 网格, 并对每个网格内的伪点云特征应用最大池化操作, 将逐点数据转换为网格点特征.
f v , 伪点云的特征表示为 . 为稳健融合不同传感器的特征, 我们
为便于区分, 真实点云的网格点特征表示为 f p
采用跨模态融合方法. 在该方法中, 各模态的特征在注意力计算过程中作为另一模态的查询向量, 使特征能够自适
应地聚合来自另一模态的相关信息. 随后将得到的特征进行拼接, 形成最终的融合特征 f f , 该原理如图 8 所示. 与
直接拼接相比, 我们的方法有效减少了由校准误差导致的融合模糊问题.

V p
点积
C 拼接
Softmax
K p
RoI 伪点云特征 Q p
f p
C
Q v
RoI 融合特征
Softmax
K v
f f
RoI 体素特征 V v
f v
图 8 多模态交叉注意力融合模块原理图