Page 483 - 《软件学报》2025年第4期

李庚松 等: 无人机多传感器数据融合研究综述 1889

混合图像是否保留原始图像的关键信息, 以此对抗学习方式逐步提升混合图像的质量, 增强算法对混合图像的目
标检测效果. 上述 2 种方法的规则生成方式中, 人为制定混合规则的方式解释性强且易于实现, 但往往需要反复验
证才能找到合适的规则; 另一种方式直接使用神经网络模型代替人工, 通过设置参数可以快速调整数据混合效果,
但是模型的具体规则是透明的, 缺乏解释性.

数据
混合

图 8 数据混合方法示意

数据堆叠和数据混合方法的对比如表 3 所示. 数据堆叠直接对原始信息进行拼接, 扩充数据点携带的信息, 易
于实现, 但该方式的存储开销相对于原始点阵数据未有减少, 且难以直接反映出目标的综合信息. 数据混合方法按

照规则运算得到综合信息, 相对堆叠方法需要设计规则且存在一定的计算量, 但其优点在于, 融合数据相较于原始
数据减少了数据量, 可以降低存储开销, 而且所得综合信息的有效性更强, 更有利于人工或算法从融合数据中区分
判断不同物体目标. 需要注意的是, 无论数据堆叠还是数据混合, 都需要使描述同一目标的成像点在空间上尽可能
地对齐, 才能获得更好的融合效果, 因此融合前的图像或点云配准映射过程十分关键.

表 3 点阵数据融合方法对比

对比方面 数据堆叠方法 数据混合方法
复杂度 直接拼接信息, 易于实现 需要设计规则进行计算, 相对复杂
存储开销 堆叠不同来源的数据, 存储开销不变 运算得到综合信息, 减少了数据量, 降低了存储开销
有效性 难以反映目标的综合信息 得到的综合信息更有利于从融合数据中区分判断不同物体目标

2.2 特征级数据融合
在特征级数据融合中, 参与融合的是从传感器原始数据中提取的特征. 本节根据特征提取方法的技术差异, 将
特征级数据融合方法划分为基于指标计算的方法和基于深度学习的方法.

2.2.1 基于指标计算的方法
基于指标计算的方法利用不同成像传感器所获取的波段光谱反射率、激光反射强度等信息, 计算反映目标特
征的指标. 通过该方法提取特征图后, 即可以使用数据堆叠方法进行融合, 使数据点包含多种特征, 然后可以应用
算法对融合数据完成逐数据点的决策判断. 该方法所提取的特征主要包括光谱特征 (spectral feature)、纹理特征
(texture feature)、结构特征 (structure feature) 和温度特征 (temperature feature), 部分常用特征如表 4 所示.

表 4 基于指标计算的特征

特征类别 特征名称
简单比值指数、红绿蓝植被指数、增强植被指数、归一化绿度差分植被指数、绿度叶绿素指数、
光谱特征
红绿蓝植被指数、归一化差分红边、归一化差分红边指数、超绿植被指数、土壤调整植被指数
纹理特征 灰度共生矩阵的像素灰度联合概率统计量: 均值、方差、同质性、对比度、相异度、熵、角二阶矩、相关度
结构特征 地物高度、地物面积、地物体积
温度特征 归一化相对冠层温度

光谱特征根据波段光谱反射率计算植被指数 (vegetation index, VI), 能够更加显著地反映出不同类别地物之间
/
的差异性, 从而提升地物识别的效果 [61] . 常见的光谱特征, 如归一化差分植被指数的计算式子为 (NIR−R) (NIR+R) ,
其中 R 和 NIR 分别表示红光和近红外波段的反射率.
纹理特征通过灰度共生矩阵 (gray-level co-occurrence matrix, GLCM) [62,63] 提取, 其计算步骤如下: 将图像灰度