Page 487 - 《软件学报》2025年第4期

李庚松 等: 无人机多传感器数据融合研究综述 1893

Bultmann 等人 [81,82] 对可见光图像和 LiDAR 点云进行 15 个类别的语义分割, 将图像的语义类别投影至点云进
行决策融合, 得到融合点云; 从可见光图像和红外图像中检测 3 类目标, 采用相同的决策融合方法融合 2 种图像的
像素语义类别, 得到融合图像, 以此获得具备精确语义信息的无人机感知数据; 他们在早期的工作中采用了人工设
置权重的方式, 对数据点的语义类别得分向量进行加权融合, 将得分最大值的语义类别作为数据点的语义标签 [81] ;
后期的工作则首先对语义类别得分向量进行 Softmax 运算, 获得归一化的概率向量, 然后再对概率向量做 Hadamard
积运算并归一化完成融合, 最后以最大概率的语义类别作为数据点语义标签 [82] . Deng 等人 [83] 将传感器感知数据
进行拼接, 然后将拼接数据分别输入 1 维 CNN 和多层感知机对无人机故障类型进行概率判断, 最后通过软投票方
法融合 2 种模型的决策. Kerkech 等人 [84] 将可见光图像和红外图像分别输入至不同的 CNN 网络, 各自输出含有 2
种语义类别的语义分割图, 并设计“并”以及“或”规则的决策融合方法进行像素语义融合, 比较结果显示“或”规则
的融合方法更准确. Ochoa-de-Eribe-Landaberea 等人 [85] 在无人机上安装 2 个内置 IMU 和磁力计的 UWB 标签, 应
用 2 个 EKF 分别对 2 个标签进行位姿估计, 当 2 个标签均正常工作时, 对 2 个 EKF 的估计结果取平均值融合, 当
任一标签故障时, 则仅使用另一标签的 EKF 估计结果, 以此增强方法的鲁棒性. 以上研究中, 除了文献 [81,82] 设
计了相对复杂的决策融合规则外, 其余文献均使用了常见的数值或类别融合规则, 这种策略简单直接, 但融合效果
不如精心设计的、针对性更强的复杂规则.
一体式和分离式决策融合方法的对比如表 7 所示. 一体式融合方法考虑子模型之间的关联性, 采用较为复杂
的系统结构和融合策略对子模型的决策进行处理融合, 具有较强的鲁棒性, 并且可以根据需求调整方法参数以适
应不同需求, 但是融合过程的复杂度较高, 实现较为困难; 分离式融合方法与之相反, 其基于预设规则的融合过程
具有较低复杂度, 但是设计融合规则时并没有考虑子模型之间的关联性, 而且设计的规则固定不变, 在鲁棒性和适
应性方面较差.

表 7 决策级数据融合方法对比

对比方面 一体式融合方法 分离式融合方法
复杂度 融合过程的复杂度较高, 实现较为困难 基于预设规则的融合过程具有较低复杂度
考虑子模型之间的关联性设计系统结构和融合策略, 鲁棒性相 没有考虑子模型之间的关联性设计融合规则, 鲁棒性
鲁棒性 特征级融合方法
对较强 较差
适应性 可以根据需求调整方法参数, 适应性强 依赖于固定规则, 适应性差

本节最后总结分析数据级、特征级和决策级融合方法的优缺点. 如表 8 所示, 数据级融合方法的融合流程相
对简单, 无须大量数据处理过程, 但是该类方法难以充分利用系统包含的复杂信息. 特征级融合方法能够有效地发
掘数据特征, 丰富决策判断信息, 增强决策算法的性能, 但是数据处理过程相对繁琐, 应用方法时设置所用指标或
网络参数的步骤较为复杂. 决策级融合方法的优点在于, 通过多个子模型的联动与融合, 可以充分利用复杂的系统
信息, 提供更准确的决策, 但是多个子模型的使用将明显提升计算开销, 且子模型对决策结果有着较大影响, 如何
选择子模型是方法的关键问题.

表 8 无人机多传感器数据融合方法优缺点

方面 数据级融合方法 决策级融合方法
融合流程相对简单, 无须大量数据处 能够有效地发掘数据特征, 丰富决 通过子模型的联动融合, 可以充分利用复杂的系
优点
理过程 策判断信息 统信息, 提供更准确的决策
数据处理过程相对繁琐, 应用方法
缺点 难以充分利用系统包含的复杂信息 多个子模型的使用将明显提升计算开销
时的设置步骤较为复杂

3 无人机多传感器数据融合应用

本节按照所面向对象的不同, 将无人机多传感器数据融合应用分为面向无人机自身的定位导航应用, 以及面
向无人机观测目标的农业评估、环境监测和目标检测应用, 如表 9 所示.