Page 484 - 《软件学报》2025年第4期

1890 软件学报 2025 年第 36 卷第 4 期

化并划分灰度量级 L; 统计滑动窗口内灰度对为 (i, j) 的一对像素点的出现次数, 其中灰度级为 j 像素点在灰度级
为 i 像素点的 θ 方向且距离为 (dx, dy); 根据统计次数构造 L×L 的对称 GLCM, 归一化使其中元素转换为像素灰度
联合概率 P(i, j); 计算 GLCM 的统计量作为当前窗口中心像素点的纹理特征; 移动窗口遍历图像的各像素点, 由此
∑ L−1
2
生成同尺寸的纹理特征图. 以 GLCM 的对比度统计量为例, 其计算式子为 P(i, j)(i− j) .
i,j=0
结构特征指的是地物的空间信息, 包括高度、面积、体积等的统计量 [64] , 以地物高度为例, 该特征由 2 种分
别含有地物高度信息和地形高度信息的数字模型逐像素相减得到. 温度特征可以直接使用红外图像中的像素温度
/ [65]
(T i −T min ) (T i −T max ) 计算归一化相对冠层温度 , 式中 T i 表示当前像素温度值, T mi 和 n T ma 分
x
值, 或是通过式子
别表示所有像素温度中的最小值和最大值.
阙艳红等人 [66] 采集多光谱和红外图像, 利用不同波段的反射率数据计算给定指标作为决策依据. Fei 等人 [67]
通过可见光图像提取 8 种 VI、8 种纹理特征和冠层高度特征, 通过多光谱图像提取 16 种 VI 和纹理特征, 通过红
外图像提取纹理特征和冠层温度特征, 然后将特征输入至回归算法中进行决策判断. Xu 等人 [68] 从多光谱图像提
取 10 种 VI 和 5 种纹理特征, 通过 RGB 图像提取 3 种结构特征, 采用主成分分析法对特征完成降维后, 再输入至
回归算法, 以避免过拟合问题. Zhu 等人 [69] 首先通过超光谱图像计算光谱特征、利用 RGB 和 LiDAR 数据获取纹
种特征直接拼接后输入
理和结构特征、从红外图像中提取温度特征; 然后对得到的 477 个特征进行递归特征消除, 以此提高算法的决策
性能. 上述研究利用特征进行决策的方法不同. 文献 [66] 完全依赖于专家设计的指标完成决策, 虽然简单快速但
是效果有限; 文献 [67−69] 中特征均输入至回归算法进行决策, 相较于前述直接使用指标的方式更加准确和灵活,
但在计算开销相对较高的同时, 特征处理方式和回归算法的多种多样也带来了如何选择合适技术的问题.

2.2.2 基于深度学习的方法
深度学习通过神经网络结构实现对数据的特征提取, 是近年来图像处理、自然语言处理等领域中炙手可热的
方法, 也被广泛沿用于提取无人机多传感器数据的特征. 卷积神经网络 (convolutional neural network, CNN) 是其中
重要的神经网络结构之一, 其主要操作包括卷积、池化和展平, 图 9 以二维图像为例, 展示了这些操作.

卷积 池化 展平
图 9 卷积神经网络主要操作示意

Zhang 等人 [70] 采用引入卷积块注意力模块的 CNN 提取跑道区域图像的特征; 建立飞行高度与跑道角度以及
飞行高度与 IMU 姿态信息的映射函数, 并引入姿态误差函数作为校正, 使用长短时记忆网络对上述函数分别编码
并求和得到特征; 随后, 通过自注意力机制生成 2 种特征的权值, 加权拼接得到融合特征; 最后, 融合特征被输入至
双向长短时记忆网络进行高度判断. 李明辉等人 [71] 构建一维 CNN 网络提取音频特征、二维 CNN 网络提取红外
图像特征; 然后采用判别相关分析对 2 种特征进行转换降维, 并通过求和方式融合 2 种特征; 最后将融合特征输入
支持向量机来判断场景中是否存在待救援人员. Su 等人 [72] 将无人机状态信息划分为 3 个层级, 使用所提递归融合
自编码器将最低层级的多传感器时序监测数据嵌入为特征向量, 随后采用高斯混合模型以概率形式量化评估该层
级的风险, 最后使用动态加权和模糊综合评估方法将低层级风险逐级映射为高层级风险.
部分研究结合使用基于指标计算和基于深度学习的方法. Maimaitijiang 等人 [65] 从多光谱、可见光和红外图像
中提取光谱特征、纹理特征、结构特征以及温度特征, 堆叠输入至深度神经网络 (deep neural network, DNN), 其
中设计了 2 种融合方式: 第 1 种方式对 4 DNN; 第 2 种方式是使用 DNN 对 4 种特征进行
学习, 得到不同长度的特征向量后再拼接输入至预测网络; 验证表明第 2 种融合方式的效果更好. 类似的, Xia 等
人 [73] 从高光谱、可见光和 LiDAR 点阵数据中提取光谱特征图、纹理特征图和结构特征图, 在 CNN 中融合 3 种
特征图进行回归预测, 使用了 3 种融合方式: 第 1 种分别将 3 种特征图进行一次卷积与展平, 拼接后输入网络; 第
2 种是 3 种特征图各自经过多次卷积池化提取深层表征信息后, 再展平拼接输入至网络的预测层; 第 3 种则是在
第 2 种融合方式的基础上, 对光谱特征进行了 2 次拼接; 结果表明第 3 种融合方式具有最优的效果.