Page 117 - 《高原气象》2025年第6期

6 期 刘 杰等：基于决策树算法的青海省高原地区冰雹预报及关键特征因子分析 1525
表3 三种决策树算法的命中率、 误报率、 临界成功指数、
正确率和召回率的30次实验（冰雹样本直径≥2 mm）
平均结果
Table 3 The average results of 30 experiments for hit
rate， false alarm rate， critical success index， accuracy，
and recall of three decision tree algorithms
（hail sample diameter ≥ 2 mm）
命中率 误报率 临界成功 准确率 召回率
↑ ↓ 指数↑ ↑ ↑
随机森林 0. 823 0. 096 0. 707 0. 892 0. 803
XGBoost 0. 885 0. 076 0. 796 0. 911 0. 893
LightGBM 0. 923 0. 041 0. 858 0. 946 0. 924
加粗部分表示该指标下的最优得分（The bolded values in the
table indicate the best scores for each metric）

图5 三种决策树模型的 ROC 曲线及其 AUC 值对比（AUC 表4 三种决策树算法的命中率、 误报率、 临界成功指数、
越接近 1， 分类性能越优） 正确率和召回率的30次实验（冰雹样本直径≥5 mm）
Fig. 5 Comparison of ROC curves and AUC values for three 平均结果
decision tree models （the closer the AUC is to 1， Table 4 The average results of 30 experiments for hit
the better the classification performance） rate， false alarm rate， critical success index， accuracy，
and recall of three decision tree algorithms
测输出的概率值≥0. 4 时， 判定为 1 样本（有冰雹），
（hail sample diameter ≥ 5 mm）
否则判定为0样本（无冰雹）。
命中率 误报率 临界成功 准确率 召回率
曲线下的面积（AUC）被用作量化模型整体性
↑ ↓ 指数↑ ↑ ↑
能的指标， AUC 越接近 1， 模型性能越优秀； 接近
随机森林 0. 836 0. 084 0. 794 0. 906 0. 871
0. 5 则表现接近随机猜测。从图 4 中可以看出，
XGBoost 0. 894 0. 056 0. 826 0. 938 0. 913
LightGBM 和 XGBoost 的曲线位置更靠近理想的左 LightGBM 0. 938 0. 038 0. 908 0. 960 0. 964
上角， 性能优于随机森林。
表中加粗部分表示该指标下的最优得分（The bolded values in
the table indicate the best scores for each metric）
3 结果检验
从表 3 和表 4 的结果可以看出， 在针对冰雹样
3. 1 独立样本检验
本直径≥2 mm 的测试集进行的 30 次实验评估中，
通过利用独立的测试集样本， 分布如表 2 所
LightGBM、 XGBoost 和随机森林算法的平均命中
示。本研究分别对两个实验组进行了性能评估。
率分别为 0. 923、 0. 885 和 0. 823； 平均临界成功指
第一组实验基于冰雹直径≥2 mm 的样本， 第二组实
数分别为 0. 858、 0. 796 和 0. 707； 平均准确率分别
验则针对符合 WMO 标准（冰雹直径≥5 mm）的样本
为 0. 946、 0. 911 和 0. 892； 平 均 召 回 率 分 别 为
进行评估。直径≥2 mm 的冰雹样本包含了更多潜
0. 924、 0. 893 和 0. 803； 平均误报率分别为 0. 041、
在冰雹事件， 能够为冰雹形成的普遍性规律提供更
0. 076 和 0. 096。可以发现， LightGBM 算法在平均
广泛的统计支持， 而直径≥5 mm 的冰雹样本更加符
命中率、 临界成功指数、 准确率和召回率等评估指
合“真正意义的冰雹”定义， 适用于揭示与显著冰雹
事件相关的关键气象特征。对于这两组实验， 采用 标上均表现最优， 同时其误报率最低。这一表现趋
了经过训练和调优的三种决策树集成模型（随机森 势在冰雹样本直径≥5 mm 的实验中同样得到验证。
林、 XGBoost 和 LightGBM）， 并对每组数据进行了 值得注意的是， 对于直径≥5 mm 的冰雹样本， 模型
30 次独立样本检验， 计算了各自的平均结果， 防止 的预测效果明显优于直径≥2 mm 的冰雹样本。分
实验存在偶然性。评估指标包括命中率、 误报率、 析认为， 较大直径的冰雹通常与更强的气象系统
临界成功指数、 准确率和召回率等， 具体结果如表 （例如强对流天气）密切相关， 这些天气系统的特征
3和表4所示。 更加显著， 气象信号更为明显， 从而使模型能够更