Page 148 - 《武汉大学学报(信息科学版)》2025年第6期
P. 148

1170                            武 汉 大 学 学 报  (信 息 科 学 版)                        2025 年 6 月

                               表 2 直接 LLM 生成与工作流生成在不同预案层级和措施类型下的综合评价结果
                   Table 2 Comparative Evaluation Results of Direct LLM Generation and Workflow Generation Across Different Plan
                                                     Levels and Measure Types
                                       准确性         清晰性         全面性          可行性         一致性         合理性
                  预案       措施
                                           工作          工作          工作           工作          工作          工作
                  层级       类型       LLM          LLM         LLM         LLM          LLM         LLM
                                            流           流           流           流            流           流
                        应急处置措施       8.40  8.00  8.30  8.70  7.40   8.80  7.30  8.40  8.40  8.60  8.60  8.80
                  市级    应急保障措施       8.00  8.00  8.80  8.60  7.40   8.80  7.80  9.00  8.20  8.50  8.20  8.90
                         综合得分        8.20  8.00  8.55  8.65  7.40   8.80  7.55  8.70  8.30  8.55  8.40  8.85
                        应急处置措施       8.40  7.80  8.00  8.20  7.80   9.00  7.00  7.90  8.60  8.50  8.30  8.50
                  县级    应急保障措施       8.70  8.40  8.90  9.10  7.90   9.00  7.90  9.00  8.40  8.90  8.50  9.00
                         综合得分        8.55  8.10  8.45  8.65  7.85   9.00  7.45  8.45  8.50  8.70  8.40  8.75
                        应急处置措施       8.40  7.90  8.15  8.45  7.60   8.90  7.15  8.15  8.50  8.55  8.45  8.65
                  全局    应急保障措施       8.35  8.20  8.85  8.85  7.65   8.90  7.85  9.00  8.30  8.70  8.35  8.95
                         综合得分        8.38  8.05  8.50  8.65  7.63   8.90  7.50  8.58  8.40  8.63  8.40  8.80

                     雷达图(图 9)进一步直观展示了两种生成方                       显 优 势 ,表 明 其 生 成 的 应 急 处 置 措 施 覆 盖 更 完

                法在 6 个评估维度上的综合表现。可以清晰看                           整、实施性更强。在保障措施中,工作流生成同
                出,工作流生成方法在 6 个维度上均表现出更优                          样在全面性、可行性、合理性指标上明显领先,反
                的得分趋势,尤其在全面性、可行性与合理性 3 个                         映出其在资源保障措施设计方面更符合应急管
                指标上的提升更为明显。在应急处置与救援中,                            理的实际需要。在整体综合得分中,工作流生成
                工 作 流 生 成 相 比 直 接 LLM 生 成 在 全 面 性(8.90           在 所 有 维 度 上 均 保 持 领 先 ,显 示 出 良 好 的 规 范
                vs 7.60)和可行性(8.15 vs 7.15)两个指标上有明                性、连贯性和操作可行性。






















                                              图 9 不同生成方法的预案综合性能雷达图
                                         Fig. 9 Radar Charts of Comprehensive Plan Performance

                     尽 管 工 作 流 生 成 方 法 在 整 体 上 优 于 直 接           高层级结构化知识的表达上更具优势。而在可
                LLM 生成,但在不同预案层级下仍呈现出一定的                          行性与合理性两个指标上,县级预案得分略高于
                评分差异。从表 2 中可以看出,在准确性与清晰                          市级(分别为 8.70 vs 8.45、8.85 vs 8.75),表明工

                性维度上,市级与县级预案表现基本一致,均保                            作流方法在处理县级场景时更能贴近基层操作
                持较高得分(准确性分别为 8.10 和 8.00,清晰性                     实际。这主要归因于两个方面:(1)县级参考文
                均为 8.65),说明工作流方法在文本表达与术语规                        本 通 常 具 备 更 强 的“ 执 行 导 向 ”,内 容 细 节 更 明
                范方面具有较强的一致适应能力。在全面性方                             确,便于 LLM 进行结构类比与补全;(2)图谱中
                面,市级预案得分(9.00)略高于县级(8.80),这与                     与县级任务匹配的措施粒度更细,生成内容在资
                市级预案在内容覆盖范围、职责体系与响应环节                            源调配、行动执行方面更具操作性。在一致性方
                上的制度性描述更为丰富有关,生成系统在对中                            面,市级略高于县级(8.70 vs 8.55),这是因为市
   143   144   145   146   147   148   149   150   151   152   153