Page 147 - 《武汉大学学报(信息科学版)》2025年第6期
P. 147
第 50 卷第 6 期 姚立伟等:地震灾害应急预案的生成式编制方法 1169
如图 8 所示,该阶段任务可分为两个子流程: 2)面 向 评 估 指 标 的 内 容 质 量 打 分 与 建 议
1)基于结构约束的格式优化; 反馈。
图 8 大模型驱动的预案内容格式优化与质量评估流程
Fig. 8 Format Optimization and Quality Assessment Workflow Powered by LLM
在格式优化过程中,通过结构化提示词引导 场景,还在结构与风格上符合应急管理部门的标
LLM 对文本进行统一调整,包括段落划分、编号 准化文书要求。整体结果表明,该策略显著增强
规范、术语标准化、条理结构重组等,确保生成内 了预案文本的规范性、可理解性与可落地性,为
容在文档层面具备良好的整体布局与信息表达 最终的发布审议与实战应用奠定坚实基础。
一致性。特别针对应急预案常见的“段落断裂” 2.4 性能评价
“编号混乱”与“术语使用不一致”等问题,该过程 2.4.1 评估结果
可实现自动识别与修复,从而提升文书合规性。 表 2 展示了各层级、各类型预案的具体得分
质量评估部分则引入一组内容审查标准,包 情况与综合评估结果。从评估结果可以看出,在
括准确性、清晰性、全面性、可行性、一致性与合 大多数评价维度上,工作流生成方法整体优于直
理性 6 个维度。具体而言,利用 LLM 的评分与推 接 LLM 生成方法,尤其在全面性、可行性和合理
理能力,对每个章节进行打分,并生成诊断性反 性 3 个关键指标上优势更加明显。具体而言,在
馈 。 例 如 ,在 识 别 到 某 章 节 存 在 职 责 描 述 缺 失 市 级 预 案 中 ,工 作 流 生 成 在 清 晰 性(8.65 vs
时,系统会输出类似“应当补充具体执行标准和 8.55)、全 面 性(8.80 vs 7.40)和 合 理 性(8.85 vs
责任主体”的优化建议;若发现文本组织混乱,则 8.40)上相较直接 LLM 生成有明显提升;在县级
提示“建议优化段落逻辑关系,确保前后衔接”。 预案中,工作流生成在全面性(9.00 vs 7.85)、可
该阶段任务通过“优化—评估—反馈”的闭 行 性(8.45 vs 7.45)和 合 理 性(8.75 vs 8.40)等 方
环机制,使生成预案不仅在语义内容上贴合实际 面同样表现出一定的优势。