Page 304 - 《软件学报》2026年第4期

王骞玥 等: 大语言模型驱动的可信政务问答技术 1745

回答. 相较于医疗问答更偏向于症结判断 [1] , 客服问答注重解决问题和客户满意度 [2] , 政务问答着重提供解决方式
或办事流程并要求回答表述的规范和严谨性, 符合政务信息系统基本要求 (GB/T 44230-2024).
因此, 本文构建了政务大语言模型, 该模型具备政务背景知识, 能理解简单的咨询问题并生成符合政务语言组
织规范的回答. 政务大语言模型是本文系统内容理解和回答生成的核心支撑模块. 本节将说明政务大语言模型的
构建细节.
政务大语言模型由开源通识大语言模型 ChatGLM2-6B [21] 通过指令微调构建. 本文采用低秩自适应 (low rank
adaptation, LoRA) 方法 [22] 来降低微调成本并保证微调效果. LoRA 方法在大语言模型外新增旁路, 并通过调整旁

路中的矩阵权重实现高效参数微调. 旁路由降维矩阵 A 和升维矩阵 B 组成. 训练前, 用全 0 矩阵初始化降维矩阵
A, 用随机高斯分布初始化升维矩阵 B, 该操作能保证训练开始时, 旁路矩阵的作用等价于一个全 0 矩阵, 不改变整
个模型的输出. 训练时, 针对输入特征向量, 旁路先降低输入特征向量的维度再对其升维, 以模拟模型参数的更新,
实现低秩近似.
LoRA 方法的优势在于只调整较小的旁路矩阵参数, 可以显著减少训练时的计算资源和时间. 同时, LoRA 方
法能够在不牺牲太多语言模型性能的情况下, 有效地对模型进行定制化调整, 使其更好地适应特定的任务或特定
领域. 微调任务中大语言模型参数可符号化如公式 (4) 所示.

W 0 +∆W (4)
LoRA 方法微调时, 参数更新如公式 (5) 所示.

d×r
W 0 +∆W = W 0 + BA, B ∈ R , A ∈ R r×k (5)
其中, W 0 ∈ R d×k ( d 为上一层输出维度, k 为下一层输入维度) 表示预训练大语言模型的权重参数矩阵, ∆W 表示需
要更新的旁路网络, 秩 r ≪ min(d,k) r . 的表示如公式 (6) 所示.

r = W 0 x+∆Wx = W 0 x+ BAx (6)
完成训练后, 将 LoRA 更新后网络与基础模型合并以构建政务大语言模型, 加快模型推理速度. 合并后的模型
权重可以表示为:

W merge = W 0 + A· B (7)
本文通过将基础模型与 LoRA 微调部分合并构建的政务大语言模型在保留基础模型本身的语言理解和生成
能力的同时, 还具备政务领域的对话能力. 构建的政务大语言模型, 能直接理解简单明确的政务服务咨询提问并针
对提问生成符合政务语言组织规范的咨询回复, 是本文系统理解咨询内容和生成规范化回复的关键模块. 关于政
务大语言模型微调数据的来源及构建细节在本文的第 4 节详述, 关于政务大语言模型微调构建使用的训练数据量
讨论及微调方法的超参数设置在本文的第 5 节详述.
3.2 分析引导模块
相较于医疗问答和客服问答的用户咨询聚焦于病症或产品本身, 政务问答系统的咨询核心需求隐含在用户咨
询的表述中 [23] . 政务问答系统的服务对象知识结构多样且语言表达的准确性和规范性无法保证, 这增加了咨询的
复杂度 [4] . 同时, 政务问答系统有两个典型的使用场景: 专家政务信息查询和市民政务服务咨询. 在专家政务信息
查询场景中, 系统面向领域内人员, 根据简练规范的提问, 提供政务公开信息的查询服务. 在市民政务服务咨询场
景中, 系统面向市民提供政务服务相关的办事建议或答疑.
目前, 政务问答方法主要基于检索或通过小规模语言模型直接给出回答. 然而, 这些方法对咨询的分析深度不
足, 且在多服务场景中的非规范咨询进一步阻碍了对咨询内容的有效理解. 咨询理解深度的局限影响了回答的准
确性及这些方法在多服务场景中的稳定性, 最终导致“答非所问”的现象 [2] .
为提升在多服务场景下对咨询内容的有效理解, 如图 3 所示, 政务咨询专员在处理政务咨询时, 通常会遵循特
定顺序的思考过程 (A, B, C). 具体而言, 政务咨询专员通过对咨询进行多步分析, 能在面对非规范化语言组织的咨