Page 360 - 《软件学报》2025年第10期

刘一丁 等: 针对 LLM 对话属性情感理解的多代理一致性反思 4757

作为基座模型, 通过微调的方式让模型有效地理解和捕捉上下文中的细粒度信息. 同时本文的方法从任务出发, 设
计出 3 个子任务代理. 这 3 个代理通过让模型捕捉上下文与句子间的信息来提升对对话的理解能力. 此外, 受
Reflexion [32] 的启发, 本文引入强化学习的思想设计出一致性反思模块. 并且为了保证模型在反思过程的稳定性, 我
们在反思阶段不修改模型的参数, 而是将存储单元中的内容与 prompt 结合, 以 Zero-Shot 的方式让模型进行反思.
下面就子任务代理和一致性反思的细节予以介绍.

对话文本 多代理模块 一致性增强的反思模块 一致性增强反思
main agent EM agent OM agent
行动 (action)
A reward reward
B 存储模块 (memory) 一致性评估
EM agent
A main agent OE agent
(entity, mention, opinion, polarity) reward
OE agent entity opinion opinion
B
一致性感知的奖励
EM agent OE agent OM agent
一致性反思
OM agent
B
一致性增强反思 一致性增强

一致性感知的奖励 评估代理间的一致性
EM agent
不一致
大语言模型 一致性奖励
OM agent
OE agent
评估情感理解任务和子任务代理的一致性
图 2 多代理一致性反思模型结构图

2.1 子任务代理
在介绍本节内容之前, 我们给出大语言模型对话属性情感理解任务的形式化描述. 给定一段对话 C = {c 1 ,c 2 ,...,c n },
其中, c i 表示第 句话, n 表示这段对话中话语个数, 大语言模型对话属性情感理解任务的目的是抽取所有的四元
i
组 (e i ,r i ,o i , p i ), 其中, o i 是观点描述语, e i 是 o i 指向的最具体的属性实体, r i 是观点描述语出现的句子中 e i 的指代提
及, p i 是观点描述语 o i 的情感极性. 特别地, 当观点描述语出现的句子中没有出现属性实体 e i 的代指时, 我们将指
代提及标记为“null”.
为了让模型更好地理解任务, 我们设计了 3 个子任务代理, 通过将难度较高的情感理解为若干个难度较低的
子任务, 降低模型的学习难度. 我们通过任务的定义, 从四元组抽取任务中划分出 3 个子任务: (1) 抽取对话中的属
性实体 (entity) 与代指提及 (mention) 之间的关系 (EM 代理); (2) 抽取对话中的观点描述语 (opinion) 与属性实体
(entity) 之间的关系 (OE 代理); (3) 抽取观点描述语出现的句子中观点描述语 (opinion) 与指代提及 (mention) 之间
的关系 (OM 代理). 这 3 个代理旨在让模型更好地理解任务定义. 具体而言, EM 代理和 OE 代理捕捉对话中的属
性指代映射. OM 代理捕捉当前语句中的属性情感映射. 每个代理抽取的信息如图 2 中多代理模块所示, 形式化描
述如下.
● 属性实体-代指提及代理 (entity-mention agent, EM agent). 给定一段对话 C = {c 1 ,c 2 ,...,c n }, 其中, c i 表示第 i
句话, n 表示这段对话中对话的个数. EM 代理的目的是在给定属性实体的情况下, 找出这段对话 C 中全部的指代
以及找出指代出现的位置.
● 观点描述语-属性实体代理 (opinion-entity agent, OE agent). 给定一段对话 C = {c 1 ,c 2 ,...,c n }, 其中, c i 表示第 i
句话, n 表示这段对话中对话的个数. OE 代理的目的是在给定观点描述语 o i 的情况下, 找到 o i 指向的属性实体 e i