Page 208 - 《软件学报》2025年第12期

吴信东 等: 华谱通: 基于知识推理的家谱问答大语言模型 5589

显低于华谱通, 我们将这种结果归因于智谱清言和 LangChain RAG 缺乏完备的知识推理逻辑, 进而难以检索到完
整的候选信息用于提示大模型回答问题.

表 3 华谱通和对比方法在曾国藩家谱上的总体问答精度 (%)

模型 宏观精度 微观精度
华谱通 97.67 97.67
智谱清言 56.34 58.60
LangChain RAG 30.33 34.26

1.0 1.0
0.9 0.9
0.8 0.8
0.7 0.7
宏观精度 0.5 微观精度 0.5
0.6
0.6
0.4
0.4
0.3 0.3
0.2 0.2
0.1 0.1
0 0
父亲 儿子 女儿 妻子 丈夫 母亲 父母 子女 哥哥 弟弟 兄弟 姐姐 妹妹 姐妹 兄弟姐妹 姑姑 叔叔 伯伯 侄子 侄女 爷爷 奶奶 孙子 孙女 祖先 后代 人物关联 父亲 儿子 女儿 妻子 丈夫 母亲 父母 子女 哥哥 弟弟 兄弟 姐姐 妹妹 姐妹 兄弟姐妹 姑姑 叔叔 伯伯 侄子 侄女 爷爷 奶奶 孙子 孙女 祖先 后代 人物关联
华谱通 智谱清言 LangChain RAG 华谱通 智谱清言 LangChain RAG
(a) 宏观精度 (b) 微观精度
图 13 华谱通和对比方法在曾国藩家谱上的问答精度

例如, 对“兄弟姐妹”和“叔伯姑侄”这类可能包含多个目标人物的问题, 单纯依靠文档检索是难以全面捕获所有
答案的. 此外, 大模型本身可能难以理解“伯伯/叔叔”是“父亲的哥哥/弟弟”这一关系规则, 因此, 智谱清言和 Lang-
Chain RAG 在缺少完整的文档检索内容和关系规则提示的前提下, 难以在一些复杂关系的问答场景中取得较好的效果.
相比之下, 得益于完备的自定义 Jena 推理规则, 华谱通在家谱检索时能够准确区分“伯伯”和“叔叔”等复杂关
系, 从而精准地定位到家谱中的正确信息. 在这种情况下, 华谱通传递给大模型的家谱知识在准确性和全面性上相
较于其他两个对比方法而言具有显著优势. 从另一个角度来看, 由于能够检索到足够精确的家谱知识, 华谱通无需
让大模型自身去解析复杂的关系, 这也是华谱通能在相对复杂的关系问答中给出正确答案的关键因素.
在人物关联问题上, 华谱通的问答质量有所下降, 但仍远高于其他两个方法. 我们认为华谱通在这类问题中出
现错误的原因与路径排序有关. 不同于人物亲属问题中关系的唯一性, 人物关联问题可能涉及多条多跳关系路径,
尽管华谱通依靠 Jena 逻辑推理机制能够推理出正确的路径, 但受限于关系初始分数的设计, 所得到的路径可能难
以直观地体现人物之间的关联. 例如, 根据第 2.3.2 节提出的算法 2, 原本应该是叔侄关系 (4 分) 的最优路径, 华谱
通会检索出路径“父亲→兄弟” (5.36 分), 这导致华谱通难以完全准确地回答出两个人之间直接关系, 造成问答结
果错误. 这也是华谱通在未来需要重点改进的功能.
3.3 复杂问答场景分析
本节将针对同名人物问答、指代模糊推理和跨家谱问答 3 个场景来分析华谱通在面对复杂问答场景时的有
效性. 本节以智谱清言在上述场景的问答结果作为对照组, 用于和华谱通的问答结果进行比较. 为便于读者比较华
谱通和智谱清言的问答质量, 本节在后文图 14 中提供了与问答内容相关的家谱人物信息以供参考.
3.3.1 同名人物问答
本节分析了华谱通和智谱清言在面对图 14 中同名人物“陈氏”时的问答场景.
华谱通的问答过程如图 15(a) 场景所示. 显然, 华谱通所回答的关于“陈氏”的信息与图 14 中两位“陈氏”的信
息都能匹配, 尤其是针对“已知陈氏的父亲是陈彰绶, 请介绍一下她的丈夫”和“已知陈氏的父亲是陈池生, 请告诉
我陈氏和曾国藩什么关系?”两个问题, 华谱通可以根据用户提供的条件, 精准地定位到两个不同的“陈氏”, 这得益
于多条件匹配机制对同名人物的准确筛选.