Page 207 - 《软件学报》2025年第12期

5588 软件学报 2025 年第 36 卷第 12 期

以及部分跨家谱问答场景. 本节从系统功能展示和问答场景分析两个角度来体现华谱通在家谱问答任务中的有
效性.
3.1 华谱通前端功能展示
如图 11 所示, 华谱通依托华谱平台而构建, 目前收录 4 份公开家谱与若干私有家谱 (因考虑用户隐私, 此处只
展示公开家谱), 并支持 4 个开源大模型问答接口. 与 ChatGPT 等大模型的网页端功能类似, 华谱通也支持自然语
言问答功能. 用户可以在选择合适的家谱和大模型接口之后, 向系统下方的消息输入框中输入想要询问的内容, 再
点击右下角的“发送”按钮, 即可等待华谱通对问题进行解答.
此外, 考虑到问答过程中可能出现的家谱知识查询时间过长和大模型生成内容过多的问题, 华谱通允许用户
随时中断当前问答进程. 如图 11 所示, 用户在前端点击相应的终止按钮, 华谱通会根据前端请求终止本次问答进
程, 并创建一个新的进程作为下一轮问答的消息传输载体.
3.2 人物亲属查询和人物关联查询
人物亲属和关系查询是智能家谱问答最基础的功能, 问答的准确性直接反映了本文所提出的知识图谱推理框
架是否能对大模型的答案生成起到正向的提示作用. 因此, 从问答精度测评方面, 本文根据华谱平台公开的《曾国
藩家谱》《红楼演示家谱》《杨氏—都阳谱》和《江山鹿溪林氏宗谱》设计了一份包含 300 条问答对的测试数
据集, 涉及第 2.2 节提出的 26 种亲属关系, 各种问题类型的数量分布如图 12 所示.

90
80
80
70
60
问题数量 50

40
30
17
20 14 13 13
11 11 9 9 9 9 10 10
7 7 7 6 8 8 8 9 7
10 5 5 4
2 2
0
父亲 儿子 女儿 妻子 丈夫 母亲 父母 子女 哥哥 弟弟 兄弟 姐姐 妹妹 姐妹 兄弟姐妹 姑姑 叔叔 伯伯 侄子 侄女 爷爷 奶奶 孙子 孙女 祖先 后代 人物关联
人物亲属查询 人物关联路径查询
图 12 测试数据集各类问题数量分布

此外, 为例验证华谱通中知识图谱推理框架在家谱知识问答上的优越性, 本文选取了两个国内外先进的 LLM
文档问答框架 (智谱清言长文档解读功能 (https://chatglm.cn/main/doc) 和 LangChain RAG (https://github.com/
langchain-ai/langchain)), 在《曾国藩家谱》《红楼演示家谱》《杨氏—都阳谱》和《江山鹿溪林氏宗谱》上与华
谱通进行问答质量对比.
在问答测评时, 考虑到部分人物亲属问题的答案中可能包含多个人物信息, 本文从宏观问答精度 (完全答对算
正确) 和微观问答精度 (按照答对内容占真实答案的百分比计算精度; 若回答内容存在不属于真实答案的部分, 则
定义为答错) 两个层面评价华谱通的问答质量. 具体测试分析如下.
表 3 展示了华谱通和对比方法在曾国藩家谱上的总体问答精度, 图 13 展示了华谱通和对比方法在曾国藩家
谱各类问题上的问答精度对比. 总体而言, 华谱通能够答对数据集中所有的人物亲属问题, 这得益于系统中完备
的 Jena 推理规则, 它保证了华谱通能在家谱中检索出所有与指定关系相关的目标人物, 从而促使 LLM 生成准确
且全面的答案 (在表 3 和图 13 中体现为华谱通拥有相同的宏/微观精度). 而智谱清言和 LangChain RAG 在不同人
物亲属问题上的表现差异较大. 如图 13 所示, 它们在“兄弟姐妹”“叔伯姑侄”和“爷孙”这 3 类问题上的问答精度明