Page 339 - 《软件学报》2025年第12期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(12):5720−5738 [doi: 10.13328/j.cnki.jos.007415] [CSTR: 32375.14.jos.007415] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
基于常识推理问答的多模态题文不符检测

余建兴 1,3,4 , 王世祺 1 , 陈 祺 1 , 赖韩江 2 , 饶洋辉 2 , 苏勤亮 2 , 印 鉴 1,3

1
(中山大学 人工智能学院, 广东 珠海 519082)
2
(中山大学 计算机学院, 广东 广州 510006)
3
(可持续旅游智能评测技术文化和旅游部重点实验室 (中山大学), 广东 珠海 510006)
4
(人工智能与数字经济广东省实验室 (广州), 广东 广州 510330)
通信作者: 印鉴, E-mail: issjyin@mail.sysu.edu.cn
摘 要: 主要研究题文不符的社交推文检测任务. 这些推文往往通过欺骗性的标题或封面图来误导读者点击与之
无关的低质内容, 以让其广泛传播和带来点击量等商业利益. 为了规避检测, 恶意的创作者还会使用各种窍门将题
文不符的推文伪装成合法的, 譬如添加无关易混淆的合法内容来干扰检测器. 检测这种推文需要对细节反复推敲,
甚至还要借助外部的常识进行多步推理验证. 然而, 传统方法一般把推文看成是一堆词语符号并简单灌入神经网
络做分类, 忽略对其内在隐含的虚假细节进行分析, 导致漏判和误判. 而且这种黑盒子般的模型缺乏可解释性. 为
了解决这些问题, 提出一种问答引导的新检测器, 通过质疑-验证的方式对细节逐一分析, 以发现潜在的不一致和虚
假点. 首先利用多模态检索增强技术提取推文中的细节点, 然后通过提问的方式来质疑每个点. 为了充分验证事实
和其复杂关系, 不仅覆盖简单的浅层匹配提问, 还有深层次常识推理的高阶提问. 每个提问可以从推文中找到字面
答案. 但是该答案可能是虚构和不准确的. 为此, 通过开放域的问答模型借助外部知识源来交叉验证, 推导出相对
可信的答案. 当两个答案不同时, 推文很可能存在虚假内容. 这种不一致可以作为有效的特征, 并与其他多模态的
语义特征结合, 以提高检测模型的判别能力和鲁棒性. 此外, 这可以把复杂的检测任务分解为一系列问答步骤, 便
于找出不一致细节来解释引起题文不符的原因. 在 3 个主流数据集上做了充分的实验, 验证了该方法的有效性.
关键词: 题文不符检测; 常识推理; 提问生成
中图法分类号: TP181

中文引用格式: 余建兴, 王世祺, 陈祺, 赖韩江, 饶洋辉, 苏勤亮, 印鉴. 基于常识推理问答的多模态题文不符检测. 软件学报, 2025,
36(12): 5720–5738. http://www.jos.org.cn/1000-9825/7415.htm
英文引用格式: Yu JX, Wang SQ, Chen Q, Lai HJ, Rao YH, Su QL, Yin J. Multi-modal Clickbait Detection by Asking Commonsense
Reasoning Questions to Infer Inconsistencies. Ruan Jian Xue Bao/Journal of Software, 2025, 36(12): 5720–5738 (in Chinese). http://
www.jos.org.cn/1000-9825/7415.htm

Multi-modal Clickbait Detection by Asking Commonsense Reasoning Questions to Infer
Inconsistencies
1
2
2
2
1
YU Jian-Xing 1,3,4 , WANG Shi-Qi , CHEN Qi , LAI Han-Jiang , RAO Yang-Hui , SU Qin-Liang , YIN Jian 1,3
1
(School of Artificial Intelligence, Sun Yat-sen University, Zhuhai 519082, China)
2
(School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China)
3
(Key Laboratory of Intelligent Assessment Technology for Sustainable Tourism, Ministry of Culture and Tourism (Sun Yat-sen
University), Zhuhai 510006, China)

* 基金项目: 国家自然科学基金 (62276279, 62372483, 62276280, U2001211, U22B2060); 广东省基础与应用基础研究基金 (2024B1515
020032); 广州市科技计划 (2023B01J0001, 2024B01W0004)
收稿时间: 2024-09-25; 修改时间: 2024-12-22; 采用时间: 2025-02-18; jos 在线出版时间: 2025-09-10
CNKI 网络首发时间: 2025-09-11