Page 151 - 《软件学报》2026年第4期

1592 软件学报 2026 年第 37 卷第 4 期

information-flow-based explanations, which focus on analyzing the importance of neurons or features, such as locating the pixel regions in
an image that play a decisive role in classification results. Although these methods can reveal what the model has “attended to”, they often
fail to provide cognitively meaningful, human-understandable semantics. In contrast, concept-based explanations construct semantic spaces
to map internal model representations to interpretable concept structures, thus answering what the model has understood. These methods
offer greater semantic depth and cognitive alignment, making them especially effective in improving semantic transparency and user trust.
The fundamental lack of interpretability in deep learning stems from its deficiency in semantic representation. Therefore, constructing
concept spaces and representation mechanisms aligned with human cognition has become a key breakthrough point in the development of
interpretable models. This study presents a comprehensive survey of concept-based modeling methods in interpretable deep learning. Based
on the stage at which interpretability is introduced, existing approaches are categorized into two major paradigms: post-hoc explanations,
which extract semantic representations from trained models through techniques such as neuron dissection and semantic clustering; and
intrinsic explanations, which incorporate structured priors or semantic constraints during training to endow models with built-in
interpretability. Within this classification framework, this study systematically reviews representative modeling strategies and key methods,
compares their performance in terms of semantic transparency and practical applicability, and summarizes current challenges and future
research directions. The goal is to provide a structured reference and methodological guidance for understanding and building semantically
interpretable deep learning models.
Key words: interpretability; deep learning (DL); conceptual representation; post-hoc explanation; intrinsic explanation

近年来, 深度神经网络凭借其强大的特征自动提取与建模能力, 在图像识别 [1−4] 、自然语言处理 [5] 、推荐系
统 [6] 、自动驾驶 [7] 等多个领域取得了显著进展, 成为推动人工智能快速演进的核心技术之一. 然而, 深度模型在实
现高性能的同时, 也表现出高度的不透明性, 其复杂的内部机制难以为人所理解, 被广泛视为“黑盒”模型. 这种不
可解释性在某些通用任务中可能尚可接受, 但在医疗诊断 [8,9] 、金融风控 [10,11] 、自动驾驶 [12,13] 等安全性和可靠性
要求极高的场景中, 模型一旦出现异常或错误决策, 可能带来严重后果. 因此, 如何增强深度模型的可解释性, 已成
为实现高可信机器学习的核心技术瓶颈与研究热点 [14,15] .
目前, 可解释人工智能 (explainable artificial intelligence, XAI) 已形成初步体系, 研究者提出了多种方法 [16−18]
以揭示深度模型的行为逻辑. 总体来看, 现有可解释性方法大致可分为两类路径: 基于信息流的解释方法与基于概
念的解释方法. 前者通过分析模型内部的信息传递过程 (如梯度传播、特征响应、注意力分布等), 尝试定位模型
在输入样本中“关注了哪些特征”, 揭示其决策依据. 典型方法包括敏感度分析 (sensitivity analysis) [19,20] 、逐层相关
性传播 (layer-wise relevance propagation, LRP) [21] 、梯度加权类激活映射 (Grad-CAM) [22] 等, 能够以热力图等形式直
观展示模型聚焦区域. 尽管这些方法在可视化和模型调试方面具有一定实用性, 但其解释往往停留在底层像素或
局部特征层面, 缺乏与人类认知一致的语义结构支撑, 难以提供具有可理解性的概念性解释.
相比之下, 基于概念的解释方法强调引入具有人类语义的中间表示, 尝试回答“模型理解了什么”这一更具认
知价值的问题. 该类方法通过构建或挖掘语义概念空间, 将模型内部特征与人类可感知、可命名的语义单位建立
映射, 从而使模型决策过程具备更强的透明性和可解释性. 例如, 概念激活向量测试 (testing with concept activation
vectors, TCAV) [23] 方法通过定义一组正负样本生成方向向量, 解释模型是否在使用某个概念; 原型网络 [24] 通过嵌
入语义原型增强模型结构可解释性; 而基于聚类分析的语义模式提取方法则尝试在高维特征空间中发现潜在概念
簇. 相比于低层特征可视化, 概念级解释可直接对应人类理解的语义单元, 在提升模型可控性、支持审计追责和辅
助领域专家决策等方面具有显著优势.
从深层次看, 深度学习的不可解释性根源在于其内部表示缺乏语义清晰的认知结构 [25] . 在人类认知中, 概念
是构建语义理解的基本单元, 是人们识别、分类和推理的核心载体. 因此, 若想让深度模型具备可解释性, 关键在
于使其内部表征能够映射为人类可理解的概念空间. 在早期的哲学与逻辑传统中, 概念被认为可以通过一组清晰
的符号、完备的规则或命题进行定义, 这种观点被称为经典内涵理论 [26] . 根据这一理论, 某个对象是否属于某一
概念, 是一个严格的二值判断问题, 只需验证其是否满足人为设定的必要与充分条件. 例如, 在交通法规中, “限速
标志”可以通过其几何形状和文字内容进行明确定义; 在程序语言中, “变量名”必须符合特定语法规则. 这些概念
具有清晰的边界和逻辑定义, 因此适用于经典内涵的形式化表示.
然而, 现实世界中的许多概念并不具备如此严格和统一的定义边界. 以图像分类任务为例, 某些常见类别, 如