Page 271 - 《软件学报》2026年第2期

750 软件学报 2026 年第 37 卷第 2 期

多标记分类允许每个样本同时与多个标记相关联 [1,2] , 能够解决真实世界中广泛存在的多义性对象的机器学
习建模问题. 因而, 多标记分类在文档语义分析 [3] 、视觉目标识别 [4] 、生物信息挖掘 [5] 、医学疾病诊断 [6] 、电子商
务运营 [7] 等众多实际应用场景中受到了广泛的关注.
多标记分类中, 一种直接的解决策略是在样本的同一特征之上导出各个标记的判别模型. 虽然简单可行, 但该
策略在多义性对象建模能力上具有局限性. 这是因为多义性对象的各个标记具有潜在不同的判别偏好 [8] , 即各个
标记与特征间的关联关系可能是不同的. 例如, 在图像识别任务中, 形状特征是“山峰”目标识别的相关特征, 而纹
理特征则是“河流”目标识别的重要特征; 在文档分类任务中, “股票”“利润”等词汇特征对于“经济”主题的判别更为
关键, 而“篮球”“马拉松”等词汇特征则对于“体育”主题的判别更为重要. 上述策略在同一特征上进行标记判别, 未
考虑标记间存在的判别偏好差异化问题, 建模能力有限.
针对上述问题, 类属特征策略 [8−11] 允许不同标记的判别过程使用不同的特征, 通过特征定制充分兼顾每个标
记的判别偏好, 从而有效改善多标记分类性能. 为学习类属特征, 已有方法关注于利用特征处理技术对样本中标记
[8]
判别的相关特征进行提取. 其中, 一类重要的方法利用特征变换技术构造类属特征. 代表性方法 LIFT 首先对各个
标记的正、负示例进行聚类分析, 然后将聚类原型作为特征变换基实现类属特征变换. 另一类方法则利用特征选
择技术构造类属特征. 代表性方法 LLSF 在 [9] LASSO 回归 [12] 框架下为各个标记分别选择判别过程的相关特征子集.
与上述直接提取标记相关特征的常规做法不同, 本文尝试通过对标记判别的无关特征进行操纵实现类属特征
学习. 在这个研究角度上, DELA 方法 [13] 是目前仅有的一项工作. 在随机特征扰动框架下, 该方法根据模型输出关
于输入扰动的灵敏度差异辨识各个标记的无关特征, 通过求解概率放松的扰动风险最小化问题赋予分类模型关于
无关特征的不变性. 然而, 学习过程中输入-输出灵敏度差异动态变化, 无法保证无关特征辨识的可靠性, 致使该方
法在复杂学习场景中表现不佳.
基于上述考虑, 本文提出了一种基于不变性注入的多标记类属特征学习方法 INVA (multi-label label-specific
feature learning based on invariance injection). 在 DELA 方法基础上, INVA 方法通过显式建模数据分布特性, 增强
无关特征辨识过程的可靠性. 具体而言, INVA 方法对各个标记的特征协方差矩阵进行估计, 该二阶矩统计量反映
了类内各维度特征的变化情况 [14] , 为各个标记无关特征的辨识提供了统计依据: 其中, 类内变化程度较大的特征
分量, 对应标记判别的无关特征; 而类内变化程度较小的特征分量, 则对应标记判别的相关特征. 进而, INVA 方法
根据特征协方差矩阵生成随机噪声, 对标记判别的无关特征进行扰动, 从而通过求解定义在扰动训练样例之上的
扰动风险最小化问题导出具有无关特征不变性的分类模型. 文中进一步推导了扰动风险最小化问题的理论上界,
该上界规避了最小化问题求解中难处理的期望运算, 提高了方法的计算效率. 多标记基准数据集上全面的实验分
析结果表明, 所提方法能够有效提升多标记分类性能.
本文第 1 节简要地回顾相关的研究工作. 第 2 节介绍提出的 INVA 方法的技术细节. 第 3 节展示基准数据集
上全面的实验分析结果. 第 4 节对全文进行总结.

1 相关工作

1.1 多标记分类
多标记分类问题在学术界得到了广泛的关注 [1,2] . 由于多标记分类的输出空间具有关于标记数量的指数级规
模, 建模标记间的依赖关系是多标记分类已有研究体系中的关键问题之一. 根据方法设计中考虑的标记相关性阶
数的不同, 已有方法可分为 3 类, 分别是一阶方法 [15,16] 、二阶方法 [17,18] 和高阶方法 [19−22] . 近年来, 许多研究工作致
力于结合深度学习技术对已有的标记依赖关系建模方法进行改进. 例如, 一些工作尝试引入循环神经网络 [23,24] 、
图神经网络 [25,26] 等深度模型来建模标记间的依赖关系. 标记嵌入方法 [27,28] 则通过在深度隐空间中进行特征和标记
对齐, 实现标记依赖关系的隐式建模.
标记依赖关系建模方法主要关注输出空间处理. 作为上述方法的补充, 类属特征策略旨在对多标记数据的输
入空间进行处理, 从而改善多标记分类性能. 根据类属特征学习过程中使用的特征处理技术的不同, 已有方法可分