Page 197 - 《软件学报》2021年第5期

刘文炎 等:可信机器学习的公平性综述 1421

现有的公平机器学习算法可以消除应用场景中存在的部分不公平现象,但尚缺乏公平性和效率、研发成本
间的权衡,以使其能被更广泛地使用.现有的公平基准数据集覆盖个人收入、犯罪统计、入学录取等重要领域,
可以帮助验证机器学习算法的有效性.产业界推出公平检测工具在一定程度上可以帮助促进人们对算法公平
性的认识,还能降低厂商引入公平的研发成本,具有实际意义.

5 未来研究方向

现有的机器学习算法的公平试图解决下面 3 个问题:(1) 为现有的公平性定义提供更强的条件;(2) 试图涵
盖现有问题中没有考虑到的歧视;(3) 合理松弛以提高预测模型准确度.尽管公平机器学习研究已经取得了瞩
目的研究成果,但目前该研究还处于初级阶段,依然存在尚待解决的问题和挑战,包括:
(1) 提供更强的公平性定义
造成机器学习算法不公平的来源种类多且复杂,不同偏差对不公平造成的影响程度不同,且为了得到公平
的机器学习算法,不同偏差的应对方式也不同,开发人员的先验知识有差异,所以基于人工的公平性定义成本
高、效率低且不能主动发现新的、隐含的不公平风险.
公平机器学习的第 1 个挑战是如何提供综合性的公平定义:在对比不同公平机器学习算法的能力时,使用
不同公平性度量往往会导致不同的评判结果.这意味着算法公平与否是相对的,这不仅取决于模型和数据,还取
决于任务需求.现阶段缺乏完善、多维度的算法公平性评价指标和评估体系,无法对机器学习算法面临的公平
性风险进行有效的量化评估,导致无法保证部署到生产环境中的机器学习模型的公平性.因此,我们进一步需要
探索综合性公平定义,突破基于零先验知识的算法偏差自动挖掘和分析技术,研制算法公平性测试标准与工具,
检测待测机器学习算法及系统的不公平性的存在及类型,着手建立完善的机器学习算法的多维度评估体系.此
外,公平性定义的制定需要结合各国的法律法规和社会公平的概念,避免产生狭隘的技术解决方案.
公平机器学习的第 2 个挑战是如何适应公平性模型的动态性:现有工作主要在静态的、没有反馈的、短期
影响的场景中研究机器学习中的公平性问题,而没有研究这些决定如何随着时间流逝影响未来应用中的公平
性.现阶段机器学习的公平性研究呈现出动态演化的趋势,要求公平性定义和算法考虑决策系统动态的、有反
馈的、长期的后果.机器学习算法的公平性可以看作一种博弈,当前,公平性研究正处于劣势,其具体表现为:现有
的机器学习公平性研究提出的改进算法多针对被动的静态公平,无法有效地适应演化周期.因此,未来公平性研
究应着手建立有反馈的长期公平性,结合对抗环境下公平性提升和破坏的动态博弈理论,研究辅助动态公平性
的检测机制.
(2) 涵盖更真实的应用场景
机器学习模型的应用场景多元,实际应用中可能存在数据收集困难等难点,对公平机器学习带来挑战.
公平机器学习的第 3 个挑战是如何解决受保护属性与访问测试的矛盾:机器学习算法的意义不仅在于拟
合训练集的分布,而在于拟合上线后真实世界的分布.然而在真实应用中,敏感属性往往不可访问,存在难以测
试的问题.因此,我们进一步需要探索非侵入式测试或密文测试.
公平机器学习的第 4 个挑战是如何构建推理攻击的防御机制:公平性约束要求预测变量在某种程度上与
群体成员的属性无关.隐私保护的成员攻击提出了相同的问题:是否可能保证即使是最强大的对手也无法通过
推理攻击窃取个人的身份.因此,利用差分隐私技术可能会开发出更有效的公平学习算法.将现有的公平性机制
与差分隐私结合,是未来研究中比较有前景的方向.
此外,随着公平性研究的理论和技术的深入,促进其进一步发展的目的在于促进建立更完善的生态系统.真
实场景中的应用间存在公平性的相互影响:如在银行贷款中,对不同性别的群体在额度属性上存在不公平,而这
种不公平可能是由于不同性别的群体在职场的薪资水平导致的;类似地,这些不同的性别群体在职场上遭受的
不公平对待可能与其在入学时受到的歧视有关.所以,独立地解决银行贷款或职场薪酬中的偏差,无法从根本上
缓解不公平现象.因此,我们需要进一步探索能够引导社会决策向公平发展的辅助算法,可以考虑引入联邦学习
计算框架,实现跨领域、跨机构的协同公平解决算法.