Page 181 - 《软件学报》2021年第5期

刘文炎 等:可信机器学习的公平性综述 1405

overview of three research contents is provided, namely, fair representation, fair modeling, and fair decision-making algorithm. The
potential causes and harmful consequences of unfairness are first identified in data and algorithm processing. Then, the abstract definition
and primary mechanisms for eliminating unfairness are summarized. The research on fairness is at its early stage in fields such as
computer vision, natural language processing, recommender systems, multi-agent systems, and federated learning. Fairness is a
prerequisite for the application of machine learning, and constructing fair algorithms has theoretical significance and practical values.
Key words: trustworthy artificial intelligence; trustworthy machine learning; fairness; statistical fairness; causal fairness; fair
representation; fair modeling; fair decision-making

[1]
机器学习通过计算的手段,利用以数据形式存在的经验来改善系统的能力与性能 .机器学习是智能计算
的核心技术,受到了学术界和产业界的广泛关注,在计算机视觉、自然语言处理、语音识别、数据挖掘和信息
检索等应用领域取得了巨大突破.随着人类社会被机器学习逐渐渗透,机器学习技术影响着人们生活,如果利用
不当,甚至会损害人类的利益.人类和机器学习的关系也引发了新的法律、伦理以及技术问题.例如:优步无人驾
驶系统设计中没有考虑到不守规则、横闯马路的行人,导致致命的交通事故;脸书用户资料遭剑桥分析公司窃
取,该公司基于窃取的用户资料有针对性地推送政治广告,涉嫌操纵舆论宣传.在这样的背景下,机器学习的可
[6]
信属性孕育而出 [2,3] ,即公平性、隐私性 [4,5] 、透明性、鲁棒性和可解释性 等,并受到国际各界的重视.欧洲联盟
委员会于 2019 年 4 月发布《可信人工智能的伦理指南》(Ethics guidelines for trustworthy AI);美国国家科学技
术委员会于 2019 年 6 月更新《国家人工智能研究与发展战略规划》(The national artificial intelligence research
and development strategic plan),重点关注机器学习算法的合法性、道德性和鲁棒性;中国科技部于同月发布《新
一代人工智能治理原则——发展负责任的人工智能》,提出人工智能治理的框架和行动指南.
公平指处理事情合情合理,不偏袒任何一方.公平机器学习算法指在决策过程中,对个人或群体不存在因其
[7]
固有或后天的属性所引起的偏见或偏爱 .机器学习算法因数据驱动,可能在无意中编码人类偏见.一个典型案
例是 ProPublica 组织发现:美国法院使用的替代性制裁犯罪矫正管理剖析软件(correctional offender manage-
ment profiling for alternative sanctions,简称 COMPAS)将非裔美国被告人与高风险累犯评分联系在一起,从而给
予更严厉的监禁判决.除此之外,雇佣、保险和广告等领域也发现了类似问题.
算法公平性是机器学习向善的重要主题之一,建立合理的模型保证算法的决策客观,是加速推广机器学习
落地的必要条件,具有理论意义和应用价值.美国计算机学会 ACM 于 2018 年开始专门设立 FAccT 会议(ACM
Conf. on Fairness, Accountability, and Transparency),研讨包括计算机科学、统计学、法律、社会科学和人文科
学等交叉领域的公平性、问责制和透明度问题.此外,包括 ICML、NeurIPS 和 AAAI 在内的多个人工智能重要
国际会议专门设置研究专题讨论公平机器学习.
在政府机构指导性原则引导下,学术界和产业界正着力推动公平机器学习理论、技术及应用发展.本文的
主旨是梳理目前机器学习公平性研究的现状,并为后续研究提供可借鉴的思路.机器学习算法通常包括以下关
键环节:数据所有者采集数据,模型提供者设计算法,算法使用者运行并做出决策.公平机器学习研究的关键问
题是如何建立以法律、伦理、社会学为引导的公平性定义,以及如何设计公平性定义驱动的公平机器学习算法.
图 1 总体介绍了公平机器学习算法设计流程框架.
• 首先,明确公平目标,即确定符合应用需求的公平性目标,常用的公平性目标包括感知公平性、统计公
平性和因果公平性.
• 其次,明确公平任务,即确定面向公平目标的算法公平性提升任务,包括公平表征任务、公平建模任务
和公平决策任务:公平表征任务旨在建立公平数据集或提取公平数据特征;公平建模任务旨在建立公
平机器学习模型;而公平决策任务将机器学习模型视为黑盒模型,旨在利用其输出结果进行公平决策.
处理机制的选择通常对应机器学习算法的关键环节,具体包括预处理机制、处理中机制和后处理机制.
• 最后,从理论分析和实验评估两个角度分别验证公平机器学习的表现.