Page 180 - 《软件学报》2021年第5期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(5):1404−1426 [doi: 10.13328/j.cnki.jos.006214] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
可信机器学习的公平性综述

2
2,3
1
2,3
2,3
2,3
2
刘文炎 , 沈楚云 , 王祥丰 , 金 博 , 卢兴见 , 王晓玲 , 查宏远 , 何积丰 1,3
1
(华东师范大学 软件工程学院,上海 200062)
2
(华东师范大学 计算机科学与技术学院,上海 200062)
3 (上海自主智能无人系统科学中心 可信人工智能研究所,上海 200092)
通讯作者: 王祥丰, E-mail: xfwang@cs.ecnu.edu.cn; 王晓玲, E-mail: xlwang@cs.ecnu.edu.cn

摘 要: 人工智能在与人类生活息息相关的场景中自主决策时,正逐渐面临法律或伦理的问题或风险.可信机器
学习是建立安全人工智能系统的核心技术,是人工智能领域的热门研究方向,而公平性是可信机器学习的重要考量.
公平性旨在研究机器学习算法决策对个人或群体不存在因其固有或后天属性所引起的偏见或偏爱.从公平表征、
公平建模和公平决策这 3 个角度出发,以典型案例中不公平问题及其危害为驱动,分析数据和算法中造成不公平的
潜在原因,建立机器学习中的公平性抽象定义及其分类体系,进一步研究用于消除不公平的机制.可信机器学习中的
公平性研究在人工智能多个领域中处于起步阶段,如计算机视觉、自然语言处理、推荐系统、多智能体系统和联
邦学习等.建立具备公平决策能力的人工智能算法,是加速推广人工智能落地的必要条件,且极具理论意义和应用
价值.
关键词: 可信人工智能;可信机器学习;公平性;统计公平;因果公平;公平表征;公平建模;公平决策
中图法分类号: TP18

中文引用格式: 刘文炎,沈楚云,王祥丰,金博,卢兴见,王晓玲,查宏远,何积丰.可信机器学习的公平性综述.软件学报,2021,
32(5):1404−1426. http://www.jos.org.cn/1000-9825/6214.htm
英文引用格式: Liu WY, Shen CY, Wang XF, Jin B, Lu XJ, Wang XL, Zha HY, He JF. Survey on fairness in trustworthy
machine learning. Ruan Jian Xue Bao/Journal of Software, 2021,32(5):1404−1426 (in Chinese). http://www.jos.org.cn/1000-
9825/6214.htm
Survey on Fairness in Trustworthy Machine Learning

2,3
2
1
2
2,3
2,3
LIU Wen-Yan , SHEN Chu-Yun , WANG Xiang-Feng , JIN Bo , LU Xing-Jian , WANG Xiao-Ling ,
2,3
ZHA Hong-Yuan , HE Ji-Feng 1,3
1
(Software Engineering Institute, East China Normal University, Shanghai 200062, China)
2
(School of Computer Science and Technology, East China Normal University, Shanghai 200062, China)
3
(Institute of Trusted Artificial Intelligence, Shanghai Research Institute for Intelligent Autonomous Systems, Shanghai 200092, China)
Abstract: Artificial intelligence raises legal and ethical issues or risks when used to automated decision-making in areas closely related
to daily life. Trustworthy machine learning is the core technology in artificial intelligence safety. It is a trending research direction, of
which fairness is an essential aspect. Fairness is the absence of any prejudice or favoritism towards an individual or a group based on their
inherent or acquired characteristics which are irrelevant in the particular context of decision-making. A comprehensive and structured

∗ 基金项目: 上海市科委创新行动计划人工智能科技支持专项(20DZ1100300, 20511101100); 国家自然科学基金(61972155,
61672231, 12071145); 上海市自然科学基金(19ZR1414200); 国家重点研发计划(2020AAA0107400, 2018YFB2101300)
Foundation item: AI Project of Innovation Action Plan of Science and Technology Commission of Shanghai Municipality (STCSM)
(20DZ1100300, 20511101100); National Natural Science Foundation of China (61972155, 61672231, 12071145); Natural Science
Foundation of Shanghai Municipality (19ZR1414200); National Key Research and Development Program of China (2020AAA0107400,
2018YFB2101300)
收稿时间: 2020-07-19; 修改时间: 2020-10-02, 2020-11-07; 采用时间: 2020-12-01; jos 在线出版时间: 2021-01-15