在日常生活中,人工智能的应用越来越广泛,确保使用人工智能做出的决策不反映对某些群体的歧视行为变得尤为重要。在消费人工智能输出时,考虑公平性是必要的。《卫报》的一句引言很好地总结了这一点——“尽管神经网络可能被说成是自己编写程序,但它们是朝着人类设定的目标,使用为人类目的收集的数据。如果数据存在偏差,即使是偶然的,计算机也会放大不公正。”
对亚群体的歧视可能是无意中和不知情中产生的,但在部署任何人工智能解决方案时,检查偏见是必要的。本文将讨论由于人工智能模型中的偏见而受到歧视的亚群体的真实案例,偏见的来源,以及对机器学习模型公平性的直觉。
案例1:机器学习人类偏见导致模型出现种族差异。在美国,被送往监狱的人群中黑人比例过高。几个世纪以来,法律过程中的关键决策受到人类直觉和偏见的影响。当机器从这些数据中学习以进行未来犯罪的风险评估时,它在模型中传播了人类的偏见,结果发现模型存在种族差异。算法在黑人和白人中犯错误的比例相同,但方式不同,如图1和图2所示。
它给黑人被告分配了更多的高风险评分,导致了许多假阳性。然而,它更频繁地给白人被告分配较低的风险评分,结果出现了许多假阴性。这些风险评估评分以及其他因素被法官用来为被告建议治疗计划,决定刑期等。因此,为了对每个人公平和道德,应该分析和减轻种族、肤色、国籍等因素的偏见。
案例2:机器学习历史偏见使公司在定义当日送达区域时显得种族主义。在美国,亚马逊决定扩大当日送达区域,基于各种因素,并非有意种族主义。然而,由于1934年国家住房法案对非裔美国人的历史偏见,他们被排除在获得抵押贷款之外,反过来,他们被排除在富裕社区之外。这造成了歧视的口袋,随着时间的推移,歧视继续繁殖。
亚马逊可能使用的因素以获得当日送达计划的最佳收益,并没有直接使用种族作为决定因素,但系统性的种族主义肯定影响了模型结果选择这样的区域。例如,如图3所示,亚特兰大北部,拥有该市96%的白人居民,提供当日送达。然而,南部亚特兰大,90%的居民是黑人,被排除在当日送达之外。
要点:在将模型投入生产之前,检查模型偏见对敏感因素很重要。
正如在上述案例中看到的,由于人类偏见和/或训练数据集中的历史偏见,开发的机器学习模型对某些人群产生了偏见。同样,有多种方式可以让这种偏见渗入模型。
模型从有偏见的数据中学习并做出决策,这些决策影响未来用于后续模型训练的数据。在这个循环中,偏见不断传播并随着时间的推移而扩大。
由于偏见进入机器学习反馈循环,特定人群的偏见随着时间的推移而扩大。结果,人工智能可能加深社会不平等。
在图4中,偏见在每个箭头上分组显示它们最普遍的地方。用户可以研究偏见的来源,并尝试在源头最有效地解决它们。
图4:由于反馈循环,偏见不断传播并随着时间的推移而扩大。
偏见以多种方式进入机器学习模型。举几个例子——
由于算法产生的偏见:
Popularity Bias
:大多数推荐系统都受到这种偏见的影响,即推荐算法经常推荐最受欢迎的项目,但很少推荐不受欢迎的项目。然而,对于企业来说,推荐很少购买的项目非常重要,因为它们不太可能被发现。
由于用户交互产生的偏见:
Behavioral Bias
:一家银行训练了一个模型,使用申请人的财务历史、就业历史和人口统计信息来预测申请人偿还贷款的能力。他们使用历史银行贷款决策数据。然而,这种方法中,由于贷款经理过去不公平地拒绝向少数群体发放贷款,人工智能将认为这些群体的一般偿还能力较低。
由于数据产生的偏见:
1. Representation Bias
:ImageNet数据集中的大多数图像都来自西方国家。因此,当模型在此数据上训练时,它对西方国家的图像预测得很好,而对非洲或亚洲国家的图像预测得不好。当这个模型用于非洲或亚洲原籍人群时,它受到代表性偏见的影响,给出了较差的准确性。
2. Sample bias
:如果模型在特定人群的样本大小不足的数据上训练,那么模型将无法准确预测该特定人群的结果。
如果特定人群的预测准确性非常低或非常高,说模型是有偏见的。模型中的偏见通常隐藏着,很难确定模型是否有偏见,主要是由于交叉偏见。检测单一特征的偏见是容易的,例如,种族,比较每个种族的准确性(例如,模型对黑人的准确性低于对白人)。但是,如果看种族、性别和收入的所有组合,可能需要比较数百个群体。
如图5所示,交叉群体的低准确性,蓝色三角形,被形状和颜色的总体准确性指标隐藏,这些指标看起来更平等。同样,当寻找人群的子群体时,可能会发现类似的模型偏见。
图5:交叉偏见
要检查模型是否对一组受保护的特征(即代表受保护群体的特征)公平,如年龄、性别、种族、宗教、国籍等,可以做以下事情:
1. 如果受保护变量是连续的,如年龄,那么执行连续变量和概率分数之间的相关性分析。如果没有线性趋势,相关性应该接近0,如图6所示,那么模型在这方面没有偏见。