当系统由于错误的假设、数据或设计选择而产生有偏差或不公平的结果时,就会发生 AI 推理中的偏见。 发生这种情况是因为 AI 模型从训练数据中学习模式,如果该数据反映了历史偏见、社会不平等或不具代表性的样本,则该模型将复制或放大这些问题。 例如,在以男性为主导的行业中接受简历培训的招聘工具可能会低估女性申请人,或者主要在肤色较浅的面孔上接受培训的面部识别系统可能对肤色较深的用户表现不佳。 这些偏见通常源于数据不具有多样性或不平衡,但也可能源于特征的选择方式、模型的优化方式,甚至开发人员构建问题的方式。
偏见对 AI 决策的影响在高风险领域尤为重要。 考虑一个使用邮政编码作为特征的贷款审批模型。 如果历史数据显示少数族裔人口较多的社区的批准率较低,则该模型可能会将邮政编码与信誉联系起来,从而无意中对某些群体进行差别对待。 同样,在特定区域过度执法的犯罪数据上训练的预测性警务工具可能会加强歧视性的巡逻模式。 这些结果不仅仅是理论上的——现实世界的案例(例如,有偏见的医疗保健算法优先考虑白人患者而不是具有相似医疗需求的黑人患者)表明了系统性偏见是如何嵌入技术系统中的。 开发人员在将数据视为“中立”或优先考虑准确性指标而非公平性审计时,通常会低估这些风险。
为了减轻偏见,开发人员必须在多个阶段积极解决它。 首先,应对数据进行表示审计:训练数据是否包括不同的人口统计、边缘案例和平衡的标签? 重新加权代表性不足的群体或生成合成数据等技术可能会有所帮助。 其次,模型设计选择很重要——使用公平感知算法或约束输出以防止歧视性关联(例如,排除邮政编码作为特征)。 最后,部署后的持续监控至关重要。 例如,信用评分模型可能会显示不同收入阶层的误报率存在差异,需要使用更新的数据定期重新训练。 IBM 的 AI Fairness 360 或 Google 的 What-If Tool 等工具可以帮助分析模型,但没有万能的解决方案。 这是一项技术和道德责任,需要开发人员、领域专家和受影响社区之间的合作。