本周二,英国的网约车司机工会App Drivers & Couriers Union (ADCU)宣布对Uber使用面部识别系统提起诉讼,理由是该面部识别系统存在“种族歧视”,并且已经使一些黑人司机因为误识别而被解雇。
该工会主张,Uber的面部识别系统用在有色人种身上时,是有缺陷的,准确性很差。此前,已有多个研究表明,人脸识别系统识别有色人种的准确率比白人低。
面对诉讼,Uber发言人没有否认系统误识别的问题,而是强调了其“实时ID检查”系统具有“强大的人工审查”功能。
工会称Uber人脸识别有缺陷,黑人可能因误识别被解雇
根据该工会官方发布的消息,2020 年 3 月,Uber推出了“实时ID检查”系统,这套系统使用了微软的面部识别技术来验证司机是否为本人开车。司机登录时,系统会提示司机拍摄实时自拍照,与系统存储的司机照片比对。如果识别失败,司机有可能被Uber解雇。而且,被解雇的司机可能会被伦敦交通局吊销私人出租车执照。
工会在今年3月声称,面部识别系统上线一年内,已有至少7名司机因未通过“实时ID检查”系统而被解雇。当时,工会就曾呼吁微软停止向Uber提供人脸识别技术,但并未如愿。
此次工会再将Uber告上法庭,其律师主张,该面部识别系统用在有色人种身上时,是有缺陷的,准确性很差。
据了解,Uber之所以在伦敦使用人脸识别系统,是由于从2017年开始,伦敦交通局就因“安全问题”取消了Uber在伦敦的运营许可,其中有一条涉及“进行背景调查以确保司机没有犯罪记录”。后来,Uber坚持上诉,当地监管部门就一直以发放临时运营许可的方式允许Uber在伦敦运营。
2020 年 9 月,威斯敏斯特地方法院续签了Uber在伦敦的运营许可,但设定了一项条件,即必须“维护适当的系统、流程和程序,以确认使用该应用程序的司机是获得伦敦交通局许可的个人”。
这被工会视为Uber对司机使用人脸识别系统的最主要原因。工会秘书长Farrer在一份声明中对此次诉讼评论道:“为了确保在伦敦续签执照,Uber引入了一种有缺陷的面部识别技术,他们知道该技术用于主要由有色人种组成的劳动力群体时,会产生不可接受的错误率。但Uber没有实施适当的保护措施来确保对算法决策进行适当的人工审查,Uber没有努力解决这个问题。”
而对于被工会诉讼一事,Uber发言人强调了其“实时ID检查”系统具有“强大的人工审查”功能。“我们的实时ID检查旨在通过帮助确保坐在方向盘后面的是司机本人,来保护Uber每个用户的安全。该系统包括强大的人工审查,以确保该算法不会在没有监督的情况下决定任何人的生计。”
根据欧盟《通用数据保护条例》(GDPR),个人有权不受对其产生法律效力或类似影响的完全自动化决策的约束。英国法律也有类似规定。因此,人工审核在整个系统中发挥了多大作用,可能将影响案件结果。
人脸识别屡被质疑种族歧视,已有巨头终止业务
近些年,在人脸识别技术广泛落地应用的同时,“种族歧视”争议也屡被提出。Uber使用的是微软的人脸识别系统,而微软在去年6月就停止向警方提供人脸识别技术,并表示在联邦法律出台前,不会再向警方出售其人脸识别技术。据美国媒体报道,已有多起黑人因人脸识别系统而遭到误逮捕的事件。
去年6月,美国“Black Lives Matter”运动将人脸识别中的种族歧视争议推向高潮。亚马逊宣布停止向警方提供人脸识别技术。IBM则直接表示终止其人脸识别业务。
多个研究表明,人脸识别系统识别有色人种的准确率比白人低。美国国家标准与技术研究院(NIST) 的研究显示,在 NIST 的数据库中归类为非裔美国人或亚洲人的面部被错误识别的可能性是归类为白人的 10-100 倍。
麻省理工学院2018年的一项对三个人脸识别软件(包括Uber使用的微软系统)的研究表明,三个软件识别浅肤色男性的错误率为 0.8%,而识别黑皮肤女性的错误率为 20%-34 %。
考虑到人脸识别应用可能存在对部分群体的歧视等风险,欧洲对人脸识别的监管趋严。10月6日,欧洲议会通过决议,禁止警方在公共场所或边境检查中实行大规模人脸识别。
编译/综合:南都记者李娅宁