1月28日，北京互联网法院举办春藤法官讲坛。15位法官登上讲台，为受众献上了一堂堂精彩的“未来法治”课。北京互联网法院将陆续刊登授课法官们的精彩讲稿，敬请持续关注~
大数据时代
你被网络商家“杀熟”过吗？
你支持“机器人法官”
代替人类挥动法槌吗？
AI在司法界
究竟会扮演什么样的角色？
……
北京互联网法院
综合审判二庭法官封瑜
为大家解答并讲授
《司法实践对AI伦理风险的
认知与防范》
今天，我的分享主题是“司法实践对AI伦理风险的认知与防范”。乍听起来，是不是感觉遥远又陌生？毕竟在大家的日常生活中，AI宣传常有，AI伦理的概念不常有。
先给大家出道选择题：假设你是一个写稿机器人的研发者，你认为机器人写出来的内容，和人类作家写的文字作品，应该享有一样的权利吗？
现在来切换一下场景：假设你是一个作家，你发现最近出现了一个高手，文风可定制，下笔如有神，末尾署名统一是某某公司AI。问题同上，这次你的选择又是什么呢？
如果说机器人和作家PK的局面离你我的生活还是有段距离，那么，你是否有过这种经历？
“您好，低息贷款有需要吗？……”
“姐，北戴河海景现房首付只要15万！”
“亲，扫地机器人解放双手，聪明如你值得拥有……”
只不过上网搜索几个关键词，就会接到一连串的“推销电话”。当你好不容易挂断电话，讲得口干舌燥，想要点杯奶茶时，又弹出这样的信息：“亲，开通会员立享外卖满减大红包哦！”看到这条消息的你一顿操作猛如虎，开心省下三块五。但是十分钟后你发现隔壁小王同款奶茶没有会员反而便宜三毛。陷入沉思的你和小王一起出门，神奇的一幕再次出现了：同样的起止地点，同样的打车软件，他的预估车费比你少十几元，只因为这条路线你已经走了三个月，小王是新来的“社畜”……
上面这些场景，就体现了AI法律地位、个人信息泄露、算法歧视和算法滥用等议题。它们的背后，统一隐藏着大数据时代的AI伦理问题。
社会层面出现的问题，迟早需要司法领域给出态度并处理。司法评判离不开对评判对象的认识。下面我们就先来认识一下“AI”这个对象。
AI近20年来飞跃式发展，离不开三大要素推动：即算法、数据和应用。大家可以把这三大关键词想象成一部汽车的引擎，开动汽车所需要的汽油，以及正在信息高速公路上行驶的汽车，而我们就是乘坐这部汽车的乘客。正是由于我们的使用行为，这部汽车才需要不断被添加汽油，制造这部汽车的工程师们才需要不断升级引擎，而车轮下的路也越来越四通八达，触角延伸更广更深，最后把地球上每个人乃至物品，连接成一个大共同体。我们普通人坐车，可能只看得到脚下的路，却不会去注意汽油，更不会想到引擎本身有无危险。而实际上这三个环节，都有与人类共同体基本利益产生严重冲突的地方。
AI伦理议题，正是要将这些潜在的问题，尽可能多地预先研判和处理。因为AI和人类曾制造出来的任何工具都不一样，它聪明，能力强，学习力爆表，目前已经从线性数学学习发展到类人多层神经网络学习，以至于AI算法出现了两个复杂特质：涌现性和自主性。你知道为什么一头生猪塞进去跳出来的却是包装好的火腿肠吗？程序设计者本人都难以解释。这就是在算法可解释性和透明性上最大的伦理问题，它引发了人类的知情利益和主体地位安全感缺失的问题。
先不说《西部世界》和《银翼杀手》这类科幻电影带给人类的震撼，2017年AlphaGo Zero通过零基础自主深度学习逻辑进行迭代进化，打败了之前所有的AlphaGo版本，这种强大野蛮的进化速度，就已经令人类开始担忧AI进化的奇点将提前到来。比起预测脚下的车轮将把我们带向何种不可知的未来，我们更希望把控好手里的方向盘，即提前设定好的AI研发与使用中的伦理规则。
司法界对AI的态度如何
司法界对AI的态度也许可以用“拥抱科技，谨慎怀疑”这八个字来概括。以AI领域先行者美国举例。在美国AI技术与司法审判的融合由来已久，最早将数据库、司法评判系统等工具引入司法领域的美国同仁，虽然一直将AI定位于协助者，但在2013年美国威斯康星州诉卢米斯一案（Wisconsin v. Loomis）中，以 COMPAS 系统评估报告为依据指导定罪量刑的做法就受到了公众的广泛质疑。
概括来说，这个帮助法官做出判断的AI项目是通过向被测试人询问137个问题，比如：你有多少朋友非法使用药物，你在学校时多长时间打一次架，你的最高学历是什么，你是否经历过校园霸凌事件，你是施暴者还是受辱者等等，再经过公司设定的一套复杂算法，最后得出一个被测试人的“危险指数”，也就是未来再次犯罪的可能性。被告Loomis认为自己仅仅在号称汽车王国的美国，盗窃一部二手普通家用汽车就被这个软件判定八年半刑期，且从未有机会被事先告知并检查它的AI算法，于是提起了上诉。虽然他的上诉被驳回，但是随后引发的一系列争议话题，使得这款被戏称为“机器人法官”的COMPAS软件广受质疑。
这其实根源于机器自我学习过程中对参数选择的算法歧视和算法黑箱问题。通常来说，公共部门自己并不擅长编写算法，他们向私人企业购买专有算法，但是对算法的了解十分有限。为了保持算法的隐匿性和商业价值，想将“黑箱化”的算法大白天下，来自开发公司的阻力也可想而知。虽然Loomis一案最终没有对工具算法进行核查，但就算是开发者本人坐在证人席上，面对已经发展出神经网络，会自己建立数据连接的AI，最多也就能告诉大家这个系统最初是怎么设计的，在某些特定的场景设置中输入什么内容会生成什么结果，但无法解释软件中隐藏的由AI做出的具体决策过程。
那么，AI 与司法审判融合的度在哪里？或者说，AI 是否可以取代法官来对人类行使审判权？
在回答之前，我们可以先回想一下开头提出的问题。其实，无论哪种选择都试图在现有法律框架内回应社会发展的新需求。只不过一个呼应了大陆法系传统、直面AI有无法律主体地位的问题，一个则借鉴了英国版权法重财产权利流转使用、避开主体人格属性的方法，最终在鼓励科技、保护法益的目标上殊途同归。但我认为，两个法官在作出判断时，可能和大家有着共同的潜意识困惑：人类对待被赋予了类似自己形象和地位的AI，是否会失去对它的绝对控制？
事实上，不管在发展AI技术的同时加强对伦理规则的制定，还是针对已经被世人警觉的各种纠纷和科技巨头间在算法数据和应用领域的不正当竞争，各国司法领域都给出了各自的回应。今天，我主要来讲讲自己对这个问题的理解。
首先，基于算法黑箱、算法歧视这些无可避免的问题，司法审判权不可放手交付AI，以避免裁判结果受操控，导致出现无可察觉、无可纠正的恶果。算法决策是在用过去预测未来，就像奥威尔在《1984》里的名言：谁掌握过去，谁就掌握未来。谁掌握现在，谁就掌握过去。
其次，互联网司法被称为面向未来的司法，新技术带来的许多前沿性挑战，无论是在产业界、学术界，还是在司法界，都是无先例可循的。法官只能在现有法律框架内，结合新的社会情况解释法律并作出司法裁判，积极回应社会发展提出的新问题。这正是人类独创性和社会属性得以发挥的专属时刻。
再者，司法实践需要先还原事实，再适用法律，而适用的法律又会反过来决定哪些事实是需要被还原的。判断规则是抽象的，判断边界是模糊的，判断步数是多变的。人类对于有限数据领悟和解读抽象规则的能力，AI无法企及，又何谈拥有自己的司法意识呢？案件只是表象，价值判断和人性取舍是蕴含在其中发挥作用的底层能量，司法领域凝结了人类最错综复杂的利益冲突，绝不是仅仅用棋谱即可培养出AI的围棋领域可以比较的。无从理解人类情感，难以解释现实场景，又无法拥有司法意识的AI，在司法界只能作为辅助工具而不可操纵法槌本身。
不仅如此，我们必须警惕技术对人类的反向驯化作用。海德格尔在一百年前就告诫人类：人在通过技术改造外部世界的同时也在被技术改造。既然无法避免，就必须提前划出红色警戒线，力保人类最重要的先进性。这也正是AI伦理规则存在的最重要的意义。
AI伦理的议题非常宏大也十分抽象，毕竟算法数据和应用都是普通人触碰不到的部分。但是天网恢恢疏而不漏，今天的议题也正像恢恢的天网，保护我们享用技术便利的同时尽量安全地去面对未知的风险。亿万年来，人类正是在不断摸索自然界和人类社会的边界规则中进化成长，面对未来人机高度融合的社会，这些形而上的规则，可能比某种具体技术更为重要。
最后，我想告诉大家一件有趣的小事：在我准备今天的讲稿时，敲下“chj”这些字符，字符条同时跳出来的词汇是“冲击”和“憧憬”。这从某种意义上也是一种揭示。一方面我们要努力保持人类特有的创造力，警觉地迎接科技对现实的冲击，另一方面要心怀对未来的向往，大胆去拥抱美丽新世界。
