全球疫情之下，大数据和人工智能技术在实际场景中加速落地。不可否认，人工智能在抗击疫情和复工复产等多个领域都发挥了关键作用，但技术蓬勃发展带来的法治挑战也在相应增加。
上海交通大学文科资深教授、中国法与社会研究院院长季卫东对第一财经记者表示，疫情防控加快了数字经济的发展和社会治理方式的转型。然而，人工智能对海量数据的渴望和吞吐，正在冲击个人隐私和信息处分权，在一定程度上给现代法治体制带来挑战。
“特别是电脑的网络化和算法的黑箱化，导致因果关系难以确认和说明，势必动摇责任政府和问责原则的基础，助长某种‘机器官僚主义’的倾向。”他提出，必须及时对人工智能治理以及相关的法律问题进行深入分析，从理论和实践两个方面提出中国方案。
便利性的代价
一方面是人工智能应用落地加速，带来生产效率和生活品质提升；另一方面是这些便利性带来牺牲隐私、冒犯人格等代价，引起了越来越多个人和企业的重视。
6月8日，IBM公司CEO克里什纳宣布IBM退出人脸识别业务；6月10日，亚马逊暂时禁止向美国警察提供人脸识别技术，禁令将持续一年；6月11日，微软禁止将人脸识别技术销售给警方；而早在今年初，Clearview AI公司就遭遇重大数据泄露，30亿张人脸数据被泄露，引发美国社会的巨大担忧。
季卫东表示，我国根据海量图像数据进行人工智能研究的绩效的确非常突出，已经达到世界顶级水平。
“这使得人工智能系统的深度学习能力超强，并能把有关成果迅速应用于经济和社会治理的各个方面。”在季卫东看来，不断进化的电子计算机也有可能在相当程度上以算法独裁（Algocracy）的方式限制甚至剥夺个人的自由，以效率、便利、娱乐等不同诱因促使人们不断放弃既有的基本权利。
季卫东解释，在无法理解和无法说明的场合，算法就是黑箱化的。
“要求人类介入和监控人工智能的运作，当然是要确保人工智能的可控性，但信息处理系统越复杂就越容易出现操作的失误，当系统运作速度极快时，人也很难对情况进行认识、预测以及掌握。”他表示，系统与系统之间还会产生目的冲突和互动，在机器学习甚至深度学习的情况下，不同人工智能系统之间的互动关系将变得复杂且变幻莫测。
可以说，机器学习的效果越精准、深度学习的功能越强大，算法的涵义就会变得越来越难以理解和说明。中国围棋棋手柯洁与AlphaGo对弈失利，就是例证之一。
季卫东认为，这样的算法黑箱化，让人工智能具备了近乎不受约束的权力性。立法机构的决定、司法机构的判断、行政机构的具体处分行为都需要给出明确的理由，以便据此防止主观任意性，给相对人申诉和复议的机会。如果人工智能进行的预测、提供的结论无法说明其理由，就无异于用“莫须有”的名义来做出决定。
一方面，在很多应用场景下，人工智能很难被人类有效监控，反而容易成为人类转嫁决策风险、逃避问责的重要手段；一方面，应用人工智能对大数据进行分析和学习，可以充分掌握社会心理和舆情的变化，对不同群体以及个人的行为进行精准的预测。那么，一旦不能相应提高民主问责的水准，权力滥用的风险将加剧。
中国社科院知识产权中心研究员杨延超告诉第一财经记者，未来的社会必须设立一个裁判机构，即算法裁判。“当算法决定人自由的时候，算法本身要接受制约。”他提出，对于算法的审查，需要一个由专业且综合型人才组成的机构来完成，但这样的人才，目前是相当缺乏的。
需要中国方案
杨延超表示，人工智能带给传统法律体系的挑战是颠覆性的，比如交通法，“从智能驾驶过渡到无人驾驶，现有交通法可能一条都用不了”。因为现有交通法遵循的是过错责任原则，但在无人驾驶时代，没有驾照的人也能“开车”，这就进入了从人的过错到产品质量的迭代时期，整个交通法都要重新制定。
同样的，随着越来越多机器人开始参与文学作品的创作，现有的知识产权法也不再适用。“现在的法律总体处于观望和个案解决的阶段。人类意识到了人工智能技术带来的颠覆性，但颠覆的程度和速度还不得而知，因为技术本身尚处于发展阶段。只能遇到问题逐个解决，不断总结后形成规则。”杨延超说。
针对人工智能带来的挑战，我国刚通过的《民法典》特别设立人格权编，加强对个人信息安全和隐私的保护。个人信息保护法、数据安全法草案也在全国人大常委会第二十次会议上进行了初审。
杨延超认为，目前的这些立法，技术和可操作性还有待加强，很难解决新兴的具体问题。因此，做好立法准备的同时，需要加强对于人工智能的管理，在政府管理层逐步形成专业的管理机构，不断细化和完善现有规则。
季卫东也表示，这些规定在实施中势必会遇到包括上述难题在内的考验。这让中国方案的出台尤为重要。
在将于7月9日开幕的2020世界人工智能大会上，季卫东将正式新增一个身份上海交通大学人工智能治理与法律研究中心（下称“研究中心”）主任。作为全国首家侧重研究人工智能治理以及相关法律问题的机构，该研究中心将在这场云端峰会的法治论坛上揭牌成立。
在世界人工智能大会上，关于法治的讨论从未停止。2018年的人工智能与法治高端研讨会、2019年的世界人工智能大会法治论坛，均在大会期间取得了一定的学术成果。今年，法治论坛将升级成为大会的“主题论坛”之一，以“人工智能的权利义务与法治实践”，就构建AI法治、推动人工智能与法治深度融合等问题进行探讨。
继去年发布《世界人工智能法治蓝皮书2019》后，今年的论坛还将发布“人工智能法治发展指数”和《世界人工智能法治蓝皮书2020》。
杨延超提出，人工智能的挑战是世界性的，尤其在算法和数据共享等方面，是整个人类社会面临的共性问题。我们需要根据国情来提出思路，同时也可以借鉴国外已有的相对成熟的法案，做好立法准备。
“我国人工智能领域综合型人才储备不足，导致了人工智能领域发展速度快，但立法准备速度慢的现状。”他补充说，目前国内高校已逐步开始推进人才培养转型，未来将更加重视新型人才的培养。
