7月5日，2024世界人工智能大会（WAIC）前沿人工智能安全与治理论坛在上海举行。与会专家就前沿人工智能（AI）安全研究、评测、治理和国际合作等问题进行主旨演讲和圆桌讨论。
参与论坛的专家表示，在AI快速发展的背景下，人类需要对AI潜在的风险做好准备。其中，国际合作和对话必不可少，有关AI治理的政策应得到优化，以解决目前技术发展快、监管政策慢导致的“步伐差距”。同时，在人类与AI共生的社会中，“红线”问题也应被讨论。
AGI的三大风险
“人类没有准备好应对快速变化，因此我们需要现在就为未来的风险做好准备。人工智能带来的不确定性，意味着我们需要就此提出预防性措施，表明各方在这个问题上对话和合作的重要性。”与会的图灵奖得主、深度学习三巨头之一、米拉-魁北克人工智能研究所（Mila）创始人和科学总监约书亚本吉奥（Yoshua Bengio）指出。
在AI领域，国际合作已初现端倪。2023年11月，首届全球AI安全峰会（AI Safety Summit）在英国布莱切利庄园召开，会后包括中国在内的与会国达成全球第一份针对AI的国际性声明《布莱切利宣言》。28个国家和欧盟一致认为，AI对人类构成了潜在的灾难性风险。
作为《布莱切利宣言》的关键承诺之一，今年5月，由本吉奥主持的《2024先进人工智能安全国际科学报告》（以下简称《报告》）发布。报告联合了一支多元化的全球人工智能专家团队，其中包括来自世界30个人工智能领先国家的专家顾问小组，以及联合国和欧盟的代表。2023年11月，其初期版本以AI科学状况报告的形式发布。本吉奥此番提及的为中期报告，为5月举行的首尔AI峰会上的讨论提供了信息。最终报告预计将在2025年于法国举行的“AI行动峰会”（AI Action Summit）上发布。
7月5日，本吉奥在演讲中表示，《报告》涉及范围非常广，包括目前已经存在的歧视、偏见等AI风险，以及误用AI、影响劳动力市场等问题。
《报告》发现，人们对AI获取能力速度理解的不同，导致对于AI使用理解、社会如何应对风险和技术的看法也不同。同时，《报告》提到AI专家在部分议题上缺乏统一意见的问题，比如大规模失业、AI失控等议题。
《报告》还讨论了通用人工智能（AGI），即能够生成文本、图像和实现自动化决策的AI系统，指出AGI会带来三类风险：恶意风险（深度伪造）、功能故障风险（失控）、 系统性风险（版权、隐私）。
本吉奥称：“《报告》的目的不是预测未来AI科技的走向，而是总结现有的科学研究，为优化相应政策提供根据。”
参与撰写《报告》的专家指出，政策制定者需要把对AI影响的理解变为优先事项。
联合国曾表示，全球协调下的AI治理，能让AI不脱离人类控制范围的同时，把由AI服务、算法、计算机算力等带来的不确定性，放到国际层面。
为了更好了解减轻AI风险的问题，本吉奥提出两点措施：一是各国政府需要更好理解AI系统如何运作，包括为何和怎样发展AI；二是了解谁会从AI中得到经济利益，需要在研究方面投入多少。
AI发展存在“步伐差距”
与会的清华大学文科资深教授、人工智能国际治理研究院院长薛澜，从四方面提出了全球AI治理目前面临的挑战。
首先，目前技术发展过快，但政治和机构相关改变较慢，因此出现“步伐差距”的问题；其次，实现更健康的AI系统发展，增加更多算力是否是唯一的办法，未来可能各方会有不同看法；第三，非线性机构重叠，导致相关机构、机制因为没有清晰的上下级关系，无法有机结合进行治理；第四，地缘政治问题。
在薛澜看来，想要解决以上挑战，提升各方在安全性和治理上的合作必不可少。同时，各国政府可以不用像欧盟那样提出综合性的AI法案，但必须对AI治理做出快速响应。
欧盟已批准的《人工智能法案》，是世界上首部对AI进行全面监管的法案。法案根据AI使用方法，而非技术本身造成的影响风险进行分类。
薛澜表示，在政府之外，AI业界的自我约束也有用处。最后的国际治理，并非单一机构可以解决，而是需要形成多边网络系统。
“我们未来还需要讨论以下三类问题：国内对技术使用的监管问题；国际社会问题，比如根本风险需要国际合作；更难管理的是，国内问题对国际产生影响，反之亦然。”薛澜说。
与会的中国科学院自动化研究所人工智能伦理与治理研究中心主任、联合国人工智能高层顾问机构专家曾毅提醒了有关AI红线的问题。
曾毅表示，因为AI机制与人类机制不同，因此在“机器是否能像人类一样智能”的问题上，他持反对意见。
“未来我们可能是建构性的思考方式，现在AI的优点、风险都有限。我们需要用一种主动视角做持续的对齐和嵌入，有真正想法后才能让AI和人类更好结合，而不仅是预防的角度考虑。”曾毅表示。
提及AI红线，曾毅说，“我们应重新思考这一问题”。“以核武器为例，AI控制核武器，并非AI的能力，而是人类放弃做决策。因此，AI红线和人类红线应该一起讨论。”
“AI会犯错，对信息处理非完全智能。”曾毅认为，在训练未来的AI时，不能只是下达做或不做的命令，行善去恶非常重要。
“将来我们重视人类和AI的关系，在让AI和人类价值观保持一致的问题上会存在很多挑战，因为人类价值观需适应功能社会的变化。”曾毅表示。
