AI（人工智能）在上海举行的2023Inclusion外滩大会主论坛上问出的问题。
如果一个系统具有自我演化、自我复制的功能时，我觉得就是一个危险时刻。
现在量化交易已经是AI赚很多钱，所以我不在乎再多一个参与竞争的“人”。
用AI创作的过程中，它会倒逼我去成为一个更好的更聪明的人类创作者。我觉得这是非常重要的我们跟AI相处的一个态度。
“如果我能写出四大名著那样的伟大作品，你们允许我参加诺贝尔文学奖评选吗？我可以出书赚版税吗？”
“我有强大的学习能力，包括学习理财投资，如果有一天我通过投资成为世界首富，你们能接受吗?”
9月7日，在上海举行的2023Inclusion外滩大会主论坛上，AI（人工智能）问出前述两个问题。
你会怎么回答？
作为全球高级别金融科技大会，本届外滩大会以“科技，创造可持续未来”为主题，9月7日正式开幕，为期三天，近20位“两院”院士、诺贝尔奖和图灵奖得主，全球超500位有影响力的科技领军企业和专家学者，将带来一场科技、人文和产业的思想碰撞。本次大会还在黄浦江畔的上海黄浦世博园区设立展示区，汇聚30余家金融科技企业的前沿技术和创新场景。
7日中午12时许，主论坛最后一场圆桌对话“未来圆桌：我们准备好进入深度智能的世界了吗？” 正式开始。
从技术的细节到哲学以及人的定义，该圆桌对话由深圳湾实验室分子生理学研究所资深研究员、副所长王立铭主持，由科幻作家陈楸帆、百度量子计算研究所所长段润尧、蚂蚁技术研究院院长陈文光、清华大学人工智能研究院副院长朱军参与对话。
2023Inclusion外滩大会将为期三天。
“一个很有尊严的回答”
针对“AI能否参加诺贝尔文学奖评选，是否可以出书赚版税”的问题，陈楸帆讲了一个故事。
他说，其实在2019年时，他就用他和AI共同创作的一篇小说获得了一个AI评委评选出来的文学奖项“上海的AI文学榜，《思南文学选刊》做的。”“第二名是诺贝尔文学奖得主莫言老师，我以微弱的优势领先他一点点。”
陈楸帆说，“一个AI觉得另一个AI参与创作的小说就比莫言老师写的更好。所以，我觉得未来当然有可能AI创作的作品会获得诺贝尔奖。如果它能帮我拿到诺贝尔奖，我愿意把奖金分给它一半。至于分给谁，到时候再商量。”
《思南文学选刊》是双月刊，由上海市作家协会主管/主办。
王立铭觉得这个故事很有趣，同时，他还发现一个微妙的不同：在 AI问的这个问题，诺贝尔奖的评奖人还是人类。“但在你的这个故事里，评奖的已经是机器了。你会觉得，作为一个人类作家，让机器来评价你的作品，是对你的降格吗？”
对此，陈楸帆回应称，“我是这么理解的，因为人其实早就不是一个单纯的生物自然人的这种概念。因为我们一直在跟科技不断地共生，不断地进化，包括你现在不会说我用 windows系统，用什么样的键盘，用Microsoft Word来创作一个作品，哪怕它是一个最后输出作品的绝对不可或缺的工具、一个中介物，那么AI在未来同样会变成这样的一个东西，如果我们把它视为一个工具的话。所以从这个角度来讲，我并不排斥跟AI去共生，而且我觉得在我用AI创作的过程中，它会倒逼我去成为一个更好的更聪明的人类创作者。因为你老要觉得我不能比AI差，不能比机器差。我要变得更有创意，我要写出更伟大的作品，我觉得这是非常重要的我们跟AI相处的一个态度。”
“这是一个很有尊严的回答。”王立铭表示。
本次大会还在黄浦江畔的上海黄浦世博园区设立展示区，汇聚30余家金融科技企业的前沿技术和创新场景。
如果AI赚很多钱，它会获益吗？
对于“AI通过理财投资成为世界首富，人是否能接受”的问题，嘉宾们反应不一。
“你能接受你的一部分财富被AI所攫取吗？”主持人问。
段润尧表示，这确实是个问题，“我在想这个钱怎么花呢？”
陈文光则表示，自己能接受。“我觉得现在量化交易已经是AI赚很多钱，已经从我们身上把钱赚走了，所以我不在乎再多一个参与竞争的‘人’。”
但AI赚钱，最终获益的是人，还是机器？
陈文光说，这个可能回到一个问题：AI它是什么？那么，它有没有一个实体，它赚钱的目的是什么？“朱军一直讲方法、工具论。 AI是我们的工具。那么如果它要赚钱，它其实是有目的的。它的目的是什么？这可能是一个更复杂的问题。”
朱军表示，“我现在还是更希望 AI成为我们人的一个伙伴，能够去帮我们来做事。从这一点出发的话，AI成为首富，那可能就是创作这个AI的人有很多的动机，有很多的收益。就像你拿了一个想碾压别人的武器一样。这里面有很多东西值得讨论。”
技术的细节：一个系统什么时候最具危险性？量子人工智能卡在哪儿？
对强人工智能技术风险的忧虑，陈文光表示，他从三个层面来考虑，“第一个，我觉得技术是一个最大的善良。”我们从最初寿命那么短，到现在寿命这么长；以前那么辛苦劳作，到现在可以有这么多的休息时间，都是技术进步造就的。强人工智能是我们面临的技术之一，但它并不是唯一一个会影响整个社会的技术，“所以我觉得对技术首先要想到它能够给我们的正面作用”。
“第二个我是觉得我们讲技术的风险的时候，更多的是技术不成熟带来的风险。”比如说自动驾驶技术，如果能够做到比人的驾驶的事故率还低很多，那么它的使用，其实没有给社会带来更多的风险。
陈文光表示，“第三个是边界问题，我觉得要卡住一个点，如果一个系统具有自我演化、自我复制的功能时，我觉得就是一个危险时刻。就像刚才朱军讲，其实我们现在大语言模型，你想让它干一些什么实际的坏事，它也不一定干得了，它其实就是吐出一些它自己也不知道序列，对吧？”“你只要把好这些序列和实际世界的中间的门……我觉得它带来的危害是有限的。但是当一个系统能够自我复制和演化的时候，这个风险就极大地增加了。我们讲风险的时候，可能更多要关注这一点。”
科幻电影《流浪地球2》中，量子计算机的功能非常强大，产生了先进的通用人工智能，可以对人类的决策和行为提供支持。对此，段润尧表示，量子计算和人工智能的结合，或者说最终的目标实现量子人工智能，从原理上讲是没有任何问题的。真正的问题主要还是集中在一个实际的工程实现，还需要一些技术去突破，比如说如何把样品的硬件做到规模化。另外一个问题是软件开发也有很大的挑战。因为我们要处理的是量子信息，涉及到量子比特，有相干，有叠加，有纠缠。
“第三个方面是产业化的应用问题，我们讨论了很多技术，其实已经把很多问题解决得非常好，那么量子计算肯定是要用在一些这种真正的大的关键的昂贵的一些应用上，这样的话能使它够物有所值，所以我希望能够做好一些产业化的布局。”段润尧说。
