近日，特斯拉首席执行官伊隆马斯克等千名科技人士发公开信，呼吁暂停训练比GPT-4更强大的AI系统，暂停时间为6个月。未来AI对我们安全性的威胁在哪里？是否真的有必要暂停？复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏在近日复旦大学管理学院举办的复旦科创先锋论坛上回应道，“在图灵最早提人工智能概念的时候，其实就写过类似的描述，机器的迭代速度会快于人，在某一天总会超过人的，停止这6个月或者半年没有意义。并且很多时候也很难停下来，从很多公司的商业利益出发肯定会迭代的。”
邱锡鹏持乐观态度，“我们目前为止的AI还是可控的，它目前的形式还是在计算机里，没有接入到社会的方方面面。有一天当它接管了很多东西，成为我们的某种基础设施后，这就非常关键了，你要控制它的各种能力。我的理解还是工具层面的，但它有望参与我们社会生活的方方面面，这时产生的危害不光要靠技术，还要靠一些法律法规去避免。”
复旦大学中文系教授严锋持相同的观点，“第一是停不下来，开弓没有回头箭。第二，也不要停。呼吁大家停下来，谁会听呢？只有那些有责任感、有节操的人才会停。可是没有节操、没有责任感的人还会继续，这样一来就糟糕了。有人文情怀的人停下来，那些没有底线的人在疯狂地训练他们的模型，那情况会更糟。”
复旦科创先锋论坛以“Beyond ChatGPT：大型语言模型引发的时代变革”为主题，由复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏，复旦大学中文系教授严锋，上海乐言科技股份有限公司创始人兼CEO、复旦科创企业家营校友沈李斌与复旦大学管理学院信息管理与商业智能系教授张诚，共同探讨ChatGPT及其他大模型技术涌现所带来的机遇和挑战。
以下为圆桌对话和提问环节实录。
ChatGPT暂时不是刘慈欣、莎士比亚、曹雪芹
张诚（复旦大学管理学院信息管理与商业智能系主任、教授）：请3位嘉宾从各自的专业角度来谈，ChatGPT对你所熟悉的行业和整个社会的未来发展有什么可能的影响？
严锋（复旦大学中文系教授）：去年12月，ChatGPT刚出来的时候我就用了，刚开始用的时候挺失望的。我是中文系的，也是中文系创意写作专业的导师，我非常关注ChatGPT对文学创作、创意写作包括一般写作有什么样的冲击，以及对我们这个行业的教育和学术研究会有什么样的影响。一开始我给ChatGPT输入一个《三体》的设定：假设地球外的文明有3个太阳，这3个太阳之间根据物理学原理有不规则的运动，那它们那个地球上的智慧生命会是什么样的，以这个为中心写一个故事。
结果ChatGPT说没问题，几秒钟一个三体的梗概就出来了。我一看真的很像回事，整个故事很流畅。它就讲一个有3个太阳的星系，因为太阳的不规则运动，那里的行星生活环境严酷，智慧生命很依赖技术，所以技术非常发达，发展出了星际航行，冲出了它们的行星。但是在这个过程当中，它们的文明发展过于依赖技术，有一天它们的机器坏了，整个世界就毁灭了。但还有一些智慧生命幸存下来，他们意识到不能太依赖技术，于是找到古老的一些记录，从刀耕火种开始，一个新的文明就又诞生了。
这个故事听上去好像也行，逻辑是没有什么问题的。但是从科幻文学的标准来讲，这个故事当然不是刘慈欣那种《三体》级别的作品。它缺少创意，缺少艺术性，更缺少一种打动人的力量。当时的ChatGPT还是比较早的版本，我相信以后它可能会打磨得更好；我们也可以给它更多的提示去诱导它；而且它可以给你各种各样的点子，用户可以各取所龋但是我们马上就可以看到，光靠ChatGPT写作是不行的。人的判断力、艺术品位、所受的传统人文教育还是很重要，甚至更重要了。另一方面，它可以成为我的写作助手，可以作为一个很好的头脑风暴工具，这是没有问题的。
我与一些同行交流，ChatGPT可不可以写论文？是可以的，但是让它直接写一篇也有问题。可以让它就某一个局部的问题提供观点和材料，你再进一步发展整合起来，这也是一种方式。论文写作需要写作者能够有一个全局、整体的视角和一种问题意识。
张诚：我理解严老师说的，您关心的是涌现出来的是什么能力，当然涌现是物理上的概念。您体验的时候涌现出来的是总结或组织的能力，关心的是能不能涌现出一种新的写作或思维。
严锋：作为创意写作或文学性的写作，需要很多的想象力、创造力、独创性，甚至需要天赋。在这方面它的表现相当平庸，但是它很流畅，很自信，你也可以说它很理性，整个故事的逻辑是没有问题的。在可见的时间内，它能够写出像模像样的东西，但不是那么有创造力。理工科我不熟悉，对人文社会科学而言，它充其量可以担任一个助手性的工作，如果要我们完全依赖它，显然目前是不行的。
张诚：起码在文学领域，ChatGPT更多是承担一个辅助性的工作，或者能替代一些传统、常规的完成作业式工作，但是在最高端或者最前沿的文学创作上还暂时不足。
严锋：它暂时不是刘慈欣、莎士比亚、曹雪芹。它可能是一个三流的小说家，但是它能够给你提供各种各样的信息、材料。写作当中会涉及到具体的知识，比如说航海、航天、电子技术等等，这方面它能够起到很大作用。在传统的时代作者要钻进图书馆，在网络的时代要会搜索，可是搜索之后的结果还要人去判断、整理、提炼。今天ChatGPT可以帮你完成提炼和概括工作，帮你把问题细化，这是过去所没有的，哪怕过去你会用谷歌和百度，还是要花很长的时间，沙里捡金。ChatGPT大大提高了我们学习和写作的效率，这是没有疑问的。
ChatGPT可以替代底层程序员
张诚：这个挺有趣的，尤其是对技科领域的影响会不会更大，我们经常说程序猿或者“搬砖狗”有大量的工作是重复的。不知道邱老师怎么看，不管是ChatGPT还是MOSS，未来对您熟悉的领域会产生怎样的影响？
邱锡鹏（复旦大学计算机科学技术学院教授、MOSS系统负责人）：有一点我是非常同意严老师的，目前ChatGPT的表现类似于通才，但是它可能在细分的专业性上与行业中比较顶级的专家有很大差距。它之所以让大家觉得很厉害，就是它的通用性。以前一直做的人工智能模型都是所谓弱人工智能模型，比如AlphaGo只能下围棋，像ChatGPT这种大型语言模型，个人认为在语言层面它都非常擅长，通用能力非常强。
专业性上，我觉得它将来会有不同的分支，往不同的专业方向上发展。还有一点，它的能力还在不断进化，文学性上不敢评价，但是通过不断交互让它写一个科幻小说，大概能写100多页的科幻小说，所以它这方面的能力还是非常强的。对于计算机编程，它的能力也非常强，研究这块的软件工程，怎么把需求变成一个代码，他们已经在这方面做了很多研究，大概的结论就是ChatGPT是可以替代所谓比较底层的这些程序员的。对于很高级的，或者有些创新性、整合能力非常强的任务，还是离不开人的。
张诚：刚才严老师也提到，如果ChatGPT替代一部分简单的工作，人类可以把自己的能力和精力更多释放到创造里。假设在技科领域，我们可以用ChatGPT或者MOSS作为一个辅助，完成软件工程的一部分基础工作，您预计软件工程专业的同学们，一旦从这些繁琐工作释放之后，他们会迸发出哪个方面新的活力？
邱锡鹏：人的适应能力非常强，有新的工具一定会利用新的工具。像搜索引擎，目前来讲我觉得类似于我们的一个外脑；包括现在程序员写代码，很多时候也不是从零起步，而是参考一些已有的开源代码去写，只不过现在有个更好的工具能够帮助你，把检索这一步也省了。严老师刚才说到ChatGPT的整合能力，更够帮你整合一段达到你需求的代码，把代码直接写好了，不像以前要找很多片段再自己拼凑一下。
张诚：我们信息管理专业也算是相关学科，以前我们做作业的时候，是找一个开源程序来参考，在摸索的时候会“踩坑”，起码这些摸索的工作以后会更有效率地完成。刚才都是从老师的角度出发探讨这个问题，沈总在业界，请问您有什么看法？
沈李斌（上海乐言科技股份有限公司创始人兼CEO、复旦科创企业家营校友）：我们的一个主营产品是客服机器人，每天线上接待千万级的人，大家在电商平台上，不会感知到是机器人在服务。我们更多是关注怎么把人工智能技术产业化，去替代掉原有工作中简单重复的部分。
我之前也做过机器翻译，在机器翻译上也看到一些规律性的东西。从我的经验来看，ChatGPT这一技术是革命性的。原先人工智能的技术限制，局限在部分领域才能看到人工被替代，慢慢地更多行业会看到这种替代。比方说在翻译领域，大概前五年做笔译时，是一份稿子从头翻到底，现在这个行业完全变掉了，机器翻一下，人工再花5%的精力就可以做得更好。在AI赋能的行业中，翻译最简单，由原文再到对标语言，对外界知识依赖比较少。我们也看到客服机器人已经替代百分之七八十的人工，人留出来可以做一些更积极主动的工作，不是回答简单枯燥的问题。ChatGPT的发展使得AI赋能不光局限在这两项行业，原先以为需要很多知识积累的，包括教师、金融从业者、大量脑力工作者，其实很大一部分重复性的工作，机器完全有能力替代，至少这波技术我们已经看到了，应该是这个发展方向。
ChatGPT倒逼我们避免生产学术垃圾？
张诚：大家或多或少都提到替代人工，人被释放可以做一些创新工作。但ChatGPT在取代掉一些人的工作后，如果人类没有找到新的创新点在短期内引起技术变革，GPT取代人类就等于是一个替代关系，而不是一个促进关系。
严锋：很多传统老师的职能会被替代。师者传道授业解惑，就“授业解惑”而言，ChatGPT是能够做到的，传道就很难说了。你想问某个人的思想是什么、观点是什么，老师马上可以给你一个回答。学生当然也可以问书本，这可能要花很多时间，而且有些答案并不一定靠谱。老师会给一个有可信度的答案，这是非常重要的。现在，如果ChatGPT也能给老师同样可信度的答案，那老师这部分的职能就被替代了。我甚至可以觉得，随着整个模型的不断完善，它的可信度甚至会超过老师。
不是所有的老师都是可信的，老师的知识在信息爆炸的时代会面临挑战，需要重新学习适应，这个过程可能导致一些老师失业。对学生来说，他们更有天然优势，因为他们更会使用ChatGPT这样的工具。
可以说，ChatGPT把一个之前就有的问题凸显出来了。就是说我们有太多所谓的知识和学问，其实都是事实性的，而且这个事实还不一定那么可靠，这些东西完全可以放到数据库里，当你需要的时候才去提龋如果用这样的标准来看，我们很多论文，还有所谓的知识，其实真的是过时了，或者本来就无效。
对于技术，我认为它不仅是面向未来的，也让我们反思自己，包括我们过去的学术、知识和教育存在的问题，如各种重复、冗余、谬误，以及复制粘贴等。过去这些问题因为没有ChatGPT这样的工具而不容易暴露出来，但现在因为ChatGPT的出现能够让我们看得更清楚。它会不会倒逼我们去进一步避免生产学术垃圾，我们是不是可以从那种低效的、重复的学术劳动中解放出来，专注于更有效的学习、更有效的知识、更有效的独创。
张诚：不知道邱老师怎么看，在教育领域，各个大学采取的回应也不太一样，某些大学是鼓励学生用ChatGPT，但是老师要看学术是怎么做的。有些大学禁止学生使用ChatGPT来完成作业。
邱锡鹏：这是一个很难回答的问题，从某种程度上来讲它确实是可以让学生取巧的，从学知识的角度来讲，可以借助这些工具使自己变成一个看起来很厉害的人。可能涉及到我们的培养理念，学生是看起来很厉害就行，还是要让他懂背后的一些东西，是不是有必要从头开始学起。
我们人类的学习方式和机器学习的方式相比有天然劣势，人学习的速度很慢，机器迭代起来是非常快的，并且是不知疲惫地在学。每个人从小都要从头去学，如果我们一直保持这个方式，人类的进化速度其实是比较慢的，而机器会越来越快。如果我们想要快速发展，就要积极拥抱这些新的技术，要利用它促进我们的学习，让我们的学习速度，或者说成长速度变得更快。
张诚：这让我想起另外一个问题，也有哲学老师这么认为，人类进化到现在，从来都不是靠大量的数据和复杂的模型计算来实现知识前进，我们是靠对相对小的现实的观察，加上我们人类引以为豪的逻辑不断往前推。这会引起两个讨论，第一个是现在这种人工智能明显和人进化的智能不一样，这是一种什么智能？第二个问题，刚才邱老师说的是很本质的问题，ChatGPT或者MOSS，已经具备了相对大数据再加上推理链或者思考链的模式，我们人类如何追上它？
邱锡鹏：按照它的逻辑迭代的话，它会越来越强大，最终会超脱我们人类的控制。就像刚才讲的，我们人理解这个世界可能更多是依靠因果关系，也有很多学者认为它非常重要，因果是对复杂世界非常简单的理解，比如人类其实没法想象超过三维的东西，如果上升到四维我们就很难理解了，再高维就更难了。
当一个社会或一个世界变得非常复杂的时候，人的理解能力其实是有限的，这时候机器就可以通过大量数据找到一些关联。这曾经也引发第四范式，我们很多时候不需要追寻原有的科学假设，相关可能就够了。从我们现在的角度讲，以后的人工智能或者开发人工智能的各种产品，一定要让它对齐到人类的价值观，将来才能使人和机器比较和谐地共处。
沈李斌：刚才说的可能潜在的影响是哪方面，我觉得不好回答。像最近有些家长问，小孩要升大学，报什么专业好，我真的不敢回答什么专业好，以前可能觉得那些偏创意类的职业可能受机器学习影响小一些，但是大家没想到这波生成式AI是从文字生成图片、开脑洞、做各种创意图开始的。这个影响很快，很多企业已经用了这种文字生成图片，并且产出物里都有一定的创意。就像刚才严老师举的例子，它就是漫无边际开脑洞，然后再做一下生成。
它潜在的影响是非常大的，一些入门的职位可能就消失了，但是我们回头想一下，我们现在这些资深的专业人士，都是从入门成长起来的，如果没有这些入门职位，他们能够通过何种途径成长起来，这是我觉得堪忧的一个地方。
从搜索力到MOSS力
张诚：我们说了太多ChatGPT时代的危，还有机，不知道各位对同学们有什么建议和想法。
严锋：这也是一个非常好的问题，面对AI的崛起，我们怎么去适应这种变化。肯定会有科研、学习，包括教学、认知的一个巨大转型，首先，很多危我们不知道，但有一个确定的，也是很多人还没有意识到的：我们怎么去认识我们和AI的关系，怎么去学习这个技术，怎么跟它相处，怎么向它提问，我觉得这会成为一个新的职业。我们原来有一些缺失的环节，比如说我们中国学生比较羞怯、内向，不太喜欢提问， AI把我们逼向了要做一个提问者，我觉得我们未来要学会做一个更好的prompter（提词师），一个提问者，无论是对AI还是对传统的老师，还有其他的人，这是我们本来就应该做的一个事情。
另外创造性真的太重要了，我们以前可能会很崇拜那种学富五车的人，像钱钟书先生那样的，他们脑子里简直有全世界的知识。可是在ChatGPT的时代，这样的知识者形象可能不会再是我们追求的目标，因为会越来越普遍，每个人只要跟ChatGPT捆绑，API一接，瞬间就变成了钱钟书先生。
我们以前埋头苦读，做题目，这种学习方式是不是也要有所调整。我们需要新的学习方式，它有点类似于“玩”。我是研究游戏的，很多创造性的东西诞生于游戏性的活动当中。我们把很多繁琐、重复、简单的劳动交给了AI，就有更多时间从事艺术、娱乐、游戏。我们人类的优势在哪里，我们的特长在哪里，怎么去扬长避短？我们是有情感的动物，AI至少目前还没有。AI倒逼我们要走上更有情商的道路，包括更能够处理人与人的关系，人与机器的关系，人与自然的关系。
我们会有新的真实观，因为ChatGPT是一个双刃剑，一方面它能够鉴别真假，但是另一方面它又能够混淆真和假的界限，倒逼我们对真实有更多的关注，做一个真的人，做一个求真的人、实事求是的人，有批判性思维的人。我们还是需要人类来判断真和假，这方面不能完全依赖AI。这是未来的学习中一些需要努力的方向。
邱锡鹏：不光现在，其实更早之前，人们对AI可以替代人的很多工作都有些担忧。我的一个总体观点是，AI可以替代一部分工作，但它替代不了那些会用AI的人的工作。人类更擅长的是利用AI的能力把工作做到更好，人有适应性、灵活性。你不要和AI比谁可以记非常多的数字，或者谁算的更快，意义不大。这种知识性的东西，你就可以把ChatGPT当成一个字典来用。此外要有一个综合的思考、判断，要变得更擅于利用AI，这会非常重要。
沈李斌：替代你的不是AI，是善用AI的人。对人是这样，对企业也是这样。在我们公司，所有部门都去看怎么用类似生成技术提高生产效率，在各种流程上怎么去用AI。能够善用这些创造性能力的企业，肯定在进阶优势上比其他公司要强，这是一个比较大的结构性的机会。
第二，由于这样一种生成式能力产生之后，生产力大大提升，很多企业与企业之间的上下游关系会发生变化，这也是结构性的机会。在美国差不多半数风投项目都和AI相关，相信在国内很快会进入这个状态。之前通常说个人、企业有个能力，就是搜索力，怎么用搜索引擎做各种各样的事情，后面还会有MOSS力，用好MOSS系统可能是第一步。
为什么MOSS要开源？
现场提问：3月22日美国的生命未来研究所向全社会发了一封公开信，这封公开信的内容是呼吁所有人工智能实验室暂停训练比GPT-4更强大的AI系统，暂停的时间是6个月。很多AI界的专家和大佬们都在上面签了字，包括马斯克，也包括苹果的联合创始人，等等。各位老师对这个问题持什么样的态度，这些人为什么在这个时间点提出这样的问题？以及未来AI对我们安全性的威胁在哪里？
邱锡鹏：在图灵最早提人工智能概念的时候，其实就写过类似的描述，机器的迭代速度会快于人，在某一天总会超过人的，停止这6个月或半年没有意义。并且很多时候也很难停下来，从很多公司的商业利益出发肯定会迭代的。我还是很乐观，我们目前为止的AI还是可控的，它目前的形式还是在计算机里，没有接入到社会的方方面面。有一天当它接管了很多东西，成为我们的某种基础设施后，这就非常关键了，你要控制它的各种能力。我的理解还是工具层面的，但它有望参与我们社会生活的方方面面，这时产生的危害不光要靠技术，还要靠一些法律法规去避免。
严锋：我非常同意邱老师的看法。第一是停不下来，开弓没有回头箭。第二，也不要停。呼吁大家停下来，只有有责任感、有节操的人才会停。可是没有节操、没有责任感的人还在继续，这样一来就糟糕了。有人文情怀的人停下来，那些没有底线的人在疯狂训练他们的模型，那情况会更糟。
现场提问：随着ChatGPT的爆火，人工智能技术被应用在了非常多的商业场景中，我们怎么样通过一定的机制约束好它，确保这样的技术不被滥用。
沈李斌：一个是政府监管层面，一个是个人、企业善用AI来增长自己的本领，两个角度。
从可依赖、可信的AI这个角度，这是政府需要考虑的，怎么让它变成可信、可依赖的AI符合社会价值观，体现社会的公平性。这些都是政府可能考虑的事情。对企业来说，会鼓励大家先用起来，做一些邀请，做一些分享。网上各种媒体类似的分享已经挺多了，相信肯定能够找到一些方式的。生成式AI三要素中数据是比较关键的一个因素，像MOSS是不是可以考虑做产线结合，吸引工业界加入，让MOSS成长得更快。
邱锡鹏：MOSS还是想以开源的形式去做，为什么美国卡我们脖子，它一卡一个准，就是我们的生态没有建好。OpenAI做ChatGPT的时候，它不需要分心做其他东西，只是把模型做好。微软帮它做算力，还有一家开源公司帮它做部署，它的数据也有专门的公司来进行数据清洗。它是在整个生态中去做的，它的生态促使它的发展非常快。
而我们国内每家公司都要做，这就会产生一个问题，每家都做不大，每个都做自己的，所有的东西都自己来，又不愿意跟别人分享。每家数据、算力也有限，也没有多少钱可以支持研发，并且又在做一些很基储重复性的事情。我们希望能促进这个生态，有了MOSS之后，底层的重复性工作就不要做了，把整个生态建起来。如果我们有一个统一的语言、统一的基座，下面对接一下国产的算力，做好一份接口，大家都可以来用，能够去促进一个生态链的建设，使得整个中国的AI往前进一步发展。
现场提问：中文语言的复杂性和现阶段中文语库的管控封闭导致的多样性发展缺失，是否会牵制中文AI的学习和发展？
严锋：我确实遇到过中文内容不足的问题。我问过ChatGPT《红楼梦》相关的问题，它的回答很离谱。但是问莎士比亚的作品，它的回答就接近真实得多。我搜集过很多跟《红楼梦》相关的研究资料，中文的和外文的完全不成比例，在这个领域中文的内容是压倒性的，如果光靠外文训练肯定是不行的，需要我们有更多经过检验的语料、文本和学术性内容加入到数据库内。
我的思考可能是从另外一个方向。人类对图像是非常迷恋的，最早就是靠图像进化，但是进化出语言之后，图像好像又退位了，到了20世纪又进入到图像的时代。图像好像比语言更可靠，因为图像作伪的技术难度要远远超过语言，可是现在图像作伪的难度已经大大降低，甚至等于语言了，这种情况下图像的优势地位就会改变，这是一种自然的演化。我作为中文系的教师，这时候有一个小的私心，我觉得语言这些东西还是永恒的，我现在很开心地看到在21世纪语言又回来了，因为AI的核心是语言。
邱锡鹏：现在这些大模型的训练语料中一个重要的数据是科学文献，但目前更多使用的是英文文献，就会带来很大的差别。但是有一个比较好的现象，语言对应的背后知识，在某种程度上是可以打通的。这次在MOSS的研发过程中也有类似的现象，两个语言背后的知识是相通的，你可以用中文提问，它用英文的知识回答你，反过来也可以。我觉得可能对机器来讲，用中文还是用英文，对它来讲只是用哪种编码展示出来而已，背后的知识对它而言都是一样的。
