《科学四十人》系列座谈第八期（左起，薛澜、李航、张宏江、周忠和）
大家好，我是知识分子总编辑周忠和，自2022年11月30日ChatGPT发布以来，全球范围内掀起了有史以来规模最大的人工智能浪潮。
在过去短短的一年多时间里，ChatGPT4.0和文生视频的大模型SORA相继发布，就在不久前，Openai的竞争对手Anthropic发布的新一代大模型Claude 3甚至被认为全面超越了GPT-4。
全球都在热烈讨论AGI也就是我们所说的通用人工智能何时能实现？突飞猛进的人工智能究竟会给我们人类生活带来什么样的影响？比如说会不会迎来大规模的失业或者就业的重组？会不会从根本上改变我们人类文明的形态？甚至于AI觉醒以后，硅基生命会不会超越以人类为代表的碳基生命？
我们请到了源码资本投资合伙人、北京智源研究院创始理事长张宏江，清华大学苏世民书院院长、人工智能国际治理研究院院长薛澜，字节跳动研究部门负责人李航，来探讨我们离通用人工智能究竟还有多远，OpenAI开源的可能性和开源生态，中国人工智能的发展机遇和挑战。
Sora开始理解物理规律、懂得常识
周忠和：我们今天的第一个问题是关于Sora的，Open AI推出的Sora，究竟有哪些地方让你感到真正的兴奋，或者说Sora的最值得关注的地方是什么？Sora给你最大的触动是什么？
薛澜：我看到Sora的时候感觉很震惊。因为它不仅仅是文字交流，而且有了一定的想象力。Sora能够根据一段简短的文字描述，生成一系列连贯的动态画面，这不仅仅是对文本的理解，更是对物理世界运作规律的一种把握。
过去我们讨论AI的时候，总认为想象力是人类的专利，但现在，Sora显示出AI也能具备这样的能力。这可能是Sora一个与众不同的地方。
张宏江：首先，我想谈谈Sora这个大模型给我带来的震撼。Sora的发布实际上是演示性的，它发布演示视频，并没发布模型本身，但从40个演示视频中，我们可以看到AI技术的巨大进步，非常令人振奋。
我注意到几个亮点：第一，它生成的是高分辨率视频，过去的视频生成没有做到过这么高的分辨率；第二，视频时长达到60秒，而过去在生成视频方面表现比较好的Runway做了两年，也只能做到几秒钟；第三，也是最让人震撼的是其中一个场景，一辆越野吉普车在崎岖的山路上狂奔。这种镜头以往需要有一台设备在后面跟拍，因为路面颠簸难度很高，但生成的视频效果非常逼真。包括车辆行驶的逻辑也很优秀，一直是靠右行驶，转弯表现也很自然。
智源研究院创始理事长张宏江
周忠和：我有个外行的问题。我们普通人看这些视频，可能会觉得它们不过就是一些高质量的影像。它的想象力和逻辑不也是人灌输进去的吗？
张宏江：不，人并没有明确地告知它要这么做。
在传统图形学模式下，制作视频通常需要构建详细的物理模型。例如，我们想制作一个车辆行驶的视频，需要先创建一个三维的车辆模型，以及一个包含道路和其他环境元素的场景模型。场景环境模型相当于虚拟世界，车辆模型则是在这个世界中运动的物体。这些模型需要精确地定义动态行为和环境的交互方式，对各种物理规律、运动规则进行明确编码，确保车辆在转弯或行驶时的表现符合现实世界的情况。
在使用Sora这样的大模型时，我们并没有直接告诉AI这些具体的物理规则。相反，是AI通过分析大量的视频数据，自己学到的。我们没有告诉它，世界上大部分地方车是靠右走的。也没有告诉它，如果不跟随路线转弯，车会撞到山上。这种明确的规则我们都没有告诉它。
这是让我觉得非常震撼的。GPT 3.5、GPT 4.0以及Claude这些模型，它们主要擅长理解语言，也就是文字描述。但Sora所展示的不仅仅是理解语言，还能够理解物理世界。
周忠和：你可以说它已经理解物理规律、懂得常识了，但我总觉得这只是模仿。
张宏江：是模仿，但记得费曼曾说过一句名言，“我无法理解我不能创造的东西”。现在我们能生成出来了，难道不就是理解了吗？
薛澜：说到智能，我们得先定义一下什么是人的智能。我们有认知能力、推理能力、创造力，可能还有其他方面，比如情商。如果我们从这些方面看，有些方面，比如认知和推理能力，AI可能已经超过了常人，甚至可能超过最厉害的人。但在另一些维度上，人类可能还会保持优势。
另外，您虽然觉得人工智能只是模仿。但人类获得这些能力的过程，本质上不也是如此吗？都是在不断接收外部信息，逐步形成认知和思维模式，二者在方法上没有根本区别。
周忠和：李航老师，您是否也有同样的感受？
李航：有些地方一样，有些地方不一样。我们自己开发的PixelDance系统，效果上超越了当时最好的Runway等系统，但今年2月Sora发布，PixelDance又被Sora超越。我的一个感受是做事要快，因为现在的竞争非常激烈。
另外从Sora的技术报告和相关论文看，虽然它技术上有所创新，但并不是革命性的。主要的创新是将扩散模型的Unet架构改成了Transformer架构，这让模型能够处理更多的数据，更好地学习物理现象。从科学的角度上看，我认为AI大模型目前具有一个共同特点，就是它们都基于Transformer架构，最基础的东西是都一样的。
周忠和：近几年在基础科学原理上并没有太大突破？
李航：是的，虽然有所进步，但自从2017年Transformer架构出现以来，我们看到了不断的收敛。Transformer最初是为自然语言处理开发的，现在，即使是计算机视觉领域也开始转向使用Transformer架构。
周忠和：那么，你有没有张老师那样的感觉，也认为AI模型现在开始理解常识和物理规律了？
李航：是的，我同意张老师的观点。但我认为未来的空间仍然非常大。Sora还不是3D的。3D生成技术，能够让我们从不同角度看到物体的样子。比如，从正面看到一个人，我们是有能力想象他的后脑勺是什么样子的。3D生成能帮助我们看到人的后脑勺。
目前，3D生成技术还处于初级阶段。去年的计算机视觉国际会议ICCV，是领域内最顶级的会议之一，在会议上展示的论文，大家可以去看目前技术生成的效果，其实都是比较简单的。比如一个物体，桌子或椅子，把它换一个角度是什么样子。
再有，现在的生成模型并没有物体的语义。我们看视频时，能认出这是汽车、那是道路，但在Sora的模型中，它并不准确地理解这些，它只是对像素和数据进行处理。未来如果我们能够进一步发展这项技术，让它不仅能处理3D空间关系，还能理解物体的语义信息，那么我们就更接近于创造出类似人类的智能。在这方面，我们还有很多工作可以做。
Transformer是最佳路径吗？我们会不会过于路径依赖了？
张宏江：李老师刚才提到的Transformer架构确实非常关键。自2017年起，Transformer这条路径给我们做AI的人或者做大模型的人指出了一条路。过去七年，行业内已经认可它是大模型发展通向AGI的一条正道。
技术发展是有路径依赖的。意味着一旦我们确定了正确的方向，所有的关注和资源都会随之集中。回到七年前，Google的研究人员发明了Transformer架构，但OpenAI才是真正认识到其潜力并全力投入的一方。尽管Google也推出了许多模型，但很长一段时间没有一个能够超越GPT3.5的成就。
现在所有做大模型的人，都把重点放在Transformer架构上，包括Sora也是这样，过去生成视频用Unet框架无法达到的，换成Transformer架构就实现了突破。未来，无论是GPT4.5、GPT5、Claude还是Gemini，Transformer这条道路都会持续。
薛澜：既然说到这儿，我插一个问题。我们是否会因为路径依赖的原因，而忽视了其他可能更好的路径？2017年的Transformer架构确实很重要，但当时也有其他路径。我们现在是否确定这是最好的路径？我们是否可能错过了其他潜在的优秀路径？
清华大学苏世民书院院长薛澜
张宏江：您的问题正好给了我一个机会，我想说的是，这就像当初电的发明，当交流电成为主流后，直流电最终只用于电池。这种路径依赖是非常关键的。
李航：我想补充的是，作为科学家，我们总是寻求更好的、颠覆性的技术来改变现有的Transformer。但目前大家做了很多努力，我也知道一些研究。尽管在小规模上有些模型看起来还不错，可一旦扩大规模，它们都无法超越Transformer。目前的结论是Transformer确实非常强大，其他模型，但到目前为止，还没有能成功颠覆Transformer。
张宏江：这引出了另一个话题，也就是大模型的Scaling Law。Transformer架构成为主流，我们验证了它的强大。接下来，是把它的规模越做越大，给它喂越来越多的数据。这个领域从业者们大多认为，这个架构的潜力还没有达到极限。
所以，你可以看到为什么现在大家都在急切地投资购买芯片、增强算力。当我们在追求算力的时候，实际上也是在竞争数据中心（IDC）的资源。而在抢占IDC的过程中，我们又不得不去争取电力供应。这一连串的动作，实际上都是因为大家认同一个观点：Scaling Law相信随着模型规模的增长，性能和能力也会相应提升。
周忠和：刚才张老师认为Sora生成的视频是符合物理规律的，Sora能够理解常识。不过也有不同的声音，比如图灵奖得主杨立昆（Yann Lecun），他说仅靠大量文本数据训练是达不到人类智能水平的。还有的人觉得这是个死胡同，认为快到极限了。您刚才好像不太同意这种看法？
张宏江：我可能要得罪人了。我觉得那些说这种路线快到极限的人，其实并不是真正的从业人员，没有参与其中。如果在做这件事，你会我们这些在一线的人一样，非常相信Scaling Law。
如果大家对这个感兴趣的话，可以看看清华大学清华大学交叉信息研究院的助理教授，也是月之暗面公司CEO杨植麟最近的采访，他谈到了Scaling Law，我觉得讲得很好。他作为一个年轻学者，对Transformer和未来的看法，我觉得很有见地。我们离Transformer的极限还早着呢，现在的问题可能是数据不够，我们应该想办法继续扩大数据规模。
周忠和：还有人提到电力和其他资源。
张宏江：Scaling Law会带动很多相关的东西。比如芯片行业，英伟达的股票疯涨，IDC公司也是，数据现在变得非常值钱。这些都是推动整个产业发展的生态因素。所以，我觉得极限还远着呢。像杨立昆这样的学者，我非常尊重他，但在这个观点上我不太认同他。他认为数据驱动的系统没有真正的推理和学习能力，走不到AGI。这是他的定义，但按照我的定义，我们正在朝那个方向前进。
周忠和：李航老师，你的观点和张老师一样吗？
李航：我部分同意张老师的看法。我相信Scaling Law的潜力，也认为我们还没看到极限。不过，我的观点也不完全一样，我去年在香港开会时和杨立昆老师当面聊过，他觉得现在的大模型缺乏世界模型。我理解的是，如果能够将视觉、语言等多模态信息结合，就会更接近世界模型。就像我刚才说的，视频生成的时候，也能生成语义信息和3D信息，那就更接近人类了。我觉得这方面还有很大的空间，我们会沿着Scaling Law的路走下去。
未来可能97%的人不工作，只有3%的人在工作
周忠和：人工智能发展如此迅猛，对我们生活和工作的影响，也是大家非常关注的。例如，自动驾驶、互联网产业，甚至有人说它对白领工作的影响更大。薛老师，您认为短期内哪个领域会受到最大的冲击，白领还是蓝领？
薛澜：我认为所有涉及信息或数据获娶处理和传播的行业都将受到巨大冲击。这不仅包括了传播业，如电影和电视，还涵盖了教育、艺术，甚至医疗服务。还包括文秘工作和法律行业的助理工作，所有与信息处理相关的领域，包括信息获娶处理和传播，都可能逐渐受到影响。
周忠和：这些变化会多快发生呢？5年还是10年？
薛澜：影响的速度取决于两个方面。首先是人工智能本身的效率提升有多快。其次是社会制度的变革，这些制度对传统行业的保护非常强。所以这一方面是技术进步的过程，一方面也是制度变迁，这两个方面需要协调起来往前走。
周忠和：您提到教育也会受到影响，如果预计在未来5到10年内，某些行业将不复存在，那我们现在为什么还要在大学里学习它们呢？这是一个紧迫的问题，因为变化来得太快，可能我们还没有足够的讨论。
李航：很难预测，但有两个明显的趋势。首先，会出现新的工作，比如数据标注。数据非常重要，现在数学家陶哲轩等开始标注数学定理证明的数据，使用新的编程语言Lean来描述这个过程。他就是利用他的经验，把证明的过程写出来，让AI学习。我估计未来数学定理的证明，AI也能做。
其次，各行各业，包括编程和AI领域，都会出现两极分化，最优秀和有创造力的人才将发挥更重要的作用。
薛澜（左）和字节跳动研究部门负责人李航（右）
周忠和：那么对于普通人来说，哪些行业的影响最大？
李航：硬件领域的变化可能会慢一些，因为硬件迭代需要时间。至于软件，发展会更快。但我认为长期来看，软件开发的形态也会发生变化。一些简单的程序AI是能够写的。
周忠和：机器完全可以替代人的创造性吗?
李航：就像薛老师刚才说过的，我认为有三个方面人工智能目前难以取代人类：情感、创造力和自由意志。情感是人的本能，要在机器上实现情感就等同于造一个拥有生命的人了。创造力和自由意志同理，这三者不是单纯的智能，而是生命现象。
如果一个事情是任务，能去评价完成它的好坏，AI基本都能完成。冯诺依曼说过这样一句话，意思就是告诉我一个任务，不管是多复杂，把它定义清楚，我都能给你造一个机器，专门去完成你这个任务。
现在大家经常谈AGI，谈通用人工智能，“通用”确实是有很大的革命性的，这个工具不像冯诺依曼说的，专门做某一样事情。它变成很通用，完成很多很多的任务。但另一方面，只要这些任务能够定义、能够标数据、能有评价标准，看样子AI基本都能做。前面说到人类的几个特点属于生命现象，不是任务，AI做不了。但是AI做很多任务，能超过人，可能未来AI做大部分工作都超过人。
张宏江：我同意薛老师的观点。人的智能有多个维度，在许多维度上，机器可能会超越人类。对于普通人来说，最担心的可能是自己的工作。
我倒觉得白领工作可能会受到较快的冲击。我上周和崔健谈AI，谈到未来可能是97%的人不工作，只有3%有职业。这不是我的观点，而是《世界简史》作者的观点：平均技能水平的工作者可能会被替代，但顶尖艺术家不用担心，因为他们是少数。
至于助理类工作，比如法务助理，或者分析师很大程度会被替代。现在一些AI工具已经能帮助我们更高效地工作，比如许多人还要通过微软的Outlook手工安排会议，以后可能是AI来做这个工作，效率会提高很多。
另外我们不能停留在提高效率的阶段，30年前国际象棋大师卡斯帕罗夫被深蓝击败。当时卡斯帕洛夫曾说，未来机器将在象棋领域给予我们巨大的帮助。然而，30年后的今天，我们看到的情况是，机器在象棋上已经不需要人类的帮助。
周忠和：那么，蓝领工作呢？
张宏江：我为什么对Sora如此激动，就在于它对物理世界的初步理解。当一个系统能够理解物理世界时，就能指挥机器人执行任务。硬件的AI化进展可能比软件慢，但随着机器人技术的进步，比如灵巧手和机械能力的提升，AI对蓝领工作的影响只是一个时间问题。
周忠和：人工智能对程序员有什么影响？
张宏江：软件设计师的工作可能会被自动化工具，比如微软的GitHubCopilot和Google的对应产品所替代。这些工具已经能够做很多事情，通过大模型驱动，能完成很多常用程序的编写，至少可以提高开发者的效率。其他重复性的工作也很容易被替代。
周忠和：那研究人工智能的行业，未来也还会需要那么多人吗？
李航：需要更多的人，但也会两级分化。比如数据标注这项工作，从简单的常识性的标注，到我刚才说的专业性的标注，差别是很大的。
周忠和：薛老师，针对我们国家的自然科学科研人员，尤其是那些在技术开发和基础研究领域处于领先地位的研究人员，人工智能的发展会对他们的工作产生怎样的影响？
薛澜：我认为肯定会有显著的冲击，科学研究也会出现两极分化。但我们需要区分常规科研和科学革命这两种情况，如果我们按照托马斯库恩的科学革命理论来看，科学研究可以分为常态科研和科学革命。在常态科研中，我们已经对某个领域的基本范式有了清晰的理解，并且正在解决一些尚未解决的问题，这就像是在解谜。例如，当前的蛋白结构研究就是这样的领域。
在这些领域，人工智能可能会替代很多工作，在现有范式下工作的科研人员，他们的工作可能会被人工智能所替代。但是对于那些能够发现新问题，制造危机，挑战现有范式的研究者，这些人的工作是人工智能难以替代的。这样的研究者永远有需求。
我们距离真正的通用人工智能还有多远？
周忠和：当下一个非常热门的话题是，我们距离真正的通用人工智能（AGI）有多远，AGI的定义或者实现的标志是什么？另外，目前Open AI引领的人工智能革命是比较公认的，但是否有其他竞争者？比如Claude，有人说它超越了ChatGPT和Open AI，但这种说法是否夸张？
李航：目前还没有一个严格的定义来界定什么是AGI。
大模型的通用性是一个显著的特点，它们能做很多事情，发展空间非常大。但是，它和人在创造力、情感和自由意志等方面仍有区别，模型在这些方面的表现也只能近似人类智能，而不是完全实现人类智能。
像黄仁勋说的AGI可能在5年内实现，也是基于特定的定义。我认为，一旦我们能够清楚地定义一个任务并评价它的完成情况，人工智能通常能够完成得很好。但是，人类能理解世界，能够遐想和想象，要想在这些方面追上人，我觉得十年二十年之内人工智能还做不到。
张宏江：我想就李航老师提到的三点进行争论。我同意其中的两点，但对于情感这一点，我认为情感可以被视为人类的奖励函数（rewarding function）。如果我们能够学习人类的奖励函数，提供足够的数据，那么人工智能就有可能模拟情感。
这是一种高维度的复杂函数，在计算上会很复杂，而这正是大型模型的优势所在。例如，鄂维南老师做的AI for Science，在材料设计，简单的材料结构可以通过微分方程算出来，复杂的分子材料几乎不可能算出来，利用大模型进行模拟是更好的办法。在材料设计、天气预测和生命科学等领域，当问题复杂到无法用数学方程来描述时，恰恰是大模型发挥作用的地方。
周忠和：有人说大模型只是AGI的一块孤立的拼图，还有很多拼图没找到，几位老师认同这个观点吗？
张宏江：这一定是哲学家说的。
周忠和：这是你所不认同的，对吧。李老师，你觉得现在的大模型方向，就是通向AGI的充分条件吗？
李航：在大部分情况下，我认为现有的大模型方向是正确的，是通向AGI的重要途径。但也可能存在一些人类智能无法用大模型实现。
周忠和：李老师，你曾经提到过，深度学习在未来一段时间是主流，但长远来看，我们还是应该从人脑计算中获取启发。
李航：我的观点和现在的大模型路线其实不矛盾，只是希望将来能够在更好地模仿人脑，实现更接近人的AGI。
计算存在功能、算法和物理实现三个层面。现有的以Transformer为基础的大模型主要是在功能层面上模仿人类，但在算法层面，AI和人的大脑的结构还是完全不一样的，所以我们可以在功能层面上更多借鉴人脑的机制。
薛澜：我跟他们俩唱一个反调。路径依赖确实存在，但错过的道路，可能我们在很多年后会重新走回来。比如过去我们的技术和资金都投资在燃油动力汽车上，其实电动汽车上个世纪初就已经被发现了，曾经有一段时间也还是可以跟汽油车相竞争的，只是后来因为多种原因就被忽略掉了。多年以后的现在，电车又发展的很好，所以不排除错过的道路在未来能有很好的发展。
周忠和：薛老师，考虑到人工智能目前的发展趋势，您认为我们最需要哪类人才？是更倾向于计算机专业的技术人才，还是需要更多跨学科的专家，比如脑科学、生命科学等领域的？
薛澜：我认为我们需要的人才首先要具备创造力，创造力在今后仍然至关重要。另外，传统的、那种很强调专业细分的教育模式可能需要改变。我们需要从新的维度重新思考教育问题。
我们过去学习的知识和技能可以分为两类：一类是为了在社会中生存所必需的，另一类则是提升我们认知能力的学习。我估计，随着人工智能的发展，第一类能力可能会被系统替代，这些东西也就没有多大必要去学习。
相反，我们需要思考的是如何通过教育，提升受教育者的认知能力和创造力。可能需要一种全新的教育方式，与现有的教育体系完全不同。实际上，人工智能对教育系统的冲击应该是最大的，但我们恰恰是动的最慢的。
周忠和：李老师和张老师两位都在公司里工作，你们希望招聘什么样的人才？期待未来的教育系统能够给你们输出什么样的人才？
李航：在人工智能领域，本科的教育是非常重要的。在美国，顶尖大学机器学习本科学生的作业难度非常高，甚至要熬夜来完成。计算机领域的一些基本技能培养，美国本科教育都已经能做得很好，而国内在这方面需要加强。就纯计算机和人工智能的人才培养的角度来说，我是看到、感到有一定的差距的。
周忠和：人工智能变成热门之后，很多人提议从中学开始学习人工智能。
张宏江：作为两个孩子的父亲，我可能对教育稍微多一点认识。我认为重要的是培养孩子们的思考能力，而不只是具体知识。
美国的学校，对14岁的学生就开设逻辑和批判性思维课程。这个课程是教孩子们怎么思考，而不是一门具体的专业知识。站在任何一个专业角度讲，如果你想从事研究的话，逻辑和批判性思考能力是非常重要的。
未来的人才，最需要逻辑和批判性思考的能力。灌输知识这样的教育，实际上是培养就业能力，而且是过去的就业能力，未来是行不通的。从科研人才的角度讲。回过头看，在科学职业化之前、文艺复兴之后的几百年，也是没有职业科学家的，需要的是他们思考的能力和观察的能力。
薛澜：我觉得越是在这种形势下，人文素养也会变得非常重要。
开源和闭源，哪一种模式对人类更安全？
周忠和：最近有消息说马斯克因OpenAI违背了其非盈利的宗旨，打算将其告上法庭。我们知道非盈利模式有其优势，但资金的缺乏也可能影响技术的发展。
薛澜：现代科学和科技的发展，是希望在开放科学的道路上前进的，尤其是人工智能这个领域。开源可以促进技术的交流和发展。反对开源的人担心安全隐患，但也有人认为不开源可能更危险，这些方面的争论一直存在。我觉得可以请其他两位人工智能领域的专家，讲下到底应该怎么权衡这个问题？
李航：去年一个AI会议上沈向洋博士表达过一个观点，我非常同意，是否开源取决于公司的商业地位和策略。行业的领导者可能不会选择开源，第一名肯定不会开源，第二名想要和第一名竞争也不会开源，第三、第四名的公司可能会选择开源以取得一些竞争优势。
我觉得至少从历史的经验上看，这个观点是有道理的。AI公司里，现在没有开源的是OpenAI、Anthropic。开源的是Meta和Amazon。
周忠和：商业性之外，我们可能更关心开源争论对技术发展的影响，以及安全问题。这方面您怎么看？
李航：实际上，从商业角度来看，Meta和其他公司选择开源，并不是出于其他考虑，而是因为这样做能在商业上带来一定的利益。我同意沈向洋的观点，他认为这些公司开源是为了在商业利益上获得优势。这涉及到一个更根本的问题：人工智能技术的研究和开发是否应该以市场经济为导向。
字节跳动研究部门负责人李航
周忠和：薛老师您赞成AI公司以盈利为导向吗？
薛澜：我们现在进行的关于人工智能的研究，实际上相当于在从事科学技术的基础研究。在科学技术领域里，基础研究通常是开源的。不过，人工智能研究的回报机制与之略有不同。在学术领域，最先发表论文被认可拥有优先权，这就是所谓的回报制度，已经被大家所公认。而人工智能大公司之间，真正的竞争在于最终的应用和产品层面。
从这个角度讲，我认为应当鼓励开源。对于大公司来说，它们可以在商业应用和产品层面寻找盈利模式，在那个领域开展竞争。从各个研究领域的实践来看，这种在基础研究阶段开源、在产品化阶段闭源并寻求商业化的模式，目前看来对于推动人类社会进步是一种非常有效的做法。
张宏江：我非常赞同薛老师的观点。开源是探索阶段的重要工具，它鼓励大家一起讨论、交流和评估，这样的话才能够真正地推动一个领域的进步。从这一点上来说，我非常赞同开源。开源能够把真正地做研究的人带到一块。今天的AI领域，从方法论、架构还有很多问题需要解决，开源是一个非常好的交流载体。
周忠和：您刚才提到了安全问题，那么我们应该如何解决开源可能带来的安全隐患？
张宏江：无论是开源还是闭源，安全问题都是不可避免的。但对于开源模型，我们更容易进行验证和审查。未来，任何发布的AI模型都应该通过安全认证。此外，如果AI是一个可以改变人类的技术，我们需要在AI安全研究上投入更多的资源。
我曾在一个AI安全闭门会上听到一个观点，让我很吃惊，但我相信其中的数据是对的：核电站设备的研发费用中有95%用于安全，这对我们AI领域来说是一个启示。我们是否也应该在AI安全上投入更多的资源？如果核电投入95%，AI是不是应该在安全上投入10%或者15%，因为这个技术也是可能导致人类灭绝的。
周忠和：薛老师，您在经常在中国和国际舞台上积极讨论人工智能治理的问题。安全性显然是大家非常关注的焦点。鉴于人工智能已经达到了相当高的智能水平，我们是否可以认为开源在某种程度上也是一种保障措施呢？
薛澜：是的，开源与闭源的讨论实际上涉及到利弊的权衡。正如刚才所提到的，有人可能会担心开源会让极端组织或个人有机会滥用技术。不论开源还是闭源，只要有心作恶，总会找到途径。现有的各种技术，如果被滥用，都可能对人类社会造成破坏，生物技术就是个例子，它同样存在被滥用的风险。因此，更重要的是如何建立一套体系，来防范和制止任何个人或组织滥用技术危害社会。我们需要更多地考虑如何通过监管机制来控制这些风险。
假设从企业的商业角度出发，需要采取闭源等策略。在这种情况下，我们就需要建立一套监管机制。这个监管体系将对企业的闭源研究进行规范和约束，以确保其合法合规。所以我认为，企业的需求和监管制度是相互促进、相辅相成的。
中国在这一波人工智能浪潮中处于什么位置？
周忠和：中国在人工智能研究方面发表了大量的文章，并且在国际上也处于较为领先的位置。但具体来说，中国在人工智能方面有哪些优势和不足呢？比如有观点认为，中国缺乏高质量、大规模的中文数据集，这可能会影响我们的人工智能发展？
李航：中国在人工智能的应用和商业化方面确实还有很多机会。我们可以看到，在互联网和移动互联网时代，中国企业的表现非常出色，尤其是在过去的十年里。我们在互联网商业化的应用层面上很有特色。比如在大模型的实用场景中，不一定要追求像GPT-4那样的大规模模型，即使是相对较小的模型，在特定的实用场景中也能发挥重要作用。
就我个人的观点而言，未来人工智能的发展机遇主要集中在四大领域。首先是张老师之前提到的助理领域，也就是广义上的助理和白领工作，这里有很大的应用空间。其次，机器人的发展也非常关键，它们能够帮助工人和普通人完成一般工作任务。再者，AI for Science，即利用人工智能推动科学研究，这在数学、物理、化学等科学领域都有潜力。最后，娱乐行业，无论是视频制作、电影、游戏还是虚拟现实，人工智能的发展都有很多机会。
比如在硬件方面，当大模型与硬件结合时，机器人技术就是一个应用的典型例子。实际上，不仅限于机器人，自动驾驶等众多领域也有着广泛的发展机会。在应用层面，我认为中国整体上还有比较大的优势。
至于数据问题，目前高质量的英文数据资源相对较多，而高质量的中文数据资源则相对较少，尤其是在互联网上。但通过机器翻译或未来的一些新技术手段，我们是可以实现两种语言数据之间互通的。所以，我不认为语言数据的差距会是一个特别大的障碍。
不过，如果我们将人工智能的发展比作一场军备竞赛，那么可以说，Open AI在AGI方面确实领先一步，其他所有人都在努力追赶。对于中国而言，无论是企业界还是学术界，我们各个方面都需要加大努力，以缩小与领先者之间的差距。
我们刚才也讨论到，中国的一些创业公司有很多做得不错的。可以说，中国公司已经掌握了AI大模型的科学原理，因为这些科学原理基本上是公开的，大家都能学会。但现在的问题更多的是工程和产品开发。如果这些能够叫技术的话，我们其实是没有完全掌握这些技术的，中国的企业也好，研究机构也好，还需要努力，把这些技术能够尽快掌握，才能做出GPT4、Sora这样水平的东西。
张宏江：我要补充一点。目前这一波深度学习驱动的人工智能浪潮，并不是一个新现象，今天的情况只是进一步强化了这种观点。这波浪潮是算法、算力和数据三者的结合。在很大程度上，算法反映了人才的实力，也就是我们所说的人才。所以也可以说，是人才、硬件和数据的组合。通过这三个点，我们可以清晰地知道自己在什么定位。
数据我们有很多方式弥补，接下来就是人才。斯坦福大学每年发布的AI指数报告。这份报告统计了全球AI领域的论文发表情况，你猜在前十名的机构中，麻省理工学院（MIT）排名第几？
周忠和：难道没有排到第一？
张宏江：如果MIT排第一，我就不提这个问题了。实际上，MIT排在第十，而前九名全是中国的机构。这说明我们从业的人才一定不少，无非就是我们需要把发表文章的数量变成质量，把跟进变成突破、引领。还有很多思路，我们使可以继续沿着这三点思考的。
关于李航老师说的，中国在应用方面有优势这一点，我也有不同观点：这一次跟以前可能真是不太一样。现在AI领域的目标是AGI，强调通用。以前是单点上的技能，现在是一个通用的智能。
这就跟以前不太一样了，每一次OpenAI发一个新的版本或者加一个新的特性（feature），就是一片公司倒下。原来你认为一个公司才可以做的事情，大模型加一个特性就覆盖了。Sora出来后，Runway和其它做视频生成的公司就很紧张，因为你就是一个工具，Sora是多模态大模型的一个部分。
如果大模型继续沿着这个方向发展，它们的功能将变得越来越全面。当几句话就能在GPT 商店里产生一个新应用，当大模型的功能无所不包，是不是像上世纪90年代微软的操作系统，给当时其他软件公司带来的恐惧。而你还不能够用反垄断的方式来对抗它，因为大模型本身就这么强。
指望靠一个性能稍差的、70分专用小模型，去完成特定应用，就怕人家做出90分的大模型，顺手把这些功能都覆盖，横扫这些小模型。
那为什么自从ChatGPT问世以来，虽然已经过去了一年多的时间，但在我们所说的AI原生应用领域，并没有看到太多新兴公司的身影？一方面是大家都没摸清楚，另一方面是大模型性能还没好到那个地步，用在哪个领域，立刻让用户满意。
因为用户对于应用的期望值非常高。比如，当30年前语音识别技术不成熟的时候，苹果做了一个手写和语音识别产品叫Newton，但问题是语音识别的技术不过关，甚至手写识别那时候也不过关，因为那时候神经网络还是三层的。最后用户不认可，这个产品行情大跌。当一个技术撑不起一个产品，或者只能撑到60分，而用户的实际期望值是90分时，这个产品就相当于0分。
我们千万不要有这种心态，说之前我们成功过，我们在应用角度赶上了，就觉得新技术也就这样。这一次可能真不一样，这是我想要说的。
李航：我想再补充一点，我大部分同意张老师的观点，但就像我们讨论的互联网搜索引擎，有Google这样的巨头，当然还有其他的搜索引擎存在。即使Google占据了市场的主导地位，其他公司仍然有机会。
张宏江：但Google占据了90%的市场份额，而微软努力了20多年也只获得了3%的份额，这就是差别。
李航：我理解您的观点，但我认为在实际应用中，大模型并不总是能够完全取代小模型在一个具体的垂类上做的事情，GTP4也是90分，可能一个小模型也是90分。在特定领域，定制化的小型模型可能更有优势。因为它的性价比更高，商业上站得住脚。
张宏江：我不同意。我可以马上举个例子，ChatGPT出来之后，各种翻译软件都死掉了。
李航：但我了解到，GPT4在美国一些公司的实际场景里面，因为领域上的适配问题，其实成本很高，或者不很成功的例子也挺多。
张宏江：那是GPT4的问题，它还没有达到90分的地步。
李航：无论是从经济角度还是工程实现的角度来看，尽管大模型可能在通用领域表现出色，但市场的需求并不总是集中在通用领域。总会有一些特定的细分领域，特定的小型模型或技术可能整体更有优势。我不太相信大模型一个东西能把什么事都做到。
但我也同意，Google占据了市场的主导地位，拥有高达90%的市场份额。在这种情况下，我们可以看到，尽管其他公司也在努力，但目前还没有哪家能够撼动Google的地位。我们现在使用的GPT-4，它的市场地位也非常稳固，一旦用户对其产生了依赖，就很难转向其他服务。这种粘性使得通用技术领先的公司很难被取代。因此，在这个意义上，我同意超大模型有着广泛的覆盖能力和强大的市场影响力。但是其他企业也还是有机会的。
周忠和：这个问题看来还是值得讨论。最后我们问一下薛老师，从政府的角度，如何更好地推进我国人工智能事业?
薛澜：人工智能政府的政策，一方面是推动，推动它的发展，另外一方面是规制它的风险，所以这其实是两个轮子同时转。政府投入我觉得其实现在大家都想到了。但另外一点也非常重要，就是怎么样去营造一种生态，能够让中国的企业跟研究机构，包括跟高校等等，它能够去形成一种很自然地融在一起，这个始终是中国要解决的问题。
这在中国人工智能领域尤其重要。就像刚才张老师讲的，论文我们发得很多，专利也不少。我们最缺的还是生态，这是研究不出来的，需要领导们创造有利的条件，让各种机构和人才能够在这样的环境下发挥作用。像智源这样的组织，正是在这样支持性的环境中得以建立和发展的。
政府在推动人工智能发展的同时，也需要规制其风险。此外，建立一个良好的生态系统，让企业、研究机构和高校能够自然地融合在一起，这对于中国来说是一个需要解决的问题。在全球层面上，我们需要建立一个全球性的风险防控机制，这需要政府、企业和研究机构的共同努力。同时，我们也需要认识到，人工智能的发展不仅仅是技术问题，更是社会问题。它涉及到伦理、法律、就业等多个方面，我们需要在这些方面进行深入的研究和讨论，以确保人工智能的健康发展。
关于风险管理和规制，我想补充一点。这是一个多层次的问题。首先，我们需要在全球层面上尽快建立共识，制定一个全球性的风险防控机制。这不仅仅是政府的责任，也需要全球的企业和研究机构共同参与。虽然大家都在朝这个方向努力，但要真正让这些措施落地也不容易。这是需要大家共同努力的。
观众提问
观众1：我是清华大学苏世民书院2021级的毕业生，现在在智谱华章做产业生态方面的工作，非常谢谢各位老师，刚刚将近两个小时的分享，非常有启发。我有两个问题，第一个问题，近来不少中国人工智能初创企业，尤其做C端应用的企业，选择出海开展业务。可能出于两个考虑:一是希望借助海外最先进的模型，二是海外付费市场相对更加成熟。与此同时，国内大部分公司则专注B端，就是帮助本土企业降本增效。您怎么看待这种发展分野和趋势?对中国人工智能的科研和产业化进程会产生何种影响?
第二个问题，OpenAI的Sam Altman最近发布了一个计划，他打算斥资7万亿美元来推动半导体行业的革新和变革。各位老师如何看待这样作为私营企业去做这样大规模的融资，对于整个产业界或者学术研究的影响？以及可能中国的生态如何受到它的启发，或者我们怎么能够另寻一条路径，来跟这样的生态匹配？
现场观众
张宏江：回答第一个问题。出海这件事儿，你们注意到的是面向消费者的企业（to C）在进行海外扩张，但实际上，面向企业的企业（to B）的出海活动更为频繁，而且其实也非常有道理。
如果我们对比一下中美两国的软件市场和互联网应用市场，尤其是在软件工具和云服务（SaaS）领域，我们会发现美国的企业市场（to B）远比中国成熟。因此，中国的企业级软件出海战略不仅合理，而且非常必要。经过几十年的发展，中国的软件产业在toB领域相较于toC领域仍有较大的差距。如果我是企业决策者，特别是做toB业务，我会更倾向于出海，因为那里的市场对付费服务的接受度更高。
我还想多强调一下，toB软件、工具类软件或SaaS普及的重要性。toB软件的核心在于为企业提供提高效率的工具，比如Office、SAP或飞书等都是提升生产力的工具。当公司广泛使用这些工具时，意味着它们在追求效率的提升。而我们很多公司还没有充分利用这些生产力工具，这反映出我们的生产效率还不够高，可能还在依赖人力来完成任务。所以，我希望大家不仅仅将这看作是一种商业模式，而是关乎我们是否能够提升生产效率的关键问题。生产效率低，显然对于产业是非常大的一个问题。
回到国内这25年，我始终非常羡慕海外的toB的软件市场，我希望这块未来能够有所突破，这样我们才能真正提高人均生产力，因为人均收入的提升本质上依赖于人均生产力的增长。否则，我们的人均效率将持续面临问题。这就是我对第一个问题的看法。
李航：我来回答第二个问题。人工智能的发展确实需要大量的投资。我们刚才讨论到基础研究应该是开源和公开的，这是AI技术发展的源泉。目前AI技术，特别是大型模型，更偏向于工程实现。我们观察到，至少在某些领域，工业界的创新能力已经超越了基础研究机构的创新能力。这是一个新现象，在人类科学研究史上前所未遇。
我相信开源的努力会继续，因为许多学者都在这样做，尽管他们的工作可能在某些方面落后于像Open AI这样的领先企业。例如，Lambda等项目是开源的，但我们也要认识到，即使是商业公司的开源，也有其特殊性质，背后可能有其他考虑。从技术推进的角度来看，开源可能仍然面临挑战，因为它需要大量的开发工作，更重要的是技术创新。
我也同意，如果是闭源的模型，政府应该进行一定程度的监管，企业也应该承担起责任，做正确的事，这非常重要。AI研究一般是在大规模的环境下进行的，AI的发展需要大量的投资，这是我们目前所面临的现实。就像我们之前讨论的，为了推动技术向前发展，我们需要大量的资金来扩大模型的规模。
张宏江：我觉得7万亿这个数字跟闭源和开源不一定有直接关系。如果你认同Scaling Law，并且考虑过我们距离实现AGI还有多远，还需要多少资源，那么你可能会得出这样的数字。我们可能需要投入这么多资金，甚至更多，不仅是一家企业，可能还有其他企业也需要投入相似的资金量。这不是拍脑袋，而是基于Scaling Law的合理预测。随着模型参数的增加，我们需要更强大的算力进行训练和推理，更多的机房、更多的IDC设施和电力供应。如果现在的模型扩大1000倍，那么这样的投资规模可能就是必需的。为了搭建这个系统、实现这个目标，就需要相应的投资。我觉得这是他的思考，而且从Sam的角度来说，这家伙想问题常常都是往10年以后想。
观众2：我博士毕业于清华大学精密仪器系，目前是在中国信息通信研究院做人工智能方面的技术产业研究。我的问题是，首先，我们提到人工智能的发展依赖于三个核心要素：算法、计算能力和数据。目前，算法研究可能面临研究力量分散的问题，算力方面受到美国对高端AI芯片出口禁令的影响，而数据方面，高质量的中文数据集可能还不够充足。面对这些挑战，我们应该如何权衡这三者的优先级，有限发展哪一种。
其次，如果计算能力是目前制约我国发展像Sora这样的先进大型AI模型的主要因素，那么是否可以通过国家力量，整合国内现有的高端计算资源，比如英伟达的芯片，来支持国内科研人员的研发工作，从而实现我国在这一领域的突破？
李航：第一个问题，正如我之前提到的，从长远来看，人才培养是最关键的。虽然算力目前遇到了瓶颈，但这相对是一个短期问题。长期来看，人工智能的发展离不开人才的培养。
个人认为，本科教育非常重要。大学的研究工作，如何与产业界结合，推动人工智能领域的研究，这也是重要的。对于长期发展，最核心的还是人才。短期问题，比如数据问题，相对容易解决，但人才培养需要全社会的共同努力。
周忠和：说到人才，我想到了一个问题。我们通常关注人数和发表论文的数量，就像张老师之前提到的排名一样。但在中国科技领域，我们现在需要的是真正的创新的拔尖的人才，这不仅仅是数量上的问题，对吧？
张宏江：没错。特别是在未来，那些凑数的很可能会被AI取代。我们需要的是那种能够进行真正创新的人才。
薛澜：我谈谈第二个问题。我觉得这是一个假设，这种假设是很难实现的。如果我们回到几十年前，在举国体制、计划经济下，说不定还有点可能。今天的这种情况我觉得是非常难的，所以这个前提不存在，我们就没有必要探讨到后面的部分了。
观众3：我是理论物理专业的学生，从原理上来说，AI是否可能具备提出全新基础理论的能力？比如像相对论或标准模型这样的理论。如果AI真的可以做到这一点，那么我们是否可以得出结论，比如像现代的Transformer架构，它是否能自我产生出比自己更先进的架构？如果是这样，那是否意味着AI具有一种自我进化的能力？
张宏江：如果你问的是AI能否设计出比自己更有效的工具，我认为这是有可能的。关于AI是否能够自我进化，目前我还看不到这样的能力，但我不认为这在未来是不可能的。随着我们构建越来越大的模型，它们本质上会变得更智能。设计更大的模型需要更高的效率，如果AI能够设计出更好的编程模块，使工程实施比人类更高效，那么在这一点上，我认为AI是有可能实现自我超越的。
至于AI能否发现新的物理突破，我认为这和问一个物理学家未来十年是否会有重大物理发现一样，都是开放性的问题。不过有一个例子值得一提，那就是核聚变。核聚变本质上是创造一个小型太阳，而要实现这一点，我们需要能够包裹住核反应的等离子体。核聚变主要的一种结构，托卡马克（Tokamak）内部的等离子体，只能通过大型AI模型来完成设计。也就是说在核聚变这个领域，AI已经帮上忙了，因为它能够设计出之前人类无法设计的等离子体模型。所以，当我们谈论到7万亿美元的投资时，可以说AI也在帮助解决自己的能源问题。
现场观众提问正在提问
周忠和：那AI能够提出原创性的科学问题吗？
张宏江：如果它能做数学推理和证明，我觉得就不远了。
李航：我是这样看待这个问题。AI目前还难以展现出真正的创造力，比如说那种颠覆性的创新，像相对论那样我们从未想过的理论。虽然现在AI能够发现新的定理、新的证明方法、新药物和新材料，但它更像是在广阔的搜索空间中寻找最佳答案。它能够处理的规模是人类无法比拟的。
周忠和：也就是说，AI的发现是基于现有知识框架的，对吗？
李航：可以这么说。AI实际上是在一个巨大的搜索空间中寻找正确的解答，人是做不到那么大规模的搜索的。从这个角度看，AI在未来的科学发现方面潜力巨大，我对AI for Science的未来发展非常乐观，这个意义上的科学发现会非常多。
尽管我们还没有完全解决AI for Science的数据问题，这不像互联网数据相对丰富，但我认为这个挑战最终可以被克服。如果我们按照Scaling Law的思路来看，未来的发展空间是巨大的。但是，对于那些完全颠覆性的创新，比如相对论，我认为AI目前还做不到。因为AI的发现是基于我们设定的数据和搜索空间，它在这个范围内进行组合和搜索，而不是创造出我们从未想过的新概念。所以，至少在目前，我没有看到AI能够突破这一点。
观众4：我是来自天气预报领域的，首先，当AI模型能够提供比传统数理模型更准确的预测时，我们是否应该放弃那些我们熟悉且建立起来的数理模型，停止尝试用它们去理解物理机制的过程？还是说，我们会依赖AI来告诉我们这个世界是如何运作的？
其次，随着AI逐渐取代了许多传统的白领工作，我们可能会面临一个社会现象，大量的人可能不再需要工作。如果按照97比3的比例，那么那97%的人将如何度过他们的生活？他们是否能够发挥人类独有的创造力？如果他们只是普通人，他们应该如何适应这样的生活？社会又将如何看待这些不再从事传统工作的人？我们对于“人应该如何生活”的哲学是否会发生根本性的变化？
张宏江：我的回答是，人类将持续探索新的领域和方法，因为模型需要人来提供数据。这种数据包括新的方法。所以我觉得，人和模型会共存，而且互帮互助。但与此同时，模型的发展也会对人类提出越来越高的要求。想象一下，如果大部分事情模型都做得比人好，那对人类的能力和素质就会有更高的期望和标准。
薛澜：您刚才提出的问题非常重要。实际上，我认为这里涉及到两个方面的问题。首先，正如我们之前讨论的，随着人工智能的广泛应用，特别是那些能力出众的人可能会变得更加高效，而其他人可能就不再被需要。在这种情况下，我们首先需要面对的是社会分配问题。现行的社会分配制度可能需要进行重大的调整。否则，没有工作的人可能会采取极端行动。因此，这个问题必须首先得到解决。现在，人们正在讨论普遍基本收入（UGI）和其他各种新的分配方式，这些都是我们社会需要探索的。
当然，您提到的另一个问题也确实存在。在未来，我们目前所说的工作，可能不再需要如此大量的就业人口。这种情况下，未来人类生活的意义是什么？我们应该如何创造新的方式，让每个人都能在社会上生存并继续过上有意义的生活？这也是我们整个现代社会需要积极探讨的问题。不过，我相信技术进步虽然迅速，但社会的演变和适应能力也同样强大。我们的认知和社会的容忍度将会随着技术的发展而调整。
所以我认为不至于在短期内，比如五年后，所有人都失业。但另一方面，我们需要有紧迫感。在适应这些变化的同时，探讨未来人类社会的形态，以及我们如何维持有意义的生活是很重要的问题。这是需要我们大家共同努力的方向。
观众5：各位老师好，我是北航生物医学工程专业的博士研究生，我现在的这个研究方向是人工智能在蛋白质设计中的应用。刚才几位老师讲得很清楚，现在人工智能已经非常的强大了，在未来，我们相信AI是专家的时候，我们怎么去研判我们问它的问题，它反馈给我们的是正确的？
李航：这是一个开放性的问题。Open AI也在研究，当超人类智能出现时会发生什么。这涉及到很多未知的问题。我个人观点，我们现在不要过多地讨论这些问题。
我们现在使用GPT-4，它有时会有机器幻觉，我们需要判断它所说的是否正确。如果你了解它容易犯哪些错误，你就会更懂得如何使用它。我们需要掌握这种技巧。
周忠和：有人说有10%的错误率，真有这么高吗？
李航：不止10%。比如你问北京五塔寺的地址是什么？GPT-4会回答错误。我试过，它会给出错误的答案。
周忠和：Sora也会犯错吧？那个视频看起来很吸引人，但里面似乎也有一些问题……
李航：Sora现在甚至还没有公开，据说实际上犯的错误也很多。我们需要逐渐适应这种工具的特性，了解什么问题可以问，什么时候问完后需要去核实。
未来还有很多这样的开放性问题，比如刚才提到的科学发现，我们需要去验证。我们需要确认它是否正确，数学证明也是如此，如果它声称证明了一个新的定理，我们仍然需要去验证。这其中还有很多需要探索和研究的课题。我认为这是一个新时代，科学研究也进入了一个新的时代。
- 关于科学四十人 -
在创办《知识分子》和《赛先生》等知名科学文化平台的基础上，智识学研社发起成立了民间科学交流平台 “科学四十人”。“科学四十人” 的成员包括数学、物理、化学、生物、医学等九个领域的领军科学家。“科学四十人” 致力成为先进的科学交流平台，积极推进国际科学交流和全球科技治理议题，汇聚各个领域的科学力量和专业知识、意见和影响力，推动人类可持续发展。“科学四十人” 得到了科汇致远公益基金会的大力支持。
