如果只是作为驾驶模拟器，可能很平庸，但对电子游戏画面来说，这可能是一场伟大的革命 。
图|真实视频(左)和AI生成的渲染视频(右)之间的对比。(图源：英伟达)
最近人工智能的繁荣给图像和视频生成领域带来了一系列令人印象深刻的成果。最新成果来自芯片制造商英伟达，该公司12月3日发布了一份研究报告，展示了AI生成的画面如何与传统的视频游戏引擎相结合。这种混合图形系统有望应用到视频游戏，电影和虚拟现实等方面。
“这是使用深度学习渲染视频内容的一种新方式，”英伟达应用深度学习副总裁Bryan Catanzaro表示。“显然，英伟达非常关心图形生成，并且我们正在思考如何利用人工智能彻底改变这一领域。”
英伟达的生成的图片并没有达到真实照片级的画面，他们展示了在 AI 生成的图像中发现的一些水印状的模糊。并且这一工作也不是完全创新的。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个有影响力的开源系统pix2pix。此外英伟达的工作中还应用到了生成对抗网络(GAN)。这些方法已经广泛用于AI图像生成。
但是英伟达还是在新产品中引入很多创新，这是世界上首个利用AI生成图形画面的视频游戏演示。这个产品是一个简单的驾驶模拟器，玩家可以在AI生成的几个城市街区中穿行，但不能离开他们的汽车，也不能以其他方式与世界互动。并且这一演示仅使用一个GPU即可实现 ，对于这样的前沿工作来说，这是一个显著的成就。
英伟达的系统利用如下几个步骤生成图形画面：首先，研究人员必须收集训练数据，一般这些数据来自于自动驾驶研究的开源数据集。然后将这些视频数据中的每一个镜头做分割，即每一帧画面被分成不同类别的区域：如天空，汽车，树木，道路，建筑物等。然后，用这些分割的数据训练生成对抗网络，用来生成这些对象的新画面 。
接下来，工程师们使用传统的游戏引擎创建了虚拟环境的基本拓扑结构。在该游戏演示中，使用的系统是虚幻引擎 4，这是一种流行的引擎，被用于诸如堡垒之夜，绝地求生，战争机器4等多种游戏中。工程师们使用此引擎作为框架，然后利用深度学习算法实时生成每个类别的图形画面，并将它们显示到游戏引擎的模型上 。
“被创造的世界的结构还是用传统方法制作的，”Catanzaro解释说，“人工智能产生的唯一东西就是图形画面。”他补充说，演示本身很基础，主要由一名工程师负责完成。“这主要是用来做概念验证游戏，而不是开发了一个真正的游戏 。”
图|不同AI模型生成的画面对比。左上是经语义分割的图像;右上是pix2pixHD生成的画面;左下是 COVST 生成的画面;右下是本文英伟达的系统生成的画面。(图源：英伟达)
为了创建这个系统，英伟达的工程师克服了许多挑战，其中最大的挑战是对象持久性(object permanence)。也就是说，如果深度学习算法以每秒 25 帧的速率为这一虚拟世界生成图形，它们如何保持每一区域的对象看起来大致相同？Catanzaro这个问题曾导致这个系统的初始结果“看起来很痛苦”，因为图形的颜色和纹理 “每帧都会改变 ”。
而解决的方案就是给系统一个短期记忆，让系统生成的每个新帧的时候与之前的帧进行比较 。试图去预测这些图像之间运动的东西，并产生与屏幕上的内容一致的新郑但是这些计算都很昂贵，因此游戏只能以每秒25帧的速度运行。
Catanzaro强调，这项技术还处于早期阶段，想要让人工智能生成的画面出现在消费者游戏中可能还需要几十年的时间。他将这种情况与光线追踪的发展进行了比较，光线跟踪是当前图形渲染中的热门技术，它可以实时生成单独的光线，在虚拟环境中创建逼真的反射，阴影和不透明度。Catanzaro表示：“第一次交互式光线追踪演示已经是很久很久以前的事了，但直到几周前我们还没有在游戏中成功应用光线跟踪技术”。
不过，人工智能生成的画面工作确实在机器人和自动驾驶汽车等研究领域有潜在的应用前景，可以用来生成虚拟训练环境。例如，在大部分游戏中，结构仍使用传统方法渲染，而AI用于创建其中的人或物体 。消费者可以使用智能手机自己捕捉素材，然后将这些数据上传到云端，算法将通过学习将其插入到各种游戏中。比如说，将其用来创建更像真人玩家的头像。
然而，这种技术带来了一些明显的问题。近年来，专家越来越担心有些人会使用 AI 生成的足以乱真的假情报进行虚假宣传 。研究人员展示，现在很容易制作一些虚假的政治家和名人的镜头，利用这些视频散播一些的虚假消息，这将会是不法之徒一个很强大的武器。如果推进这项技术的发展并将这一研究成果发布，英伟达在一定程度上可以说是这一潜在负面问题的推动者。
不过，英伟达表示，这并不是一个新问题。“这一技术可以用于制作具有误导性的内容吗？是。但是任何渲染技术都可以用来做到这一点 ，”Catanzaro表示，英伟达正在与合作伙伴一起研究检测AI赝品的方法，这种所谓的虚假信息的问题本质上是一个“信任问题”。就像之前许多的“信任问题”一样，它必须通过一系列方法来解决，而不仅仅是通过技术 。
Catanzaro反问道：“电力公司创造的电力可以为制作假视频的电脑供电，你觉得他们需不需要负责？”。
不过归根结底，对于英伟达来说，推动人工智能生成的图形有一个明显的好处：它将有助于英伟达销售更多的硬件。自从深度学习热潮在2010年初兴起以来，英伟达的股价飙升，很明显英伟达的计算机芯片非常适合机器学习研究和开发 。
对于计算机图形学的人工智能革命是否会有利于英伟达公司的收入，Catanzaro笑着说，至少不会带来伤害。“任何能够提高生成更逼真和更具吸引力的图形的能力，都会对英伟达有利 。”
