相信你很可能看过一些展现未来科技的科幻电影或电视节目,在这些电影或电视节目中,主人公会要求放大一些图像并增强显示结果:清晰的显示出人脸、车牌或任何其他关键细节。现实中,谷歌最新的人工智能引擎,基于众所周知的扩散模型,就能够做到这一点。
这实际上是一个很难掌握的过程,因为本质上所发生的事情是,通过一些基于其他相似图像的超级智能猜测,添加(补充)了相机最初并没有捕捉到的图片细节。
这项技术被谷歌称为“自然图像合成”,在这个特殊的情况下,被称为图像超分辨率。你从一张小的、块状的、像素化的照片开始,最后得到一张清晰、锐利、看起来非常自然的照片。它可能与原的图片不完全一样了,但在人眼看来,它已经足够接近真实了。
谷歌实际上已经为这项工作推出了两种新的人工智能工具。 第一个称为 SR3,即通过重复细化实现的超分辨率,它的工作原理是向图像添加噪声或不可预测性,然后反转过程并将其删除 就像图像编辑器试图让你的度假照片变得更清晰一样。
谷歌的研究科学家和软件工程师解释说:“扩散模型通过逐步添加高斯噪声来破坏训练数据,慢慢消除数据中的细节,直到它变成纯噪声,然后训练神经网络来逆转这种破坏过程。”
通过基于一系列庞大的图像数据库,和一些机器学习神奇的概率计算,SR3 就能够想象出一个块状、低分辨率图像的全分辨率版本是什么样的。
第二个工具是 CDM,即级联扩散模型。谷歌将这些描述为“管道”,通过这些“管道”可以引导扩散模型(包括 SR3在内)进行高质量图像分辨率的升级。 它采用增强模型,并从中得到更大的图像,谷歌也发表了一篇关于这方面的论文。
上图:动画展示了CDM方法的原理。
谷歌表示,通过在不同分辨率下使用不同的增强模型,CDM 方法能够击败其他放大图像的方法。 新的人工智能引擎在 ImageNet 上进行了测试,ImageNet 是一个巨大的训练图像数据库,通常用于视觉对象识别研究。
SR3 和 CDM 的最终测试结果令人印象深刻。在一项由50名志愿者参与的标准测试中,SR3 生成的人脸图像有50%的几率被误认为是真实照片。考虑到一个完美的算法有望达到50%的分数,这是令人印象深刻的。
值得重申的是,这些增强图像与原始图像并不完全匹配,但它们是基于一些高级概率数学精心计算的模拟。
谷歌表示,扩散方法比其他选项产生更好的结果。包括生成对抗网络 (GAN),它的原理是让两个神经网络相互竞争,以改进结果。
谷歌从其新的人工智能引擎和相关技术中获得了更多的希望。不仅在放大面部和其他自然物体的图像方面,而且在概率建模的其他领域也是如此。
该团队表示:“我们很高兴能进一步测试扩散模型的极限,以解决各种各样的生成建模问题。”
如果朋友们喜欢,敬请关注“知新了了”!