在去年一连串的轰炸之下,“元宇宙”这个词终于被“用滥了”。
当Meta提出全面转型元宇宙时,就已经骗过了不少人。而当那些追随者纷纷晒出自己所谓的“元宇宙”产品时,Meta再一次拿技术实力打了它们的脸。
充分结合了AI技术,将是未来AR/VR发展的重要一环,这一点我们在Quest 2、以及Workrooms等产品上已经看到。包括Quest 2的定位追踪,手势识别,桌面和沙发追踪,键盘追踪等都不离不开AI技术的加入。
这一次,Meta打算进一步发挥AI的作用,让AI技术生成你想要的虚拟场景,“你说出来,机器就做出来”,给了一众BUG多、审美怪的”元宇宙“怪咖当头一棒。
不仅如此,这项研究基础“基于AI的语言和机器翻译模型”也将被用于更多场景。在今天的AI技术论坛(Inside the Lab)上,Meta向外界展示包括:Builder Bot、基于LASER语言工具包的多语言翻译模型、语音助理AI模型Project CAIRaoke、成立人工智能学习联盟,免费在线提供课程。
同时,Meta熟悉AI科学家杨立昆也分享了打造具备生物级别思考能力的AI模型愿景,通过自主智能架构,让AI模拟世界的运作方式,接近人类智能水平,简直不可思议。
当然,我们在本文中将重点来说一下Builder Bot和多语言翻译模型。
1,理想化的三维场景创建模型
众所周知,目前的VR设计平台一个重点就是虚拟场景的丰富性,其中包括头部VR社交平台已经允许用户自定义虚拟场景,这是保持多样性的重要一步。
对于大多数而言,在三维场景中(例如佩戴VR条件下)创作并非易事,不仅效率低下,而且难以达到理想的状态。当然,我们知道很多的虚拟场景基本上也都是在2D屏幕下,通过专业设计师或准专业人士(爱好者等等)来开发的。
所以,对于Meta这样的企业也一直在思考,VR和AR中的便捷性如何体现。
AI或许是最好的方案。就像是如今AI创作画作一样,将AI技术延伸到三维场景中,你指出要说出你想要的场景,Builder Bot就能帮你实现。
从上面的视频也能看出,扎克伯格的整个演示视频基本十分流畅,机器能够听懂创作者意图并且给出基本合理的场景,很难挑出其中的瑕疵。
扎克伯格表示:AI是元宇宙的关键技术之一。正如AI、机器学习等技术在其它领域的应用,在虚拟场景中它可以用来帮助我们很好地理解上下文,甚至像人类一样理解和预测我们想要做什么。这一趋势,未来会更为明显。
2,人工智能学习联盟
在介绍翻译系统之前,我们先来看一下Meta的人工智能学习联盟。
扎克伯格举例表示:目前的AI系统多收到过监督学习训练,也就是说,如果想让系统知道这张照片中是一只猫,就需要明确告诉它,并且拿出几万张猫的图片进行标注,让系统进行监督学习。这些系统有着不错的效果,尤其是用于图像和视频领域,但前提是需要进行大量数据标注的学习过程。
因为在虚拟的三维场景中,环境复杂多变,就像现实环境一样,几乎很难用传统的数据标记法进行监督式学习,因此也就无法支撑自由、随意互动的元宇宙生态。
Meta首席AI科学家杨立昆,也是2018年图灵奖得主,他认为:“自监督学习”可以提供真正的接近人类思维的AI系统。感兴趣的朋友,也建议读一下杨立昆的《科学之路》这本书。
自监督学习的优势在于无需给出数据标注,模型可以从无标注的数据中自我学习,是一种理想的机器学习模型。
目前Meta已经联合13所大学组成联盟,组成了有史以来最大的自我监督学习数据集,目前积累了几千小时的第一人称视频,大家可用于研究在虚拟空间中的任何工作。
3,多语言翻译系统
虽然现在翻译软件已经能够很好的应用到文本中来,YouTube视频也支持提取英文并进行翻译,但是在三维场景中存在同样的问题。
如同我们日常生活,在虚拟场景中与任何人交流时并不会看到文字或字幕,即便是外国人。因此,常规的翻译方案并不适用于三维场景。
扎克伯格表示:目前全球仍有近一半人群无法在互联网上使用自己的语言,例如在中非和西非地区有几百万人的语言在互联网并不流行,只能访问英文或其它语言。
另一个现实是,即便目前最主流的机器学习翻译模型,也只能通过英语作为中转语言,即:将A语言翻译为英文,再将英文翻译为B语言。
而这就会给翻译增加一些噪点和不确定性。为此,Meta推出了开源AI翻译模型:LASER语言工具包。
LASER特点是可以将任何句子转换为其它语言,省去了英文中转步骤,例如A语言可以直接翻译为B语言。
目前,已经支持100多种语言的翻译,并且进行了1400小时的法语、德语、西班牙语、英语之间确定性的语音对齐。这其中的难点包括:口语到书面语的表达形式不同,尤其是少见的没有书面习惯的语言。
为此,Meta也正在开发一套语音到语音翻译系统,即可以实现:A语言的人说话,B语言的人直接收听翻译后的语音。Meta表示:这种方法已经被证明比常规单独语音识别+机器翻译的合成模型要更快。
当然,这类语音到语音的翻译系统,更是为了今后的AR眼镜所准备,届时一套接近人类翻译水平的实时翻译眼镜就。
除此之外,Meta还公布了CAIRaoke,这是一套专为AR虚拟助手开发的AI对话模型,目的是让机器人聊天助手更好的理解你的说话内容,可以更好与你对话,在三维场景中互动。