3DWorld在虚拟世界中模拟真实世界的物理和可视化。资料来源:甘创等人
当你站在厨房里时，你会把一些金属碗从柜台那边推到水槽里，然后在椅背上盖上一条毛巾。在另一个房间里，听起来像是一些摇摇欲坠的积木倒下了，还有一场史诗般的玩具汽车撞车事故。这些与环境的互动只是人类在家里日常经历的一部分，但这个世界可能看起来是真实的，但它不是。
麻省理工学院、麻省理工学院- ibm沃森人工智能实验室、哈佛大学和斯坦福大学的研究人员进行了一项新研究，使一个丰富的虚拟世界成为可能，就像走进《黑客帝国》(the Matrix)一样。他们的平台被称为ThreeDWorld (TDW)，模拟室内和室外的高保真音频和视觉环境，并允许用户、对象和移动代理像他们在现实生活中一样，根据物理定律交互。当发生交互作用时，计算并执行流体、软体和刚体的对象方向、物理特性和速度，产生准确的碰撞和碰撞声音。
TDW的独特之处在于，它被设计为灵活和可推广的，实时生成合成的照片真实感场景和音频渲染，可以编译成视听数据集，通过场景内的交互进行修改，并适合于人类和神经网络学习和预测测试。不同类型的机器人代理和化身也可以在受控模拟中产生，以执行任务规划和执行。例如，使用虚拟现实(VR)，人类在空间中的注意力和游戏行为可以提供真实世界的数据。
该研究的主要作者、麻省理工学院- ibm沃森人工智能实验室研究科学家甘创表示:“我们正在努力构建一个通用模拟平台，为各种人工智能应用模拟真实世界的交互丰富性。”
创造真实的虚拟世界来研究人类行为和训练机器人一直是人工智能和认知科学研究人员的梦想。大脑与认知科学系(BCS)副教授、麻省理工- ibm沃森人工智能实验室项目负责人乔希麦克德莫特(Josh McDermott)表示:“目前大多数人工智能都是基于监督学习的，而监督学习依赖于由人类注释的图像或声音组成的庞大数据集。”这些描述的编译成本很高，成为了研究的瓶颈。而对于物体的物理属性，比如质量，这对人类观察者来说并不总是显而易见的，标签可能根本就无法使用。像TDW这样的模拟器通过生成所有参数和注释都已知的场景来解决这个问题。许多竞争模拟都是出于这种考虑，但都是为特定应用而设计的;通过其灵活性，TDW旨在支持许多不适合其他平台的应用程序。
McDermott指出，TDW的另一个优势是，它为理解学习过程提供了一个可控的设置，并促进了人工智能机器人的改进。依靠反复试验的机器人系统，可以在不会造成物理伤害的环境中进行教学。此外，“我们很多人都对这些虚拟世界打开的大门感到兴奋，这些虚拟世界为在人类身上做实验、了解人类的感知和认知打开了大门。有可能创造出这些非常丰富的感官场景，在那里你仍然可以完全控制和完全了解环境中正在发生的事情。”
McDermott Gan和他们的同事在12月举行的神经信息处理系统(NeurIPS)会议上展示了这项研究。
后面的框架
这项工作开始于一组麻省理工学院教授、斯坦福大学和IBM研究人员的合作，受个人对听觉、视觉、认知和知觉智能的研究兴趣的影响。TDW将这些结合在一个平台上。研究人类和机器听觉的麦克德莫特说:“我们都对建立虚拟世界以训练人工智能系统的想法很感兴趣，我们可以把这些系统用作大脑的模型。”“所以，我们认为，在这种环境中，你可以拥有相互互动的物体，然后从它们中呈现真实的感官数据，这将是一个有价值的方法来开始研究。”
为了实现这一目标，研究人员在一个名为Unity3D Engine的视频游戏平台上构建了TDW，并致力于在没有任何动画的情况下整合视觉和听觉数据渲染。模拟由两个组件组成:构建(渲染图像、合成音频和运行物理模拟);以及控制器，这是一个基于python的接口，用户可以在其中向构建发送命令。研究人员通过从一个广泛的3D模型库中提取对象(如家具、动物和车辆)来构建和填充一个场景。这些模型准确地响应灯光的变化，它们在场景中的材料组成和方向决定了它们在空间中的物理行为。动态照明模型准确地模拟场景照明，产生与一天中适当时间和太阳角度相对应的阴影和调光。该团队还创建了虚拟的平面图，研究人员可以在其中填充代理和虚拟角色。为了合成真实的音频，TDW使用了碰撞声的生成模型，这些声音是由模拟中的碰撞或其他对象交互触发的。TDW还根据空间和物体的几何形状模拟了噪声衰减和混响。
TDW中的两个物理引擎可以为相互作用物体之间的变形和反应提供动力一个用于刚体，另一个用于柔软物体和流体。TDW执行关于质量、体积和密度的瞬时计算，以及作用于材料上的任何摩擦力或其他力。这使得机器学习模型能够学习具有不同物理属性的物体如何一起表现。
用户、代理和化身可以通过几种方式使场景栩栩如生。研究人员可以通过控制器的命令直接对一个物体施加一个力，这可以让一个虚拟球运动起来。虚拟角色可以在空间中以某种方式行动。，拥有能够执行任务实验的关节肢。最后，VR头和手机可以让用户与虚拟环境交互，有可能生成机器学习模型可以从中学习的人类行为数据。
丰富的AI的经历
为了试验和演示TDW的独特特性、功能和应用，该团队运行了一系列测试，比较了由TDW和其他虚拟模拟生成的数据集。该团队发现，在图像分类测试中，对场景图像快照进行训练的神经网络，其随机放置的相机角度，优于其他模拟图像的快照，接近于对真实世界图像进行训练的系统。研究人员还根据TDW中掉落在物体表面上的小物体的音频剪辑生成并训练了一个材料分类模型，并要求它识别相互作用的材料类型。他们发现TDW比其竞争对手取得了显著的优势。此外，利用TDW训练的神经网络进行的物体掉落测试显示，将视听结合在一起是识别物体物理属性的最佳方法，这推动了视听整合的进一步研究。
事实证明，TDW对于设计和测试能够理解场景中的物理事件如何随时间发展的系统特别有用。这包括促进基准的一个模型或算法进行物理上的预测,例如,栈的稳定的对象,或运动的对象后collision-humans学习这些概念作为孩子,但许多机器需要证明这是有用的在现实世界的能力。TDW还可以将人类的好奇心和预测能力与机器代理进行比较，这些机器代理旨在评估不同场景中的社会互动。
Gan指出，这些应用只是冰山一角。通过扩展TDW的物理模拟能力，以更准确地描述现实世界，“我们正试图创建新的基准来推进人工智能技术，并使用这些基准来揭示许多迄今为止难以研究的新问题。”
该论文的研究团队还包括麻省理工学院的工程师Jeremy Schwartz和Seth Alter，他们对TDW的运营起着重要作用;英国计算机学会教授詹姆斯迪卡洛和约书亚特南鲍姆;研究生Aidan Curtis和Martin Schrimpf;前博士后詹姆斯特拉尔(现爱荷华大学助理教授)和乔纳斯库比利乌斯博士。他们的同事是麻省理工-IBM沃森人工智能实验室IBM主管戴维考克斯;研究软件工程师Abhishek Bhandwalder;以及IBM的研究人员Dan Gutfreund。其他合著者包括哈佛大学助理教授Julian De Freitas;斯坦福大学的助理教授Daniel L.K. Yamins (TDW创始人之一)和Nick Haber，博士后Daniel M. Bear，以及研究生Megumi Sano, Kuno Kim, Elias Wang, Damian Mrowca, Kevin Feigelis和Michael Lingelbach。
