MIT的计算机科学与人工智能实验室(CSAIL),在AR技术的交互领域取得了重大进展,可以让观众“摸”到视频中的物体了。
IDV | 图片来源:CSAIL
CSAIL展示了他们在“互动动态视频”(Interactive Dynamic Video, IDV)上的成果。IDV可以学习一段几秒钟的含有动态物体的视频,例如被风吹动的树叶或被手指拨动的琴弦,然后分析出物体的示例震动模式(example vibration mode),通过算法推断、模拟出物体在其他条件下的震动模式。而IDV的最终成果是,人们可以在画面上与该物体进行互动,比如用鼠标拖拽让物体变形。
这项研究的重要性在于,人们今后不必再对特定物体进行复杂而昂贵的3D建模,只利用IDV就能够对物体做出模拟。CSAIL表示,这项技术今后可用于建筑安全性预测、电影特效及AR/VR领域。将来人们在玩《口袋妖怪 GO》的时候,就可以借助于IDV来和宠物小精灵互动了。在现有的的游戏界面里,宠物小精灵只是覆盖在真实世界上面上的一层贴纸,玩家并不能和它们自由互动,精灵们也不能与环境互动。
IDV | 图片来源:CSAIL
领导这一项目的是CSAIL博士Abe Davis,他表示:“这项技术可以让我们捕捉到物体的物理动态,让我们在虚拟空间里和物体玩耍。”据判断判断,可能利用了类似傅立叶变换或小波变换的方法。Abe Davis对此不置可否,他告诉记者,具体的算法将于近期公开。
在被问及IDV项目与Magic Leap、微软HoloLens等在技术上的差别时,Abe Davis告诉记者:“Magic Leap等专注于显示技术,我们的工作则是捕获并生成内容,这些内容未来可能在他们的设备上显示。他们所做的工作激动人心,但我所看到的Demo没有表明他们在研发同样的事情。”Abe Davis强调,AR技术与混合现实技术正在飞速发展,他很期待将来能与Magic Leap、HoloLens等展开合作。
2003年,MIT将计算机科学实验室与人工智能实验室合并,建立了CSAIL。无论是人数还是研究领域,CSAIL都是美国大学中最大规模的实验室。多位图灵奖得主都出身于此实验室,一般认为黑客文化也起源于此。