随着元宇宙概念的火热,近一年多来VR设备可以说是迎来了其“第三春”。2021年11月扎克伯格在facebook大会上提出了改名meta,并且将公司的主要业务方向转向元宇宙,虽据统计Meta在元宇宙相关业务“现实实验室”总净亏损已经高达160亿美元,扎克伯格仍是信心满满,此月也将推出新款VR头显,帮助用户获得“社交存在”般的体验感。
近日在一篇讨论QuestSim的新论文中,Meta 旗下 Reality Labs的研究人员展示了一项新研究一套由神经网络驱动的系统,也就是通过使用先前收集的跟踪数据训练AI ,以尽可能合理和物理正确的方式模拟虚拟身体运动。解决现阶段VR设备只能对头部和手部动作进行追踪,而不对腿部进行校正这一局面。
Meta团队使用人工生成的传感器数据训练 QuestSim AI,训练后的QuestSim可以使用真实世界的头显和控制器数据来识别一个人正在做的动作,而腿部区域由于没有实时传感器,AI将通过学习模拟合成动作,从而实现全身运动进行模拟。这也代表着,该研究的特点是借助Quest 2 头显+控制器的追踪数据,能够更合理地预估佩戴者的全身姿态,而无需额外的追踪器 / 外部传感器。
Meta 研究人员甚至声称,由此产生的准确性和抖动、优于穿戴式的 IMU 跟踪器。
当然,该项技术目前依然存在着一些不足,它不一定能够精确还原用户的实际姿态。并且,QuestSim虽然适用于不同体型的人,但当角色不断偏离用户之后,可能会变得很难跟上动作。
Meta 的研究团队表明,仅来自头显的传感器数据与 AI 预测相结合就足以制作出可信且物理上正确的虚拟化身。并且希望将更详细的骨骼和身体形状信息整合到训练中,从而改善化身的运动多样性。
至于这套系统是否、以及何时会放到Quest 2头显上,暂时还是一个未知数。Meta 首席技术官Andrew Bosworth在一次互动问答活动中暗示道“
我们确实经常因为无腿化身而被大家给调侃,但我认为大家的吐槽是相当公正和有趣的。
毕竟给个人的虚拟化身配上与现实不匹配的腿,可能会让用户感到非常不安。
但若将腿安到其他人的虚拟化身上,就没有这方面的困扰了。
感兴趣的朋友,可留意于Meta Connect年度AR/VR活动期间的详细公告。
”
让我们一同期待吧。
(8031419)