苹果正在研究一种技术，让 "Apple Glass "用户不受限于固定的物理手势或触摸控制，而是操纵任何物体来改变头显上可见的内容。 有了AR，尤其是苹果所说的混合现实(MR)，能够看到iPad Pro在你面前是很好的，但你需要能够使用它。你必须能够拿起一个虚拟的物体并使用它，否则AR就比不上一部3D电影。
苹果提出的解决方案是一项名为 "使用跟踪的实物操纵虚拟物体 "的专利，这是2020年1月提交的专利申请，但本周才披露。它建议真正混合现实，即虚拟对象可以映射到现实世界的实际对象上。
苹果在专利当中表示，各种电子设备，例如头戴式设备，其显示屏向用户呈现一个计算机生成现实（CGR）环境，用户可以完全沉浸在由虚拟对象组成的虚拟现实环境中，虽然用户可以自然而然地对周围物理环境中的物理物体进行直接操纵，但对于CGR环境中的虚拟物体来说，情况却并非如此。
缺乏与CGR环境当中虚拟对象直接交互的手段，限制了虚拟对象融入CGR环境的程度。因此，为用户提供一种直接操作虚拟对象的手段可能是可取的。苹果提出的方式是通过控制一个物理物体来操纵一个虚拟物体， 苹果将现实世界中的物体称为 "代理设备"，并表示，同样的摄像头系统，用于定位虚拟物体在用户周围的位置，可以精确跟踪。
苹果表示，使用定义代理设备在物理环境中移动的位置数据动态更新虚拟对象在三维坐标空间中的位置和方向，因此，如果你拿着比如说一个长方形的设备，AR/MR系统可以告诉你它在哪里，它的方向是什么，什么面朝上，等等。当你移动或转动它时，系统确切地知道在哪里叠加AR图像。
该方法涉及在电子设备的显示屏上呈现虚拟对象和物理代理设备代表的虚拟内容， 因此，对站在你旁边的人来说，你是在挥舞着一块空白的石板。但对你来说，它是一台 iPad Pro，拥有所有的控制和显示功能，这意味着。在这个意义上，这个想法与最近关于隐私屏幕的想法类似。
【来源：cnBeta.COM】
