今天，美国专利商标局公布了苹果公司的一项专利申请，该专利主要涉及生成物理环境的二维和三维几何显示，特别是涉及根据物理环境中检测到的信息生成几何表示的系统、方法和设备。
苹果公司在其专利背景中指出，平面图在设计、理解和改造室内空间方面发挥着重要作用。平面图在传达物理环境的几何和语义信息方面通常很有效。例如，用户可以通过查看平面图来快速识别房间的宽度、墙壁结构和角落、门窗的位置以及物体的排列。
一直以来，业内在提供基于计算机的系统来自动生成平面图、房间测量值或基于传感器数据的物体测量值等方面，始终存在着许多障碍。获得的关于物理环境的传感器数据（例如，图像和深度数据）可能不完整或不足以提供准确的平面图和测量。例如，室内环境往往包含各种各样的物体，如灯、书桌、椅子等，这些物体可能会隐藏房间的建筑线条，而这些线条本来可以用来检测房间的边缘以建立准确的平面图。再比如，图像和深度数据通常缺乏语义信息，在没有这些数据的情况下生成的平面图和测量图可能缺乏准确性。
现有的技术不允许使用移动设备自动、准确和有效地生成平面图和测量结果，例如，基于用户在房间里走动时捕获的照片或视频或其他传感器数据。此外，现有技术可能无法在实时（例如，在扫描过程中立即进行平面图/测量）环境中提供足够准确和高效的平面图和测量。
苹果公司的发明涵盖了使用物理环境的三维（3D）表示法生成平面图和测量的设备、系统和方法。
物理环境的三维表示可以基于传感器数据生成，例如图像和深度传感器数据。在一些实施方案中，使用物理环境的语义标记的三维表示，促进了平面图和测量的生成。
一些实施方案对物理环境的三维点云进行了语义分割和标记。本文所披露的技术可以通过使用语义三维表示，如语义标记的三维点云，编码到二维（2D）横向领域，实现各种优势。在二维横向域中使用语义三维表示可以促进有效识别用于生成平面图或测量的结构。
平面图可以以各种格式提供。在一些实施方案中，平面图包括一个房间的二维俯视图。平面图可以用图形描述一个房间的边界，例如，通过使用线条或其他图形特征，以图形方式描述墙壁、障碍物或房间范围的其他限制。平面图可以用图形描述墙壁特征的位置和几何形状，如墙壁边缘、门和窗户。平面图可以用图形描述房间内的物体，如沙发、桌子、椅子、电器等。平面图可以包括识别房间内的边界、墙壁、门、窗和物体的标识符，例如，包括识别这些元素的文字标签或参考数字。平面图可以包括边界、墙边、门、窗和房间内物体的测量指示，例如，包括指定墙的长度、桌子的直径、窗户的宽度等的数字。
根据一些实施方案，平面图是在用户进行房间扫描的基础上创建的，例如，移动移动设备来捕获用户在房间里的图像和深度数据。一些实施方案在房间扫描期间提供初步的二维平面图的预览。例如，当用户在房间里走动捕捉传感器数据时，用户的设备可以显示正在生成的初步二维平面图的预览。
该预览是 “实时 ”的，因为它是在持续捕捉用于生成初步二维平面图的传感器数据流或数据集期间提供的。为了实现初步二维平面图的实时预览，预览的生成方式（至少最初）可以与最终的、扫描后的平面图不同。
在一个例子中，预览的生成没有采用某些后期处理技术（如微调、角校正等），这些技术被用于生成最终的扫描后平面图。在其他例子中，实时预览可以使用比用于生成最终扫描后平面图的计算密集度低的神经网络。二维语义数据的使用（例如，针对房间的不同层）也可以促进使预览的确定充分有效地用于实时显示。
苹果公司的专利下面的图1是一个示例操作环境（#100）的框图。在这个例子中，操作环境100说明了一个例子的物理环境（#105），包括墙壁（#130、132、134）、椅子（#140）、桌子（#142）、门（#150）和窗户（#152）。服务器（#110）被配置为管理和协调用户的体验。
苹果公司的专利图4上面提出了一个使用三维数据和基于深度和光强图像信息的语义分割来生成语义三维（3D）表示的例子的系统流程图。
上述第400号示例环境的系统流程可以显示在具有显示图像的屏幕和/或观看立体图像的屏幕的设备上，如头戴式显示器（HMD）。
苹果公司的专利图5下面是一个示例性方法（#500）的流程图表示，该方法基于物理环境的三维表示，生成并显示物理环境的初步二维平面图的实时预览。
苹果公司的专利 下面的图10是一个示例环境（#1000）的系统流程图，其中系统可以根据物理环境的三维表示（例如，三维点云、三维网格重建、语义三维点云等）生成并提供给显示物理环境的二维平面图。
示例环境（#1000）的系统流程在平面图单元处获取物理环境（例如，图1的物理环境#105）的图像数据（例如，来自光强相机的实时摄像资料）、来自语义三维单元的语义三维表示和其他来源的物理环境信息（例如，相机定位信息）。
苹果公司的专利上面的图12B是一个示例环境（#1200B）的系统流程图，其中物体检测单元（#1220）可以根据物理环境的三维表示为相关的识别物体生成精炼的边界框，而平面图测量单元（#1250）可以提供所述边界框的测量值。
三维数据、光强度图像数据、建议的边界框（#1225a、1225b）和阶段1的输出由微调阶段2神经网络（#1234）获得，该神经网络使用高精度/低召回神经网络生成精制边界框，以细化生成特征的准确性并输出精制边界框（#1235a和1235b，例如分别为142号桌子和140号椅子）。如图12B所示，精确的界线盒比界线盒分别更准确。
