近日,欧洲专利商标局公布了苹果的一项专利申请,该专利申请在技术上涉及具有一个或多个显示器生成组件的计算机系统和一个或多个提供计算机生成体验的输入设备,包括但不限于通过一个或多个显示器提供 VR 和 MR 体验的电子设备。实际上,苹果的专利深入到为苹果未来 XR 头显用户提供使用各种手势来控制或移动用户在 AR/VR/MR/XR 环境中看到物体的能力,这些物体使用来自注视追踪系统的注视输入。头显或头显上的摄像头使用深度映射来区分手势。

苹果在其专利背景中指出,与至少包含某些虚拟元素(如应用程序、AR 环境、MR 环境和 VR 环境)的环境进行交互的方法和接口是繁琐、效率低下且有限的。

例如,为执行与虚拟对象相关的操作提供反馈不足的系统、需要一系列输入才能在 AR 环境中实现预期结果的系统,以及虚拟对象操作复杂、乏味且容易出错的系统,都会给用户带来巨大的认知负担,并降低 VR/AR 环境的用户体验。此外,这些方法浪费了许多时间,从而浪费能源,后一种考虑因素在电池供电设备中尤为重要。

在一些实施例中,计算机系统可以根据在用户手部运动期间保持的握力类型或手部姿势来区分用户的手部运动。握持的类型或手部姿势是根据手指在各自手上的位置、各自手的方向、形成握力的手的数量、形成握手的手的相对位置和方向,或上述两种或多种的组合等来区分的。

在一些实施例中,一旦选择了目标位置或锚点位置,如果可移动的虚拟对象存在于目标位置或锚点位置,如果用户的手在手部运动期间处于第一类型的握持状态,则计算机系统将用户的手部运动识别为相对于三维环境(并且相对于用户的虚拟位置或当前显示的三维环境的视图的视点)移动虚拟对象的请求;如果用户的手处于不同于第一种握持的第二种握持方式,则计算机系统将用户的手部运动识别为相对于虚拟对象(以及相对于三维环境)移动视点的请求。

在专利图中 2 中,我们看到一个框图,其中说明了计算机系统的控制器,该控制器配置为管理和协调用户的 CGR 体验。下面的控制器 #110 包括软件、固件和/或硬件的合适组合;图 7A-7D 说明了选择导航目标并根据物理手势导航到导航目标的过程。

苹果专利图 7E/F/H/I 说明了根据用户在一系列用户输入期间保持的手势,有选择地相对于三维环境(和视点)移动虚拟对象或相对于三维环境(以及三维环境内的所有虚拟对象)移动视点。