近日,Meta 宣布与宝马合作开展的车载 MR 研究取得新进展。

据悉,该联合研究项目于 2021 年宣布,旨在探索有朝一日将 AR 和 VR 集成到智能车辆中,以用于车载娱乐和驾驶员辅助。这项技术可能会彻底改变汽车、火车、飞机等的旅行,解锁新的免提通信、娱乐和实用形式。

VR 头显配备了许多传感器,但移动的车辆带来了一个棘手的挑战,因为像 Oculus Insight 这样的跟踪技术同时使用惯性运动传感器(IMU)和摄像头来精确估计头显的位置和运动。

在非惯性参考系中,这两种模式是冲突的,因为摄像头观察相对于汽车内部的运动,而 IMU 测量相对于世界的加速度和旋转速度。这种不匹配意味着像 Meta Quest 2 这样的 VR 头显目前在车辆内转弯和/或加速时无法显示稳定的虚拟内容。

如今,Meta 将宝马汽车传感器阵列的 IMU 数据实时整合到“Project Aria”研究头显的追踪系统中。这些附加信息允许系统计算头显相对于汽车的位置。不过,由于 Aria 眼镜没有任何形式的显示,因此研究人员将解决方案移植到 Quest Pro 以测试将虚拟物体实际锚定到汽车内部。

Meta 认为这是车载 MR 功能的新突破。其表示,在新方案下即使汽车急转弯、快速加速或越过颠簸路段,虚拟内容也能保持稳定。

未来,Meta 希望继续与宝马合作,进一步利用现代汽车不断增长的机器感知能力,以实现未来的用例,继续开展关于 6DoF 定位系统及地标识别等新功能的研究,例如识别地标和其他兴趣点。Meta 预计这种能力对于未来的 AR 眼镜和个性化 AI 助手将是无价的。