Quest Pro的眼动追踪和面部追踪可以做什么？
借助 Quest Pro，Meta 引入了新的头像界面，可以更好地反映用户的面部表情和身体动作
在 Meta Connect 2022 上，Meta 推出了 Movement SDK，允许开发者在他们的 VR 应用中实现以下功能：
人脸追踪（使用 Meta Quest Pro）
眼动追踪（使用 Meta Quest Pro）
身体追踪（使用 Meta Quest Pro 和Meta Quest 2）
Quest Pro 的面部和眼动追踪
眼动追踪和面部追踪功能利用 Meta?Quest Pro内部的五个新红外传感器。也就是说，三个瞄准眼睛和脸的上部，两个瞄准脸的下部。
预训练的 AI 模型基于面部动作编码系统 (FACS) 从抽象传感器数据中获取面部表情，这是一种广泛使用的人类面部表情编码方法。开发人员可以将面部表情映射到各种化身。无论是漫画还是现实，人类还是幻想，都没有关系。
Meta 创建了两个头像示例供开发人员进行试验。一个是AlienAura，如你所见，它可以代表一系列逼真的面部表情。
眼动追踪还可以进行目光接触或新的互动形式。面部和眼动追踪默认关闭，必须由用户在设置中激活。根据 Meta 的说法，传感器数据保留在设备上，一旦不再需要数据处理，就会被删除。
全身追踪
Quest 2和Meta Quest Pro支持全身追踪。这个词有点误导。事实上，这个功能只包括头部和手部的动作。耳机不会记录臀部、腿或脚的运动。
运动 SDK 的身体跟踪功能将运动数据传输到Avatar，使其看起来尽可能自然。
机器学习在这里也发挥了作用。“我们使用真实人体运动的大型数据集来纠正逆运动学或基于 IK 的方法中常见的错误，”Meta 产品经理 Vibhor Saxena 解释说。逆运动学方法来自机器人学，描述了基于有限数据点的肢体空间关系的机器估计。
目前， Meta Horizo??n 产品已经使用了这种身体追踪功能。现在它可供开发人员使用，因此将在除 Horizo??n Home、Worlds 和 Workrooms 之外的其他 VR 应用程序中启用更逼真的化身，而无需开发人员编写自己的 IK 模型。该系统是灵活的。它可以在手和控制器跟踪之间无缝切换，并且可以映射到不同形状的骨架。
“我们使用大量真实人体运动数据集来学习和纠正逆向运动学或基于 IK 的方法中常见的错误，”Saxena 承诺。他可能指的是具有模拟腿的化身，除其他外，它可能在发布时也属于运动 SDK。
Movement SDK是Presence Platform的一部分，是Meta 对沉浸式界面和 SDK 的统称。Meta 将它们分为三大支柱：混合现实（Insight SDK）、交互（Interaction SDK 和语音 SDK）和社交存在。运动 SDK 是第一个属于后者。
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20221026A01QLT00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
