关于设备
目前来说市面上有很多的方案,这里简单列举一些我所知道的设备。
接下来基本会以ViveProEye(默认安装ViveFacialTracker)、QuestPro和Pico4Pro来展开介绍,因为这三款设备代表了三个不同数据标准,同时还是非常主流的头显。
品牌/厂家 | 设备名称 | 眼部 | 面部 |
数据标准 |
备注 |
HTC | Vive Pro Eye | √ | - | SRanipal | 搭配FacialTracker实现面捕捕捉 |
HTC | Vive Focus 3 | - | - | SRanipal | 搭配特定设备实现面捕眼追捕捉 |
HTC | Vive XR Elite | - | - | SRanipal | 搭配特定设备实现面捕眼追捕捉 |
HTC | Vive Focus Vision | √ | √ | 未知 | 未发售,待更新 |
HTC | Vive Facial Tracker | - | √ | SRanipal | 通用配件(Type-c有线连接) |
HTC | Elite XR全脸识别追踪器 | √ | √ | SRanipal | 仅适配 XR Elite |
HTC | Focus3面捕/眼球追踪器 | √ | √ | SRanipal | 仅适配 Focus3 |
Meta | Quest Pro | √ | √ | FACS Reduced | |
Pico | Pico 4 Pro | √ | √ | ARKit | |
Pico | Pico 4 Enterprise | √ | √ | ARKit | |
Varjo | Varjo Aero | √ | - | 未知(Tobii) | |
Varjo | Varjo XR-3 | √ | - | 未知(Tobii) | |
Varjo | Varjo VR-3 | √ | - | 未知(Tobii) | |
Pimax | Crystal | √ | - | 未知(Tobii) | |
Pimax | Droolon Pi 1 | √ | - | SRanipal | |
Apple | iPhone(深度摄像头) | √ | √ | ARKit | |
Android | Android Phone | √ | √ | 未知 | 需要使用Meowface app |
关于“标准”是什么,有什么区别,请看下一页
同时,还有一部分自制设备,可以搭配在Quest2/3、Index等设备上,需要较强的动手能力,同时在制作使用这些设备的时候,请注意安全,这里可以提供站内的一个自制方案:
Quest3面罩面捕方案(cymple) | VRCD 文档库
而即使是都捕捉范围相同,但也有一定的精度差距
VRCFT的官方文档也有一个相关的表格Tracking Compatibility | VRCFaceTracking (vrcft.io),我在下面做一个简单的翻译。
页面中的不同设备各方面的表现按1-10的评分进行评估,表示其质量或效果。这些评分是基于设备之间的相对表现,依据例如表现力和质量等标准来打分。
表现力:指可追踪的动作/表情范围。表现力越高,面部细节追踪信息就越丰富。
质量:指追踪动作的效果/精度。质量越高,用户对动作/表情的控制就越好。
VIVE Pro Eye | VIVE Facial Tracker | Varjo (全系) | Meta Quest Pro | Pico 4 (Pro/Enterprise) | Pimax Droolon Pi1 | Pimax Crystal | |
---|---|---|---|---|---|---|---|
类别 | 头显 | 配件 | 头显 | 一体机 | 一体机 | 配件 | 头显 |
面捕范围 | 眼睛 | 下脸 | 眼睛 | 全脸 | 全脸 | 眼睛 | 眼睛 |
目光 | ✔ | ~ | ✔ | ✔ | ✔ | ✔ | ✔ |
目光聚焦 | ✔ | ~ | ✔ | ❌ | ❌ | ❌ | ❌ |
眼睛开合 | 精细 | ~ | 精细 | 精细 | 精细 | 只有开与关 | 精细 |
瞳孔 | ✔ | ~ | ✔ | ❌ | ❌ | ❌ | ❌ |
上脸支持 | 瞪眼 挤眼 眉毛(模拟) |
~ | 瞪眼(模拟) 挤眼(模拟) |
瞪眼 挤眼 眉毛 |
瞪眼 挤眼 眉毛 |
❌ | ❌ |
上脸表现力 | 6/10 | ~ | 未知 | 9/10 | 8/10 | ❌ | ❌ |
上脸精度 | 8/10 | ~ | 未知 | 7/10 | 4/10 | ❌ | ❌ |
下脸支持 | ~ | 下巴 嘴唇 嘴 脸颊 |
~ | 下巴 嘴唇 嘴 脸颊 鼻子 |
下巴 嘴唇 嘴 脸颊 鼻子 |
~ | ~ |
下脸表现力 | ~ | 7/10 | ~ | 8/10 | 7/10 | ~ | ~ |
下脸质量 | ~ | 8/10 | ~ | 7/10 | 4/10 | ~ | ~ |
舌头支持 | ~ | 伸舌头及方向 | ~ | 伸舌头 | 伸舌头 | ~ | ~ |
ARKit (iOS) | Project Babble | EyeTrackVR | VIVE Focus 3 专属Eye Tracker | VIVE Focus 3 专属Facial Tracker | HP Reverb G2 Omnicept | VIVE XR Elite 专属脸部追踪套件 | |
---|---|---|---|---|---|---|---|
类别 | 软件/手机 | 软件 | 软件/自制设备 | 配件 | 配件 | 头显 | 配件 |
面捕范围 | 全脸 | 下脸 | 眼睛 | 眼睛 | 下脸 | 眼睛 | 全脸 |
目光 | 眼部表情 | ~ | ✔ | ✔ | ~ | ✔ | ✔ |
目光聚焦 | 无 | ~ | ✔ | ✔ | ~ | ✔ | ✔ |
眼睛开合 | 精细 | ~ | 精细 | 精细 | ~ | 只有开与关 | 精细 |
瞳孔 | ❌ | ~ | ❌ | ❌ | ~ | ✔ | ❌ |
上脸支持 | 瞪眼 挤眼 眉毛 |
❌ | ❌ | 瞪眼(损坏) 挤眼(损坏) |
~ | ~ | 瞪眼(损坏) 挤眼(损坏) |
上脸表现力 | 9/10 | ❌ | ❌ | 3/10 | ~ | ~ | 3/10 |
上脸精度 | 8/10 | ❌ | ❌ | 4/10 | ~ | ~ | 4/10 |
下脸支持 | 下巴 嘴唇 嘴 脸颊 鼻子 |
下巴 嘴唇 嘴 脸颊 鼻子 |
~ | ~ | 下巴 嘴唇 嘴 脸颊 |
~ | 下巴 嘴唇 嘴 脸颊 |
下脸表现力 | 8/10 | 9/10 | ~ | ~ | 7/10 | ~ | 7/10 |
下脸质量 | 8/10 | 8/10 | ~ | ~ | 7/10 | ~ | 7/10 |
舌头支持 | 伸舌头 | 所有舌头表情 | ~ | ~ | 伸舌头及方向 | ~ | 伸舌头及方向 |
No Comments