1. 硬件层面
关于设备
目前来说市面上有很多的方案,这里简单列举一些我所知道的设备。
接下来基本会以ViveProEye(默认安装ViveFacialTracker)、QuestPro和Pico4Pro来展开介绍,因为这三款设备代表了三个不同数据标准,同时还是非常主流的头显。
品牌/厂家 | 设备名称 | 眼部 | 面部 |
数据标准 |
备注 |
HTC | Vive Pro Eye | √ | - | SRanipal | 搭配FacialTracker实现面捕捕捉 |
HTC | Vive Focus 3 | - | - | SRanipal | 搭配特定设备实现面捕眼追捕捉 |
HTC | Vive XR Elite | - | - | SRanipal | 搭配特定设备实现面捕眼追捕捉 |
HTC | Vive Focus Vision | √ | √ | 未知 | 未发售,待更新 |
HTC | Vive Facial Tracker | - | √ | SRanipal | 通用配件(Type-c有线连接) |
HTC | Elite XR全脸识别追踪器 | √ | √ | SRanipal | 仅适配 XR Elite |
HTC | Focus3面捕/眼球追踪器 | √ | √ | SRanipal | 仅适配 Focus3 |
Meta | Quest Pro | √ | √ | FACS Reduced | |
Pico | Pico 4 Pro | √ | √ | ARKit | |
Pico | Pico 4 Enterprise | √ | √ | ARKit | |
Varjo | Varjo Aero | √ | - | 未知(Tobii) | |
Varjo | Varjo XR-3 | √ | - | 未知(Tobii) | |
Varjo | Varjo VR-3 | √ | - | 未知(Tobii) | |
Pimax | Crystal | √ | - | 未知(Tobii) | |
Pimax | Droolon Pi 1 | √ | - | SRanipal | |
Apple | iPhone(深度摄像头) | √ | √ | ARKit | |
Android | Android Phone | √ | √ | 未知 | 需要使用Meowface app |
关于“标准”是什么,有什么区别,请看下一页
同时,还有一部分自制设备,可以搭配在Quest2/3、Index等设备上,需要较强的动手能力,同时在制作使用这些设备的时候,请注意安全,这里可以提供站内的一个自制方案:
Quest3面罩面捕方案(cymple) | VRCD 文档库
各个面捕数据的标准
上一页说到,目前绝大部分面捕使用者都是ViveProEye、QuestPro、Pico4Pro,对应了SRanipal、FACS Reduced和ARKit三种标准,他们之间有简单的一些差距。
详细的表格则在Face Tracking Shapes Conversion,简单的表述如下:
眉毛相关数据 | 舌头伸出 | 舌头的上下左右移动 | |
SRanipal | × | √ | √ |
FACS Reduced | √ | √ | × |
ARKit | √ | √ | × |
按照这样,那是不是每一个设备就得要按着不同的标准进行后续的处理呢?不!这就要介绍我们面捕的关键软件-VRCFT了!
VRCFT,全称VRCFaceTracking,是一个无论什么面捕设备都能够使用的软件,这里先不展开对软件的介绍,我们需要了解的是VRCFT专用的标准:UnifiedExpressions(UE)
VRCFT其实也就是通过使用不同的模块将不同设备的面捕标准统一成 UnifiedExpressions(下称UE),可以看作是一种抽象。这种抽象过程本质上是在不同的底层数据和协议上,提取出共性并进行整合,形成一个统一的接口和表达方式,方便开发者和用户在不同设备上获得一致的体验。
之后我们无论是讨论何种设备,以及后面的模型制作过程,都只是使用这个UE标准,这样就能保证我们做出来的模型能够在不同设备上使用了~