1. 硬件层面

关于设备

目前来说市面上有很多的方案,这里简单列举一些我所知道的设备。

接下来基本会以ViveProEye(默认安装ViveFacialTracker)、QuestPro和Pico4Pro来展开介绍,因为这三款设备代表了三个不同数据标准,同时还是非常主流的头显。

品牌/厂家 设备名称 眼部 面部

数据标准

备注

HTC Vive Pro Eye - SRanipal 搭配FacialTracker实现面捕捕捉
HTC Vive Focus 3 - - SRanipal 搭配特定设备实现面捕眼追捕捉
HTC Vive XR Elite - - SRanipal 搭配特定设备实现面捕眼追捕捉
HTC Vive Focus Vision 未知 未发售,待更新
HTC Vive Facial Tracker - SRanipal 通用配件(Type-c有线连接)
HTC Elite XR全脸识别追踪器 SRanipal 仅适配 XR Elite
HTC Focus3面捕/眼球追踪器 SRanipal 仅适配 Focus3
Meta Quest Pro FACS Reduced
Pico Pico 4 Pro ARKit
Pico Pico 4 Enterprise ARKit  
Varjo Varjo Aero - 未知(Tobii)
Varjo Varjo XR-3 - 未知(Tobii)
Varjo Varjo VR-3 - 未知(Tobii)
Pimax Crystal - 未知(Tobii)
Pimax Droolon Pi 1 - SRanipal
Apple iPhone(深度摄像头) ARKit
Android Android Phone 未知 需要使用Meowface app

关于“标准”是什么,有什么区别,请看下一页

同时,还有一部分自制设备,可以搭配在Quest2/3、Index等设备上,需要较强的动手能力,同时在制作使用这些设备的时候,请注意安全,这里可以提供站内的一个自制方案:

Quest3面罩面捕方案(cymple) | VRCD 文档库

各个面捕数据的标准

上一页说到,目前绝大部分面捕使用者都是ViveProEye、QuestPro、Pico4Pro,对应了SRanipal、FACS Reduced和ARKit三种标准,他们之间有简单的一些差距。

详细的表格则在Face Tracking Shapes Conversion,简单的表述如下:


眉毛相关数据 舌头伸出 舌头的上下左右移动
SRanipal ×
FACS Reduced ×
ARKit ×

按照这样,那是不是每一个设备就得要按着不同的标准进行后续的处理呢?不!这就要介绍我们面捕的关键软件-VRCFT了!

VRCFT,全称VRCFaceTracking,是一个无论什么面捕设备都能够使用的软件,这里先不展开对软件的介绍,我们需要了解的是VRCFT专用的标准:UnifiedExpressions(UE)

VRCFT其实也就是通过使用不同的模块将不同设备的面捕标准统一成 UnifiedExpressions(下称UE),可以看作是一种抽象。这种抽象过程本质上是在不同的底层数据和协议上,提取出共性并进行整合,形成一个统一的接口和表达方式,方便开发者和用户在不同设备上获得一致的体验。

之后我们无论是讨论何种设备,以及后面的模型制作过程,都只是使用这个UE标准,这样就能保证我们做出来的模型能够在不同设备上使用了~