2023年4月18日发(作者：黄叶病)运动捕捉技术工艺流程及数据处理——面部运动捕捉及数据
处理
常一孜
【摘 要】随着运动捕捉技术的逐渐成熟,其在动画制作领域也得到了越来越广泛的
应用.本文主要针对面部捕捉的工艺流程和采集结果的数据修复工作进行了简要介
绍.
【期刊名称】《现代电影技术》
【年(卷),期】2016(000)001
【总页数】4页(P39-42)
【关键词】运动捕捉;面部运动捕捉;数据处理
【作 者】常一孜
【作者单位】中国电影科学技术研究所
【正文语种】中 文
运动捕捉(英文名为Motion Capture)系统是一种用于准确测量运动物体在三维空
间运动状况的高技术设备，该技术起初服务于军方，而应用于动画制作领域最早可
追溯到20世纪70年代。随着动作捕捉技术的逐渐成熟和计算机软硬件技术的飞
速发展以及动画制作要求的提高，这项技术得到了越发广泛的应用。
目前光学运动捕捉是世界上使用范围最广，技术最完善的运动捕捉系统。该技术通
过特殊红外摄像机捕捉反光材质(跟踪点)反射的光线从而记录运动轨迹。其优势在
于表演者活动范围大，无电缆、机械装置的限制，可以自由表演，因此可获得更高
质量的表演数据。其采样率较高，可满足多数高速运动采集需求。但也存在系统价
格昂贵，后期处理工作量较大等问题，且对于表演场地的光照、反射情况要求较高。
因此只应用于一些投资较大的影视及游戏作品中。目前在发达国家，运动捕捉已经
进入了实用化阶段。由詹姆斯卡梅隆导演的电影《阿凡达》全程运用动作捕捉技
术完成，实现了该技术在电影中的完美结合(如图1)。运用运动捕捉技术拍摄的著
名电影角雷锋的诗歌
色还有《猩球崛起》中的猩猩之王凯撒，以及《指环王》系列影片中的古
鲁姆一角。
近期，中国电影科学技术研究所特效技术研究室为研究运动捕捉技术，购置了
Vicon光学运动捕捉系统及我国首套面部捕捉系统——Vicon Cara实时表情捕捉
系统，填补了国内面部捕捉技术领域的空白。目前国内运动捕捉技术在影视制作领
域的应用情况对比国外还相对较少，尤其是面部捕捉技术更是空白。由于技术流程
不规范，前期准备不充分等原因，常常为之后的实际工作带来很多问题。以下将主
要针对面部捕捉的工艺流程和采集结果的数据修复工作进行简要介绍。
1、设备介绍。Vicon Cara面部捕捉系统借助可定制的头部装置、4个摄像头、专
用的跟踪运算软件、数据记录器和照明组件，以及配套软件CaraLive和
CaraPost可实现电影级别的面部表情捕捉(如图2)。其配套软件CaraLive主要用
于软件控制、管理和监控Cara系统的数据捕捉过程，并对系统进行设置和监控，
通过无线接收并实时捕捉来自Cara头盔式设备的面部表情数据。配套软件
CaraPost则是一个独特的宽厚
运算引擎。CaraPost可自动识别来自CaraLive的图像
和校准文件，并随着时间推移跟踪它们，使用专用工具从中提取出高质量的三维点
云数据传递给下一流程的动画软件。
2、工艺流程简介。在用于动画的运动捕捉项目开始前应对整体流程进行把握。模
型师在制作模型时应尽量考虑到动捕演员的面部特点，尽量选择有经验的演员进行
表演。演员文章
通常演员表演会根据饰演角色及模型的情况适当调整。工艺流程按顺序分为：
建模、骨骼绑定、蒙皮、运动捕捉、数据修复、点云生成、角色绑定、灯光材质渲
染、合成等步骤。
通常运动捕捉设备使用价格昂贵，为节省工作时间和项目成本，在捕捉工作开始前
应充分考虑可能影响捕捉数据准确性的诸多原因。如场地环境、演员面部标记点、
摄像头调试及校准工作。前期调整越精确则后期捕捉的数据越准确，同时可以大幅
减少后期因捕捉不准确造成的大量数据修补工作。
1、设备调试及软件校准工作。将头盔组件安装完成后，参照头盔顶部的校准板分
别对4只摄像头的位置及焦距进行精确调整，在光线不足时可利用环绕摄像头的
LED夜光灯进行补光。配合实时捕捉软件CaraLive检查拍摄效果，确保4只摄像
头都能清楚捕捉到校准板上的全部标记点，并确保演员在进行夸张表情的表演时面
部全部位于捕捉画面的安全框范围之内。镜头调整完毕后，开始进行静态和动态校
准工作(calibration)。将头盔固定于配套支架上后，手持校准板在头盔范围内最大
限度划动校准板，校准捕捉数据并在CaraLive软件中对采集数据进行校准(如图
3)。在演员佩戴好头盔后应对摄像头进行再次确认。
2、粘贴面部标记点。标记点的粘贴对于动冲锋车
画角色的绑定和数据采集尤为重要，粘
贴位置的选择首先应与动画模型的骨骼匹配，在制作模型时应为模型师提供准确的
位置参考。粘贴标记点应充分考虑演员面部特点，保证标记点清晰可见，可正确反
映面部运动轨迹。标记点粘贴越多采集数据越精确，额头与脸颊侧面等不易拍摄到
的部位可粘贴大号标记点(如图4)。
3、采集及数据下载。准备工作完毕，演员佩戴好面部捕捉装置，采集开始。表演
结束后，在软件CaraLive的遥控采集(Remote Capture)界面可以看到全部数据
均存储于配套的无线记录器(logger)中，需下载至本地后再交由下一步骤软件
CaraPost进行处理。
在面部采集的全部工作流程中，数据处理是尤为重要也是工作量最大难度最高的一
项环节。这一环节的处理是否成功，能否给出准确可用的点云数据，是下一环节动
画师驱动模型是否成功的关键。数据处理工作是将来自前期现场捕捉软件
CaraLive生成的pico文件交由配套数据处理软件CaraPost进行处理修正的工作
流程，对于下一步工作至关重要。下面将对数据处理流程以及处理过程中可能遇到
的问题做出大致介绍。
1、导入文件匹配校准信息。选定需要处理的镜头文件后，将文件导入CaraPost
软件，手动设定需要处理部分的入出点。通过拖动时间线挑选出标记点相对清晰可
用的一帧进行标记点检测处理。执行命令“Detect Blobs(检测点)”后导入之前存
储的摄像机及校准板信息文件(.xcp文件)后，根据硬件对应的校准板型号执行
“Initialize Default Calibration Brim(初始默认校准边缘)”进行再次匹配。
2、通过建立种子点确定空间位置。该步骤通过选择位于面部不同位置的5个点重要的同义词
，
建立关联，从而确定摄像机位置信息。执行View→New Floating Workspace打
开浮动工作区域后可以看到头盔上方校准标记点，选定一个标记点后加选4只摄
像头视图中的对应相同点进行合并(Merge)。通过选择5个点操作该步骤，从而确
定摄像机和头盔的空间位置。在执行该操作前可分别删除4个视图中头盔校准板
上识别错误的杂点。操作完成后执行“Solve Calibration Brim(Manual)”手动解
算边缘，进一步校准摄像机空间位置。
3、确定面部空间位置。通过确定面部五个标记点位置，解算出全部点信息，并进
行修正校准。在浮动工作区域中(New Floating Workspace)依照步骤2中提到的
方式选出5个分布于面部不同位置的点进行合并。针对不同地区演员的面部情况
特点，或出现摄像头位置调整不完美等情况，有时会出现该标记点在一个或多个摄
像机画面中被遮挡的情况。在选择种子点时，理论上只要有两台摄像机同时捕捉到
了该标记点就可解算，但实际应用中应尽量选择4幅画面中都清晰可见的点作为
种子点。如此时发现识别点与实际标记点之间存在偏移，可通过
“Bundle Current Frame”校正摄像机位置。完成种子点设定后，手动删除4幅
摄像机视图中位于面部的错误杂点，执行“Initialize 3D(初始化3D)”可自动解算
出面部全部标记点。自动解算标记点后，如有标记点计算错误的情况，可通过删除
错误点并重新手动添加标记点的方式进行修正。
4、连线。通过对标记点与点之间相互连线建立联系，为之后的跟踪运算提供预判
断依据。应按照面部运动走势对面部标记点进行连线，在浮动窗口中同时选中两点
执行Edit→Create Stick From Selected Points(在选中两点间连线)。连线方式可
根据粘贴点意大利螺旋面
在面部所处位置的肌肉纹理或运动趋势进行选择，具体示例可参考图5。
5、标记点命名。为了使面部动作捕捉的数据在下一环节可以正确驱动动画模型，
必须对每一个标记点进行命名，所有标记点名称必须与动画模型对应骨骼的名称保
持绝对一致，如名称出现错误，将导致下一环节动画驱动时产生错误。可通过执行
命名操作对标记点逐一命名，但在此更加推荐通过导入文本的方式将动画师输出的
命名文件直接导入CaraPost(Import Labels From Text File)，再对照骨骼绑定位
置图逐个将文件名与对应标记点合并。由于面部捕捉标记点的粘贴数量较多，最多
时甚至可达数百个，因此使用该方式可尽量避免因输入错误导致的各种问题。
6、标记点追踪及数据修复。在针对当前帧的数据处理完成后，可通过执行
Process→Track Forwards[quence]/Track Backwards红色故事演讲稿
[quence]向前及向后
追踪视频序列将整段视频中的标记点自动识别追踪。追踪完成后打开浮动工作区域
(New Floating Workspace)的“Continuity”窗口即可看到标记点追踪情况。每
一个条框代表一个标记点数据，将其展开后可以看到内含4组数据，分别来自记
录该点的4个摄像头。当条框出现浅蓝色或出现中断时代表该点数据不稳定或部
分帧出现该标记点无法追踪的情况。此时可通过手动添加标记点后执行
Proce整改工作报告
ss→Track Forwards[Single Frame]/Track Backwards[Single Frame]手动
向前或向后追踪标记点。当所有标记点数据均满足要求或基本满足后才可以进入下
一步环节。该步骤作为数据修复的关键环节，也是工作量最大的一项环节。在实际
项目操作中常常出现捕捉数据不尽如人意的情况，虽然这些繁复的操作会耗费大量
时间，但耐心细致地完成此环节得到较好的最终捕捉数据对于之后的动画环节具有
重大意义，且可以为动画师节省更多时间。
7、稳定与检查输出。数据修复完成后可对捕捉数据执行“Stabilize Date”稳定
环节以确保得到更加平滑稳定的数据。在浮动窗口中选择相对固定的5个点执行
Process→Stabilize Date稳定数据。播放检查处理结果后，如数据无误即可最终
输出。
1、捕捉场地的选择。选择合适的捕捉场地对于数据的准确性同样重要。众所周知
目前应用最为广泛的光学动作捕捉技术是利用对反射光的捕捉确定物体位移信息，
因此应尽量避免捕捉场地内出现可能被捕捉到的反光点，包括物体反光及照明点光
源。减少杂点对捕捉数据的影响会大大减少后期数据处理的工作量。(如图6)
2、捕捉前期准备工作。运动捕捉及面部运动捕捉的前期准备工作是一个繁杂漫长
的过程，包括前期设备校准，镜头焦距位置调整以及为演员粘贴标记点等工作耗费
了大量时间。但是只有充足的准备才能捕捉出更加精准的数据，相对优良的数据可
为后期数据修复环节节省更多时间。
我国的运动捕捉技术应用目前还处于起步阶段，由于设备价格昂贵、制作流程相对
复杂等原因使得该项技术并没有得到广泛应用。从发达国家应用经验来看，利用运
动捕捉技术在提高动画制作水准的同时也可以节省制作成本。
