LED虚拟拍摄中的镜头是如何实现真实感的？

电影虚拟化制作技术是近年来提出的一种新型影视制作技术，随着其发展和创作需求的提升，电影虚拟化制作不断推陈出新，制作方式也由最初的基于绿幕的虚拟化制作发展到近两年最新提出的概念——基于LED背景墙的虚拟化制作技术。而摄影机跟踪系统是虚拟化制作的前提。

基于LED背景墙的电影虚拟化制作技术（下称“LED虚拟化制作”）是指在拍摄现场，通过摄影机跟踪系统和实时渲染引擎，将渲染画面显示到LED背景墙上，演员在LED背景墙形成的环境中进行表演，从而实现拍摄时的“合成”。这一技术极大地提高了虚拟化制作的效率，降低拍摄风险，摆脱传统拍摄过程中的诸多限制，为影视拍摄、赛事直播、广告制作、大型演出等不同领域的创作者营造更加友好的创作环境。

摄影机跟踪系统是电影虚拟化制作的基础，在实际应用中，对于跟踪系统的要求往往强调定位精确度、稳定性、鲁棒性和用户创作的自由度。目前市面上已经存在多种对于刚体进行姿态估计和运动跟踪较为成熟的解决方案，考虑精度、重量、成本和适用环境等因素，基于视觉的摄影机跟踪方案已经成为目前进行虚拟化制作的热门选择。

并且随着LED虚拟化制作技术的兴起，人眼对于真实场景与虚拟背景的相对稳定性更加敏感，同时摄影机自身的运动规律与普通刚体又存在着差异，再加上LED虚拟化制作环境带来的动态变化使得基于视觉跟踪的应用环境又重新面临挑战。

在真实的电影拍摄中，一个运动镜头由起幅、运动、落幅组成，其中运动镜头主要包括：推、拉、摇、移、跟、升、降、甩。摄影机在进行拍摄时可视为一个不会产生形变的刚体在进行欧式变换运动，这一运动的特点是无论位置和方向发生变换还是在不同坐标系下观察同一个物体，它的长度、夹角、体积等形状和大小都保持不变。在影视制作环节中，摄影机实际上是对人眼行为的模拟，摄影机拍摄呈现画面的目标是观众，所以摄影机的运动往往有连续、平滑等特性。

对于具体的镜头运动行为，Dolly（推拉）、Pedestal（升降）、Truck（横移），对应刚体位移运动中的沿物体正方向指向进行前后位移、沿物体纵轴方向指向进行上下位移、沿物体水平轴方向指向进行左右位移；Pan（横摇）、Tilt（俯仰）、Roll（横滚）对应刚体旋转运动中的绕物体纵轴旋转、绕物体水平轴向进行旋转、绕物体正方向指向轴向进行旋转。其中，对于Roll即横滚运动，在影视摄影制作中较少涉及该类的镜头运动。因此对于刚体运动轨迹的优化，则需要针对摄影拍摄时的运镜规律进行重新配重与优化。

现有的对刚体进行姿态估计的解决方法侧重于通过提升观测设备的刷新率以捕捉物体更加快速的变化，或提升观测设备的分辨率以捕捉更加细节的变化和更加精准的3D特征点的定位精度。这些举措都缺乏针对摄影机位姿变化和运动规律的的精准重建与优化，更加适用于普通刚体，例如机器人或SLAM技术。然而过度的滤波平滑又会造成对摄影机动作还原的失真，因此选择算法优化适度的摄影机跟踪系统同样重要。

跟踪设备选择方面，因摄影机的跟踪所关注的内容是如何从像素坐标系还原回世界坐标系的位置，所以对目前常见的跟踪解决方案进行分类，根据实现原理的不同可以分为由内向外跟踪及由外向内跟踪两种方式。由内向外跟踪不需要外部传感器或信标，被追踪对象需要搭载不同的传感器利用算法来获取对象的精确位置，通常在由内向外的位置跟踪中，摄像机或传感器位于被跟踪的设备上，典型的由内向外跟踪设备有Ncam、Lightcraft、MoSys、RedSpy等；由外向内跟踪采用某种信标的任何方法都属于外向内跟踪技术，通常采用光学跟踪方式使用摄影机或其他传感器放置在一个固定的位置，面向被追踪的物体，典型的由外向内跟踪设备有Vicon、OptiTrack、HTC Vive等。