深圳市奥拓电子股份有限公司常务副院长 王勇

什么是LED影棚虚拟制作？

LED影棚虚拟制作是一种综合的解决方案，工具和途径。我们将LED虚拟制作定义为“实时的数字化制作”。在实际使用中，LED虚拟制作可以分为“VP摄影棚”和“XR延展影棚”两种类型应用。

VP摄影棚

VP摄影棚是一种新型的影视拍摄方式，更多用于电影、电视剧的拍摄，可以使影视制作人用LED屏取代绿幕，直接在片场显示实时背景和视觉特效。VP摄影棚拍摄的优势可以体现在多个方面：1、摄影空间自由化，可在室内影棚内完成各种场景的拍摄，无论是森林草原雪山，都可以使用渲染引擎实时创建，大幅度减少取景和拍摄成本。2、制片全流程简单化，“所见即所得”，在拍摄过程中制作人可以在屏幕上及时查看想要的拍摄画面，场景内容和叙事空间皆可实时修改、调整，大幅度提高换景、改景的效率。3、表演空间沉浸化，在片场的演员站在实时生成场景的XR舞台上，可以在沉浸式空间内进行表演，直接体验，演员表演更真实、更自然。同时，LED显示屏的光源为现场提供真实光影效果与细腻色彩表现打光，拍摄出的效果更加逼真、完美，极大提升影片整体质量。4、缩短投资回报周期，相比起传统的耗时耗力的电影拍摄流程，虚拟拍摄制作因为效率高、周期大幅度降低，可更快实现影片的上映，节省演员的片酬以及工作人员的支出费用，大幅度降低拍摄成本。这种基于LED背景墙的电影虚拟制作被认为是电影制作方面的巨大发展，为影视行业的未来提供了全新的动力。

XR延展影棚

XR延展拍摄，是指使用视觉交互技术，通过制作服务器将真实与虚拟相结合，利用LED显示屏打造一个可人机交互的虚拟环境，为观众带来虚拟世界与现实世界之间无缝转换的“沉浸感”。XR延展影棚可用于网络直播、电视台直播、虚拟音乐会、虚拟晚会和广告拍摄等场景。XR延展影棚拍摄可以将虚拟内容扩展到LED舞台之外，使虚拟和现实实时叠加，增强观众的视觉冲击感和艺术创意感，让内容创作者在有限的空间创造出无限可能，尽情追求无尽的视觉体验。

LED影棚虚拟制作的工作流程

在LED影棚虚拟制作中，“VP摄影棚”与“XR延展影棚”的整个拍摄流程大致相同，分为前期筹备、前期制作、现场制作、后期制作四个部分。

VP摄影棚拍摄流程：

VP影视制作与传统电影制作方法最大的不同在于流程上的变化，最重要的特征是“后期前置化”。VP影视制作将传统视效影片中的三维资产制作等环节移至影片实际拍摄之前，前期制作的虚拟内容可直接用于现场摄影机内视效拍摄，而渲染、合成等后期环节移至拍摄现场，合成画面的实时完成，大大减少了后期制作的工作量，提高了制作效率。在视频拍摄前期，视觉特效师需使用实时渲染引擎以及虚拟制作系统，创建3D数字资产。接下来，利用高显示性能的无缝拼接LED显示屏作为背景墙（通常呈现为环幕或球幕）在工作室中搭建一个LED舞台，通过XR虚拟服务器将前期制作的三维渲染场景载入到LED背景墙上，打造出高画面质量的沉浸式虚拟场景。再采用精确的摄影机追踪系统，采用物体位置追踪与定位技术对物体进行跟踪拍摄，最终拍摄完成后，将拍摄到的素材通过特定协议（Free-D）传回到XR虚拟服务器进行查看剪辑。

XR延展影棚拍摄流程：

XR延展拍摄的步骤与VP影棚拍摄大致相同，但通常在VP摄影棚拍摄中整个拍摄画面都是在相机中捕获的，而不需要扩展。而在XR延展影棚中，因为其画面延展的特殊性，在后期制作时多了对“背景”画面进行扩展的环节。在拍摄好的素材回传至XR虚拟服务器后，需要再通过画面叠加的方法，将场景延展显示到外锥无屏区域，将现实场景与虚拟位置进行融合。实现更真实、更加沉浸式的后台效果。然后通过颜色校准、定位校正、色彩匹配及边缘过度等画面处理技术，实现屏内外画面的和谐统一，最终输出扩展后的整体画面。在导播系统后台，就可以看到并输出完成的虚拟场景。在扩展现实的基础上，XR延展拍摄还可以加入动态捕捉传感器，实现AR追踪的互动效果，表演者可以在舞台上即时、无限制地与三维空间内的虚拟元素进行交互。

LED虚拟制作用到的设备有哪些？

LED影棚虚拟制作是技术的融合，所需要的软硬件设备有LED显示屏、虚拟引擎、摄像机追踪系统以及虚拟制作系统等。只有通过这些软硬件系统的完美集成配合，才可以拍摄出奇幻炫酷的视觉效果，获得最终的效果。XR延展摄影棚的LED显示屏虽然建设面积较小，但是在直播中需要低时延特性提供支持，需要更大的数据传输与实时互动，需要性能更强的系统支持即时的影像处理。VP摄影棚LED建设面积较大，但因不需画面扩展，对系统的要求相对较低，但是需要高质量画面拍摄，对虚拟引擎、摄像机等其他设备配置较高，须达到专业级别。

虚拟制作服务器：

将物理舞台与虚拟场景连接起来的基础设施。高度集成LED显示屏硬件、控制系统、内容渲染引擎和摄像头跟踪。XR虚拟制作服务器是虚拟拍摄工作流的核心，负责接入摄像机跟踪系统+虚拟生产内容+摄像机拍摄的实时画面，输出虚拟内容到LED墙，输出合成的XR视频画面给导播台，用于直播及存储。最常见的虚拟制作系统有：Disguise、Hecoos。

渲染引擎：

视频制作的渲染引擎是各种最新图形技术的表现者，渲染引擎应用于视频制作就犹如汽车的引擎，决定着节目画面的真实感、流畅度、吸引力。观众所看到的画面、场景、色彩效果等内容都是由引擎直接控制的，这些效果的实现包含了许多渲染技术：光线追踪-图像像素以光的粒子计算；路径追踪-光线反射回视口计算；光子映射-光源发射“光子”计算；光能传递-散射表面反射到摄影机中的照明路径。

最常见的渲染引擎有：Unreal Engine、Unity3D、Notch、Maya、3D MAX 。

摄像机追踪系统：

摄影机定位跟踪指的是对真实空间中摄影机的位置和姿势进行跟踪的过程。由定位机、摇臂、摄像机稳定器、云台、编码器、双目立体视觉机器等一整套设备组成。拍摄的空间信息被实时传送至渲染引擎，为引擎中的虚拟摄影机提供真实摄影机在三维空间中的位置信息，以及镜头参数信息，包括焦距、焦点和光圈等。依靠实时渲染和实时抠像与合成技术，实现虚拟摄影机与真实摄影机的运动及构图的同步，使得实拍画面与虚拟元素得以实时合成。摄像机实时动态跟踪技术分为三种：网格识别–基于摄影机在二维X、Y轴平面的轻微移动进行实时的运算的跟踪方式，无需改装摄像机的跟踪方式；机械传感跟踪-装在基座上或三脚架上，提供非常精确的高分辨率的解决方案；红外跟踪-通过红外和发射器计算摄像机位置。

最常见的摄像机追踪系统有：Mosys、Redspy。

灯光系统：

在场景已有的自然光源照明不足的前提下，有必要人为地增强场景中的照明，以增强胶片的感光，提高画面的亮度，对于空间的建立、氛围的营造有着重要的作用。基础灯光-在LED背景墙提供基础光照的情况下，仍需要利用灯光设备补充光照，以弥补背景墙照明窄光谱低显色、无方向性、无硬光的问题；补充灯光-LED灯光矩阵+柔光灯弥补背景墙照明窄光谱、低显色、无方向性、无硬光的问题；特效灯光-在特定的拍摄场景，根据场景+剧情需要而临时布置的灯光；灯光控制系统-数控灯光可以通过DMX/Artnet等协议被虚拟引擎和XR融合系统直接驱动控制。

常用的灯光系统有：ARRI。

LED显示屏：

LED影棚虚拟制作是大屏显示应用的新场景，是LED小间距市场不断发展，LED显示设备的技术水平不断提高而衍生出的新市场。与传统的LED屏幕应用相比，虚拟制作的LED显示屏对准确色彩还原，动态高刷新，动态高亮度，动态高对比度，无色彩偏移的广视角、高质量画面显示等等都有更为严苛的要求。经过多次测试，奥拓电子的Mini LED技术在虚拟拍摄应用有明显领先的优势。

抑制摩尔纹：摩尔纹是LED屏幕在拍照设备的感光元件上成像时形成的高频干扰，会使图片出现彩色的条纹。Mini 4合1技术可以使LED显示屏达到80%以上的发光开口率。Mini LED搭配特殊型号的镜头、景深和光圈，可以获得更广的调节自由度，虚焦程度更低，巧妙避开显示屏在成片中产生摩尔纹的情况，最终实现拍摄角度逼真的沉浸式效果。

低反射：越小的光反射率对屏幕表面的影响越小，可以实现更真实的背景画面。在Mini小间距屏体表面，灯组之间有独特的吸光槽设计，以减少光的影响；并且表面采用磨砂哑光工艺，将光线反射率控制在5%以下，拍摄角度可接近180度。轻松应对拍摄现场的各种光线环境，画面更干净，拍摄不易穿帮。

宽色域高显指：色域匹配及转换技术应用，可以真实、准确地还原自然界色彩，奥拓LED显示屏色域校正后可达110% NTSC色域。高显指CRI，保证色彩均匀性好，可以优化各色各波段的连续光谱，提升显色指数。同时，提高光效，在保证发光效率前提下，抑制部分蓝光能量，补偿红色（R9）光谱。 

广视角无色偏：Mini LED产品能够提供近180°更广阔的拍摄视角，保证不偏色；24bit处理深度，更好地呈现图像的层次、细节，从任何角度观察或拍摄，都能呈现到良好的视觉效果。

低扫描高刷新：1/6扫描率和7680Hz的刷新率，Mini LED小间距屏在高刷新下，拍摄画面稳定，无波纹黑屏，图像边缘清晰，准确还原图像真实信息。

奥拓电子LED显示产品

LED背景墙推荐产品：奥拓RM系列

RM系列是奥拓专为“真场景”打造的一款高匹配度的产品。有1.5mm、1.9mm、2.3mm三个点间距可选，制作人可以根据拍摄场景距离选择合适的点间距。这三款点间距产品都适用于XR延展影棚，而在VP摄影棚中，1.5mm和2.3mm用到的更多。

特点：采用IMD封装技术，Mini4合1灯珠，表面具有更小的反射和超黑的墨色大大提升对比度；HDR技术及26bits的颜色控制；1500nits（Boost 2000nits）高亮显示；重量轻巧安装快捷便利，快速实现内外弧无缝拼接，节省安装成本和周期；采用支持前后维护的结构设计，方便现场便捷维护，降低维护成本；边缘保护设计；支持前后维护。

LED天幕屏推荐产品：奥拓MXH系列

MXH系列具备高亮、高安全、宽色温等特点，通常应用于VP摄影棚，为拍摄现场营造几乎任何场景的光照及实景（反射）环境。

特点：独特的天幕设计结构，能实现快速安装；支持吊装、座装，以及内外弧拼接，一屏多用；铝镁合金，重量轻，小于20kg/㎡；快锁装置、480*960大箱体拼装快；高亮度，最高可达6000 nit；无极色温调节；模组可更换、前后维护。

LED地砖屏推荐产品：奥拓AE2.3系列

通常适用于大多数情况下VP摄影棚不会采用地砖屏，地面一般用于摆放拍摄道具，XR延展影棚更倾向于将LED背景墙与LED地板的结合使用。

特点：采用500mm*500mm压铸铝框架，高精度CNC加工完成，可实现箱体间无缝拼接；底壳采用点对面承受柱，承载重量达2Tons/平方米，可靠性高；模组前维护，3秒实现模组更换，显著提高维护效率；面罩采用进口高透耐磨材料，防刮防磨颜色均匀无色差。高透耐磨PC材料，防刮防磨颜色均匀，防滑级别>=R9；前后IP65防水设计；人屏互动、多点触控。

VP摄影棚项目应用案例

腾讯影棚

上海影棚

Vossler影棚

Dexter影棚

XR延展影棚项目应用案例

CES演播厅

阿拉伯电视台

土耳其电视台

结语：

LED虚拟制作的美好未来已大踏步向我们走来。如何用更先进的显示技术和XR解决方案来推动虚拟制作行业的进步，为人们更好的视听生活贡献力量，将是众多LED屏企业在该领域占据一席之地的重要条件，也是LED屏企业提升核心竞争力的重要举措之一。