TICO : UHD生产系统中的Mezzanine Codec
TICO : UHD生产系统中的Mezzanine Codec
摘要：
本帖参考M. Miyazaki等人发表在SMPTE Motion Imaging Journal的文章UHDTV-2 Mezzanine Compression Codec For Miniaturized and Simplified UHD Production System，重点介绍了我们在生产应用中硬件压缩的发展。底层压缩方案经过多个编码/解码周期展现出最小的质量下降，使其适用于生产系统。Tiny Codec（TICO）编解码器采用48 Gbits / s（59.94 Hz，10 bit，4：2：2）的未压缩UHDTV-2比特流，并将其压缩以适合单个12G数字分量串行接口（SDI）电缆。该设备还可以配备IP接口。这些改变可以显着降低电缆和切换器的复杂性。
引言
2016年8月1日UHDTV-2测试广播在日本开始使用，而NHK则从里约奥运会开始制作和播放各种节目。我们为UHDTV-2生产开发了许多设备，如相机，转播（OB）卡车，编辑系统等。但是，由于有大量UHDTV-2视频数据，我们必须增加电缆数量，以实时连接所有设备。该因素也增加了设备尺寸和设施设置的复杂性。
数据压缩技术被认为是减少电缆数量的有效方法，但是将其作为生产设施的基本格式而不仅仅作为点对点传输设备，必须满足以下要求。
- 图像质量下降较小
- 延迟较小
- 即使重复压缩/解压缩，图像质量也不会降低
UHDTV-2视频流（59.94Hz，10比特，4：2：2）的比特率变为48Gbits / s（TABLE 1）。当它被压缩到1/4并且我们采用12G-SDI作为接口时（最近已经变得实用），可以通过单根电缆传输UHDTV-2信号，就像当前的高清制作一样。因此，我们专注于TICO压缩技术，该技术具有高视频质量，即所谓的视觉无损质量，压缩率为1/4，具有极低延迟的特性，如SMPTE公开文件中所述。
TICO Mezzanine压缩技术
TICO 压缩以其轻量级转换过程而闻名，并且在现场可编程门阵列（FPGA）或专用集成电路（ASIC）中实现时不需要任何额外的硬件，如外部存储器，因为它只需缓冲几行buffer only a few lines。它引起了许多制造商的关注，到目前为止，已经发布了使用这种技术的多种产品。根据SMPTE RDD 35，可以支持高达10,240×10,240像素的图像，并且作为示例。本文介绍如何将UHDTV-1（3840×2160像素）UHDTV映射到3G-SDI或10 GbE。
在UHDTV-1编码的情况下，每个图像应水平划分为34个切片（一个切片= 3840×64），它们被独立编码和解码（图1）。由于TICO小波变换在line base logic上工作，因此可以在硬件实现上实现几线的极低延迟，并且这种延迟是可以被修复的。
作为一个关键特性（与基于离散余弦变换（DCT）的编解码器（如HEVC或H.264）相比），TICO的视觉无损质量（从第一个编码阶段实现）在经过连续编码/解码步骤后都得以保留。换句话说，图像质量与编码/解码步骤的数量无关。这是因为在第一次小波传输期间去除了不必要的高频分量，进一步的解压缩/压缩只是在频域和空间域之间转换相同的数据。
当使用1/4压缩率时，UHDTV-2码流的传输将通过捆绑四条3G-SDI或10 GbE电缆来组成，但是对于UHDTV-2的进程和采样来说，重要的是拥有一个单电缆每流传输，这会使得它易于处理并且简化设施。因此，我们采用12G-SDI（SMPTE ST 2082）作为设备的I / O接口。采用通过捆绑3G-SDI标准化的12G-SDI是合理的，例如UHDTV-2可以由四个UHDTV-1捆绑在一起。
图1. TICO图片布置的示例（UHDTV-1的情况）
关于视觉无损
视觉无损质量是指在正常观察条件下人眼无法检测到损失的原始质量。目前没有科学的方法来指定什么是视觉无损质量，因为它取决于每个人的观看能力和许多不受控制的因素;然而，通常的，在峰值信噪比（PSNR）高于40 dB的情况下，我们能看到视觉无损质量。“视频质量评估”将从技术和定量的角度来发展和解决质量问题，但是这里让我们用一个定性和实用的UHDTV-2视觉示例（图2）来说明我们所说的人眼无法检测到的视频质量损失。：其中（a）放大x3; （b）放大 x12;（c）放大x100~; （d）放大x300~.
我们采用UHDTV-2帧并将其与得到的编码/解码帧进行比较。我们逐步放大，直到我们用人眼能够区分差异。即使缩放到x100级别，仍然几乎不可能看到差异，但在x300级别，人们可以开始看到一些细微的差别。我们的经验表明，这些观察结果与我们在图片中看到的位置以及通常更具体的内容无关。我们将注意到TICO已经通过设计进行优化以准确再现尖锐边缘和边缘状计算机图形与字符（参见图3）。
图2. 对UHDTV-2帧进行视觉无损定性评估
图3. 针对锐边的UHDTV-2 TICO压缩质量评估
UHDTV-2 TICO编解码器
名为VICO-8的开发编解码器的插图如图4所示，其中一些主要规格在TABLE 2中介绍。这块189×160 mm2的电路板用于FPGA的压缩过程和12G-SDI EQ（均衡）与Drv（驱动）的关键部件（图5）。电路板可以作为编码器或解码器配置启动，具体取决于板载拨码开关设置。此外，由于小波变换的可扩展性，可以设置解码器输入UHDTV-2 TICO流，并输出UHDTV-1视频。我们还添加了TICO流分配输出（在编码器（ENC）模式下）和有源环通输出（在解码器（DEC）模式下）的功能，这在构建程序生产系统时很有用。
我们采用了TICO profile 2，它通过控制适应图像复杂度的切片之间的比特率分配来改善视频质量。延迟在编码器的IP核处固定为12.5线，在解码器的IP核处固定为6.5线。尽管有硬件I / O和相关逻辑，但从编码器输入到解码器输出的整个过程，我们可以实现小于40线（0.2毫秒）的极低延迟。
捆绑为4x 12G-SDI（SMPTE ST 2082-12）的UHDTV-2未压缩信号由编码器以1/4的速率压缩，在单个12G-SDI上产生TICO码流输出。与UHDTV-1情况类似，仅对有效视频区域的数据进行编码。
即使在12G-SDI上传输UHDTV-2 TICO码流，我们也会保留SDI的容器，且可以处理外围设备，如帧同步器，矩阵切换器，分配放大器，传输设备等，就像使用未压缩的信号一样。
图4. 开发的UHDTV-2 TICO编解码器（VICO-8）的外观
图5.开发模块
视频质量评估
为了定量评估UHDTV-2 TICO编解码器的质量，我们使用可用的图像评估设备测量原始图像的恢复图像的PSNR。由于没有与UHDTV-2图像对应的评估装置，因此采用评估每个UHDTV-1子图像的方法（图6）。对于原始图像，使用其中记录了日本图像信息和电视工程师协会/无线电工业和商业协会（ARIB）标准运动图像序列（图7）的UHDTV-2播放器。通常，如果原始图像的恢复图像的PSNR超过40dB，则将其分类为视觉无损，这是人眼无法区分的损失。UHDTV-2 TICO的性能在所有序列中都超过了这一值，其中大多数序列的质量大约为50 dB。有一点是UHDTV-2播放器需要注意的，该播放器在录制时会用Grassvalley-HQX压缩材料。而原始图像是解码输出，因此测量值可能与原始视频略有不同。尽管如此，开发的编解码器的高质量仍旧是毋庸置疑的。
我们还检查了使用UHDTV-2 TICO进行多次编码的性能。我们确认第二次编码的PSNR几乎与第一次的PSNR相同（TABLE 3）。
图6. PSNR测量
图7. ITE / ARIB超高清/宽色域标准测试序列的示例
TICO与UHDTV-2生产系统计划
虽然通过捆绑多根同轴电缆完成了单一视频流的实际实现，但是电缆数量的增加使得生产系统的连接变得复杂，并且使得设施的规模呈指数级增长。换句话说，减少电缆数量是使生产系统小型化或简化的最有效方法之一，一个视频流传输所使用的电缆数量最好也是一根，而广播技术在其历史进程中也一直努力朝着该目标发展。
例如，图8示出了基于3G-SDI的未压缩系统和使用TICO压缩的基于12G-SDI的系统之间的比较。为了使讨论更容易，我们在一个非常小规模的生产系统（有三个摄像头）上进行比较。我们可以看到使用12G-SDI和TICO可以将电缆数量减少到1/6，矩阵切换器的交叉点减少到1/256。由于传统的视频制作切换器往往在其输入块处具有矩阵切换器，因此减少物理接口的数量对于最小化电缆的数量也是有效的。如果将来在外围设备（如摄像机，录像机播放器或监视器）中实施TICO编解码器，则电缆数量将进一步减少。生产规模越大，紧凑型设计的优点越高，效果就越好，尤其是安装在尺寸或设备重量有限的系统中,例如安装在转播车内。
图8. 生产系统的比较
IP接口的期望和问题
将IP接口引入生产系统（图9）正日渐趋紧。它具有以下潜力：
- 使用高速IP设备减少电缆数量;
- 使用网络集线器简化系统设置;
- 利用交互式通信功能实现同步和中央系统管理;
- 与远程生产系统具有良好的亲和力;
- 降低系统成本。
其中，大多数广播公司所期待的似乎是通过引入最初为消费者开发的设备来降低成本。 由于在非屏蔽双绞线（UTP）中十分实用的10 GbE已经变得流行，因此UHDTV-1接口的一些解决方案采用轻量级压缩技术的单根电缆。然而，在考虑UHDTV-2时，即使使用轻压缩技术，我们也必须捆绑其中的四根电缆或引入更高速的接口，例如40 GbE。如上所述，引入单电缆每流传输是有效的，但如果高速IP接口的每比特率成本不低于SDI，则反而有些得不偿失。
图9. 基于IP的生产系统的示例
另一方面，对于处理各种设备以适应各种程序的广播者来说，重要的是不同的制造商能够允许设备之间的通信。在SMPTE，他们讨论了统一的可互操作IP接口（SMPTE ST 2110），最终的结果也将成为未来向IP接口全面过渡的先决条件。
至于TICO，引入具有SMPTE ST 2022-5 / 6的IP接口的编解码器设备是实用的。当高速以太网发展并且易于引入时，UHDTV-2 TICO将在IP接口中进行调整，并且会出现SMPTE ST 2110的标准化。
结论
对于UHDTV的进步和传播来说，使用单根电缆制作每个流的物理接口非常重要。开发的UHDTV-2 TICO编解码器设备可以在单个12G-SDI上传输UHDTV-2信号（59.94 Hz，10 bit，4：2：2），视觉无损，延迟极低; 而且，即使重复编码和解码，它也不会产生质量降级。因此，我们可以将其作为程序生产系统的基本格式引入。
UHDTV-2 TICO也适用于IP接口。但是，在向项目生产设施引入IP时，有必要降低高速网络设备的成本并统一标准或保持不同格式之间的兼容性。介于IP接口的各种优点，因此我们期望可以早日建立能够引入该接口的环境。
相关链接
1. 高吞吐量JPEG 2000（HTJ2K）：新的算法和机会
参考文献
1.SMPTE RDD 35:2016, “TICO Lightweight Codec Used in IP Networked or in SDI Infrastructures.”
2.SMPTE ST 2082-10:2015, “2160-Line Source Image and Ancillary Data Mapping for 12G-SDI.”
3.SMPTE ST 2082-12:2016, “4320-Line and 2160-Line
Source Image and Ancillary Data Mapping for Quad- Link 12G-SDI.”
4.L. El Halfi, “Mapping SDI with a Light-Weight Compression for High Frame Rates and Ultra-HD UHDTV-1 Transport over SMPTE 2022-5/6,” intoPIX, 2014.
5.I. Matsuda, “Ultra-High Definition/Wide-Color-Gamut Stan- dard Test Sequences: Series A,” Tokyo University of Science, Noda. [Online]. Available: http://www.ite.or.jp/contents/chart/ uhdtv_a/tool/1607matsuda.pdf