【犀牛鸟·视野】SIGGRAPH Asia 2018：更小更漂亮的视频魔术师“腾讯丽影”
【犀牛鸟·视野】SIGGRAPH Asia 2018：更小更漂亮的视频魔术师“腾讯丽影”
★导语★
腾讯丽影平台是由腾讯音视频实验室自主研发的基于人眼视觉标准的视觉处理平台，集成了音视频实验室领先的编解码技术、AI技术、主客观视频质量评估技术、视频增强技术等。腾讯丽影像一个视频魔术师，让视频在压缩体积的同时，感官上却更加清晰更舒服，非常适合当下源视频质量参差不齐的短视频时代。此次借助于SIGGRAPH Asia 2018的平台，腾讯丽影第一次向世界展示了其“省带宽”、“变清晰” 的神奇能力。
SIGGRAPH（Special Interest Group for Computer GRAPHICS）是计算机图形和交互方向的一个顶会，由国际图形图像协会举办，是世界上影响最广、规模最大，同时也是最权威的一个集科学、艺术、商业于一身的CG及互动技术展览及会议。SIGGRAPH Asia是其唯一的一个分会，本届大会的主题为“CROSSOVER”，指科技、艺术、文化以及数字产业之间的交叉融合，汇聚了全球近万名从事科研（硬件、软件）、电影、游戏、艺术、动画、人机交互、教育和新兴技术等方向的最前沿的专家、创意人员以及爱好者，带给我们最“黑科技”的新事物。
今年12月腾讯音视频实验室携丽影平台亮相日本东京SIGGRAPH Asia 2018，第一次向世界展示其基于人眼视觉的视频处理技术。通过机器学习技术，自动找出视频中人眼感兴趣的部分，然后将视频分成人眼关注区域和非关注区域分别压缩，同时融合多种视频增强技术，提升视频感官质量。以人眼视觉最优为目标，实现了在人眼无感知情况下尽量压缩视频体积，而视觉上比原始视频更清晰的效果，达到了“省带宽”、“变清晰”。
01
丽影，基于人眼视觉标准的视觉处理平台
丽影平台是腾讯音视频实验室推出的基于人眼视觉标准的视频处理平台，将人眼视觉标准应用视频处理服务的七大模块：分析，理解，修复，增强，编码，传输，评估。每一个环节都以人眼视觉最优为目标。从而实现：
?·?省带宽 - 人眼视觉最佳压缩。在人眼无感知情况下尽量压缩视频体积。
?·?变清晰 - 视频修复增强。在更小的视频体积条件下，实现视觉上比原始视频更清晰的效果。
02
丽影是怎么做的？
人眼视觉的特性是很奇妙的，我们都看过魔术表演， “所有的魔术，都是通过并利用我们感觉的缺陷或者盲区达到神奇效果的”。人眼会忽略一些信息，也会特别的关注某些信息。这些特性将会帮助我们实现体积更小、更清晰的视频魔术。
通过机器学习技术，自动找出视频中人眼感兴趣的部分（标为红色）：
然后将视频分成人眼关注区域和非关注区域分别压缩
·?对人眼感兴趣的关注区域，在压缩过程中尽可能多的保持细节；
?·?对于人眼不太关注的区域，可以注重保留人眼喜好的结构和线条，抹除视频播放时被人眼忽略的纹理细节。经过针对人眼关注特性的分别处理，丽影平台可以在大幅压缩视频体积的同时，让视频的画质观感变得更好。
同时融合多种视频增强技术，提升视频感官质量
·?去除可见噪点、低照度增强、去抖动、锐化增强、超分增强（SD->HD 2K->4K）
?·?去除原始编码失真、去除毛刺、去除锯齿、帧率上采样、去除运动模糊、HDR
因此经丽影平台压缩处理后的视频，人眼的画质观感不但不会变差，反而可以超越源视频，达到视频修复增强的效果。
左边是原始视频截图，右边是丽影处理后的视频截图。可以看到经过丽影平台的处理，明显更加平滑。
03
丽影处理效果
总的来说，基于对人眼视觉的评价标准，丽影像一个视频魔术师，让视频在压缩体积的同时，感官上却更加清晰更舒服。以下一些示例视频，左边是原始视频，右边是丽影处理后的视频：
视频1：压缩了约78%的体积，却在人眼感观上更清晰?(原始:58.5MB，丽影:12.7MB)
视频2：压缩了约84%的体积，却在人眼感观上更清晰?(原始:118.3MB，丽影:18.5MB)
丽影的特性，非常适合当下源视频质量参差不齐的互联网短视频时代。它集成了音视频实验室领先的编解码技术、AI技术、主客观视频质量评估技术、视频增强技术等。已应用于腾讯微视等多个腾讯内部产品。还会陆续承载精彩视频识别、声鉴、场景识别等领先技术。
常按二维码，关注腾讯音视频实验室，获取更多信息
END
