让老电影“重生”的AI超分辨技术，即将形成一波热点
作者 | skura
编辑 | 唐里
最近有件大事，11 月 15 日，全球瞩目的经典电影《海上钢琴师》4K 修复版即将登陆全国院线。岁月侵蚀的影片经典场景，在老胶片的保存下只剩模糊的影像。而此次经 4K 技术修复的版本，据说采用了先进的图像超分辨率技术，分辨率和效果大幅度提升，磨损的视频图像恢复到当时拍电影时的真实效果，细节展现得淋漓尽致，光影清晰、细腻、赏心悦目。
这个图像超分辨率技术黑科技到底是怎么回事，加持人工智能的视频超分又是如何实现的呢？
什么是图像超分辨率技术？
超分辨率 (Super-Resolution) 是一种通过硬件或软件的方法提高原有图像的分辨率的技术，其中，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽 (获取同一场景的多帧图像序列) 换取空间分辨率, 实现时间分辨率向空间分辨率的转换。
用通俗的话来讲，超分辨率就是将图像从下图中左边的样子变成右边的样子。即提供更多的像素点，让图像的细节更加丰满。如果从信号的角度看，那就是在原信号中补充出更多的高频成分。
除了可以对传统影视节目的视频图像进行修复重建外，这项技术在医疗图像分析、生物特征识别、视频监控与安全等实际场景中也有着广泛的应用。例如，警察可以通过超分辨率技术识别监控视频中的罪犯，医生可以通过超分辨率技术得到更清晰的病灶图像等等。
上图是利用超分辨率技术处理视频前后。处理前，视频比较模糊、灰暗，视频中的伪影较多；处理后，视频在清晰度、明亮度上都有较大提升。
超分辨率技术的研究现状
图像的超分辨率复原技术主要分为两大类，一是基于重建的方法，二是基于学习的方法。近年来，随着深度学习的兴起，图像超分辨率技术出现了新的研究方向。基于深度学习的 SR（Super-Resolution），主要是基于单张低分辨率的重建方法，即 SISR(Single image Super-Resolution)。
SISR 是一个逆问题，对于一个低分辨率图像，采用不同的方法得到的高分辨率图像会略有不同。也就是说，可能存在许多不同的高分辨率图像与之对应。因此，通常需要在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的 SR 通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。
目前，基于深度学习的 SR 方法有很多，从 2014 年的 SRCNN 开始，到 VDSR 和 NTIRE2018 的冠军 WDSR，基于深度学习的超分辨技术不断创新网络架构、损失函数、学习策略，在特征提取、非线性映射和重建的架构上取得不断突破。
为了获得高质量的高分辨率图像，满足人们在实际生产生活中的各种需求，超分辨率图像复原的研究发展方向主要集中在以下三个方面：
- 完善现有算法，不断发展新的算法。这样做目的在于提高超分辨率图像复原的能力，减小计算量，加快运算的收敛速度，适用不同的图像要求；
- 发展和寻求新的退化成像模型，使成像模型更加精确和全面，实现对点扩散函数和噪声的精确估计；
- 在利用序列和多幅图像的复原中，发展和寻求新的运动模型，能够对运动进行精确估计。
看到这里，相信大家已经对这个 AI 新技术有一定的了解了。想要继续深入学习这一技术同时获取实战经验，证明一下自己吗？今年有两个人工智能赛事和图像超分辨率技术相关，一个是优酷超分比赛，9 月份已结束了；近期刚刚启动的是首届「全国人工智能大赛」，其中 AI+4K HDR 赛项就是和超分辨率技术相关的，可以说是同学们挑战自己、证明自己不可多得的好机会！采用现有的一些 AI 算法模型，参照之前的比赛，很快就能上手。