深耕技术底座，自研264编码器持续助力实时互联
导语 回顾刚刚过去的2023年，在实时音视频场景，腾讯多媒体实验室与腾讯云实时音视频TRTC团队持续合作，从产品链路、技术底座等角度，针对视频画质、压缩性能进行了进一步深度优化，不断打磨包含自研264实时编码器——O264rt在内的各类底层技术。本文将从技术视角，为大家揭秘产品背后的优化细节。
音视频领域，人们一直在追求更高的清晰度、更极致的体验、更生动的效果，以期获得更加身临其境的感受。由此，以这些作为出发点的探索——如8K、VR、HDR等无疑引发了大量的讨论和研究。更加逼真的画面能够极大地提升用户体验，然而这在实时音视频领域却并非易事。
01.实时音视频的难点
图一直观展示了实时音视频与其他直播场景的一个重要区别——极低延迟。这给用户带来的是更加无障碍的远程互动与沟通体验，也因此，用户能够享受到如下场景中更加极致的体验：例如更加高效的视频会议、更沉浸的直播效果与更舒适的视频通话感受。而极低的延迟背后也意味着需要端侧高效编码，同时对于编解码延迟、CPU性能消耗、抗抖动均具有非常严格的要求。
图一：音视频不同场景延迟示意
一般而言，提升清晰度的技术需求，意味着需要处理更高分辨率的画面、更高的画质。随之而来的就是更高的编码复杂度、更大的带宽占用，很容易会引发其他影响用户体验的问题——如卡顿率增高、终端CPU性能消耗过大等。以TRTC用户大盘数据为例，终端设备的top机型分布仍以三、四年前的中端设备为主。在这种情况下贸然通过编码复杂度、带宽增加去获得高清的画面势必会降低实际QoE，影响用户卡顿率与发热，影响用户体验。清晰度提升与整体QoE本应相辅相成，然而由于端侧实时编码的特殊性，似乎变得相悖起来。
为了解决实时音视频的这一难题，实现视频画质与整体QoE同步提升，腾讯云TRTC与腾讯多媒体实验室联合技术研发团队一直在努力攻克。在过去的一年中，相关团队在视频编解码、网络优化、端侧适配等多个方面均进行了大幅调优。
02.数字背后的优化
30%，这是多媒体实验室自研264实时编码器O264rt在快速档位相比x264的画质提升。同时，算法与工程团队对编码器内部的插值、量化、熵编码等核心模块进行深度挖掘以及优化，不断补充多平台的汇编优化，通过这些精细优化，编码速度这一与CPU占用直接相关的指标也进一步提升10%，大幅超越同类方案。这使得编码器一方面能够在实时窄带场景进行更高质量的压缩，提供更优画质，另一方面，由于编码器将CPU占用进一步降低，也意味着可以节省更多的计算资源，避免发热，带给用户更优的体验。
图二：O264rt编码器功能矩阵
编码器量化时的率失真优化能够在编码单元级综合考虑码率和失真的影响，找到更优解。其基本思想可以追述到90年代，它在H.264、H.265、乃至最新一代编解码标准H.266中均有体现，然而，该方案的复杂度极高，很多编码器仅在慢速档位使用。为了将该技术落地实时场景，算法团队深度探究了其中的优化点，在常规的维特比等算法基础上持续挖掘相关加速策略。在2023年，基于多媒体实验室与TRTC技术团队的共建，仅O264rt编码器一项，即有超过50项相关算法优化，正是这样的精益求精，持续对于编码器进行打磨，才能够在不引入额外编码消耗的情况下，给用户带来更优的画质与QoE。
图三：网络搜索与优化
03.探索更广泛的场景
TRTC持续服务ToB不同场景用户。为持续提升用户体验，264实时编码器针对相应的应用场景与需求均进行针对性优化，如ROI调优、屏幕内容检测优化、自适应场景优化算法等。以低延迟直播场景为例，通过码控算法调优，并引入时域复杂度信息联合优化码率分配，264实时编码器可在此类场景中进一步提升编码画质，提升用户主观感受。下图为优化前后的主观画质对比情况:
图四：O264rt编码器优化画质对比
在一些后台处理业务，同样有低延迟转码处理的需求。得益于O264rt实时编码器对于各平台的良好支持，信创领域国产芯片 arm 服务器也能享受到这一高性能编码器的优势。在一对一通话的实际案例中，基于国产arm芯片的服务器接入自研264编码器后，在画质提升的同时，链路CPU占用从 35%，降低到了23%，优化比例超过34%。
图五：一对一通话联路示意
04.深耕技术底座
腾讯一直以来持续在音视频相关的标准与应用落地方向持续发力。以视频编解码为例，腾讯多媒体实验室自2017年，深度参与了包含H.266/VVC、AVS3在内的国际、国内编解码标准制定，并打造了几乎全部主流编码标准的高性能视频编码矩阵，服务于实时音视频、转码、VR等各类场景，在MSU编码大赛中连续多年取得行业全面领先。作为实时音视频产品的技术底座，深耕方能积淀出核心竞争力，给用户带来更好的价值。
欢迎扫描下方二维码添加音视频小姐姐微信，与腾讯云产研团队直接沟通，了解更多详细信息。
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备腾讯云RT-ONE?全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube? 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。