新知 | 腾讯明眸·极速高清 —— 更高清更低码率的媒体处理技术方案

来源: 云巴巴 2021-12-27 13:47:00

今天的新知系列课,我们邀请到了来自腾讯明眸·极速高清团队的技术导师 —— 刘兆瑞,为大家介绍腾讯云音视频在视频编码优化以及工程落地上的一些新的方向。本次分享分为4个部分,包括当前媒体处理的行业趋势 ,腾讯明眸产品介绍,腾讯明眸·极速高清技术方案及其优化演进之路以及极速高清方案的未来发展之路。

腾讯视频云作为头部云厂商,服务了很多视频行业的客户,从我们服务的大量客户以及客户的诉求来看,目前视频处理行业有下面几个趋势:

  • 首先,随着带宽资费的降低以及观看设备分辨率的升高,人们对视频的清晰度有了越来越高的要求,尤其是广电行业、大屏电视等对于4K片源的需求。然而,从视频制作端来看,目前大部分生产的视频还是1080P。因此,画质增强、视频超分等基于AI的画质提升技术受到人们更多的关注

  • 除此之外,近年来视频行业的高速发展,尤其是直播、短视频的兴起,越来越多的互联网公司开始发展自己的视频业务。对于海量的视频观看来说,存储和带宽成为业务运营的重要成本组成部分。与此同时,视频观看的流畅度,首帧打开时间也是影响用户观看体验的重要因素之一。能够高清晰度低码率的编码视频,就成为泛互联网企业的诉求之一

  • 从未来的发展趋势看,云宇宙/VR慢慢兴起,而这些无疑都需要超高清的视频传输,而高清低码、极致压缩、画质增强等相关技术,可以极大的降低传输带宽瓶颈,提升视频观看体验,也一定是未来的发展趋势之一

也是在上述客户的诉求背景下,我们提出腾讯明眸解决方案。

- 腾讯明眸解决方案 -

腾讯明眸的基础能力主要由三部分组成,其中极速高清提供极致的压缩能力,支持感知编码、细节增强、视频去噪等能力。画质重生则专注于视频画质的提升,支持视频超分、智能插帧、色彩增强等能力。腾讯明眸除了视频处理之外,也与腾讯天籁实验室相合作,支持音频降噪、去混响、响度管理等能力。全力支持视频业务的快速发展。

腾讯明眸的整体处理pipeline也与普通媒体处理的流程有较大的区别,在视频解码后,我们会先进行场景分析、毛刺检测、噪声检测、交错检测等预分析流程,来分析视频源的画面质量,然后针对不同的场景和画面质量情况,使用对应的画质增强/修复技术。在对视频源进行修复之后,腾讯明眸会对画面进行二次分析,来辅助后续的视频编码流程,这里会分析视频的ROI/JND信息,内容自适应编码信息等,最后利用这些信息来进行更符合人眼主观的编码流程,在编码过程中,我们也对编码内核进行了深入的优化,在腾讯内部多个部门通力合作下,自研了O264/V265/TXAV1/O266等编码器,相比开源编码器极大的提升了视频压缩率。

图片

- 腾讯明眸·极速高清的技术演进 -

首先介绍下什么是极速高清,极速高清的目的是在不降低或者提升人眼感官的前提下,尽可能的降低视频码率,节省带宽和存储。极速高清也是基于腾讯明眸的框架来实现的,包括:视频预分析、前置处理、视频自适应编码等几步,与普通转码相比,可以降低50%以上的带宽,也能在一定程度上提升人眼的主观感受。

在编码器内核方面,腾讯敏敏·极速高清引入了很多领先的技术。2021年的MUS云端编码大赛上,腾讯明眸取得了多项第一的成绩,尤其在视频编码质量评测上,相比第二名有20%的编码增益。除此之外,在H.266/VVC等下一代编码器上,我们也拥有100项以上的专利。

图片

极速高清所取得的压缩效果经历了多个版本的迭代优化过程。极速高清的初始研发时,我们更专注于如何利用好当前的编码器和画质处理能力。我们发现,人眼对不同场景的感受是不同的,比如:在一些游戏中有很多的草地,这个时候通过编码参数的控制,减少纹理复杂区域的码率,虽然会在纹理区域产生振铃效应和毛刺,但是由于复杂纹理的遮挡效应,人眼并不能感知到。我们针对不同场景的视频,分析当前画面的特征,合理的利用视频编码的特性,可以在更低的码率下,同时保持人眼的感官。

随着业务的持续迭代与发展,我们发现开源的编码器虽然在业界有比较好的效果,但是很难完全满足实际业务的需求,而且开源编码器在实现上也未将标准的所有特性实现,没有发挥出标准能够达到的极限压缩。因此,极速高清的第二阶段优化我们集中在对编码器内核的算法调优。自研的O264编码器相较开源的X264可以有20%以上的编码增益,V265相较开源的X265可以有40%的编码增益。

图片

那这里以我们新增支持的GPB帧为例,我们知道B帧的宏块可以有两个mv来进行参考,提升压缩效果,但是B帧因为参考关系的原因,会增加编码的延迟。因此,虽然B帧能够提供较好的压缩率,但是低延迟直播/RTC等场景通常还是会关闭B帧。那有没有办法同时利用B帧标准上支持的两个mv, 同时还能在这样的场景下保证低延迟?为此,我们在编码内核上支持了GPB帧,即:该帧虽然标准上标注为B帧,宏块可以有两个mv, 但是两个mv都只做前向参考,不会进行后向参考,因此不会引入额外的延迟,同时利用了多个mv的特性提升压缩率。

图片

在对编码器内核进行深入的优化后,随着业务的发展,我们又面临了新的挑战。在一些极限压缩的场景,客户希望720P 的带货视频,可以以350kbps以下的码率输出,同时保证视频整体的清晰度。这个时候,我们发现仅靠编码器的压缩很难达到理想的效果。之后我们开始思考编码器的不足之处以及如何进一步优化编码器的特性。

首先,我们处理的视频源是被压缩过的, 因此一定已经存在一些细微的毛刺毛边。而我们在二次压缩时候,编码器是无法区分这些毛刺/毛边是真实的纹理还是一些噪声数据,会对这些毛边也进行压缩,而这类毛边的压缩会消耗编码中大量的码率。

其次,编码器核心还是基于数据驱动的,并没有从人眼的角度来考虑问题,因此当码率极低的时候,编码出来的画面可能会有很多的块效应,同时一些细节地方又保留的比较好。

针对上面的两种情况,腾讯明眸·极速高清结合AI的能力,在编码对前视频源进行前置处理,使视频源更适配编码场景。其中,前置处理基于预训练的模型,抹平消除视频源附带的毛边细节,使整体的边缘更加平滑,也更有利于视频压缩。其次,当编码设置的码率很低时,这时模型预估压缩后的视频,会产生码率不足导致的块效应和大量噪声。我们可以使用前处理预先对一些复杂纹理进行简化,对视频进行一定程度的平滑,从人眼主观的角度来简化视频,进而使视频更容易压缩,在低码率下也能保持一个良好的效果。

使用极速高清后,带来的收益十分明显。以腾讯内部的业务为例,使用极速高清后,节省了大概70%的存储和带宽成本,同时由于文件的减小,视频首帧的耗时也降低了20%,整体播放的流畅度大大提升。

对于点播场景的极限压缩,1080P的高清电影视频,极速高清H.264可以在1.5M的码率下,保持整体的主观清晰度,或者说保持vmaf在95分以上。H.265则可以在900kbps达到同样的效果,AV1甚至做到650kbps。对于课堂教育类场景,压缩效果则更明显,课堂类场景相对静止画面较多,可以利用更多的编码工具。对于PPT类课堂场景,极速高清H.264可以在67kbps下,同时保持主观清晰度,H.265可以做到35kbps, AV1可以做到28kps, 此时,视频的码率大部分已经低于音频的码率,极大的减少了视频的存储和带宽。

腾讯明眸的另一特性,就是充分利用腾讯云在全世界的海量资源部署,服务全球。在各个地区都有对应的处理集群,符合区域的法律法规要求。助力国内企业更好的出海发展。

图片

目前,腾讯明眸的接入也非常方便。其中MPS媒体处理服务,可以触发视频转码,在转码模板的配置上,可以选择极速高清来进行极致的视频压缩。专门针对画质提升的画质修复能力,则可以通过智能编辑产品来体验,包括:视频超分、智能插帧、色彩增强、视频加清等画质提升能力,提供更清晰的视频体验。

- 极速高清未来的发展方向 -

对于腾讯明眸来说,极速高清后续发展主要两个主轴,一方面是与AI能力的进一步深入结合,在前处理阶段利用AI进一步处理视频画质来辅助压缩,在编码器内部,利用AI的能力对RDO分析预测加速,在播放端,致力于LCEVC的支持,以及端测的超分和画质提升。另一方面是针对直播场景的深入优化,目前很多编码工具的复杂度较高,对于直播场景很难保证实时, 对于这些编码工具进一步优化与加速,更好的应用于直播场景。

图片

关于新知

随着行业数字化转型加速,线上线下一体化、数字技术与真实世界融合的全真互联时代正加速到来。腾讯云音视频技术导师将在新知栏目中分享在全真互联时代下新的行业趋势、新的技术方向以及新的应用场景与大家共同探索视界,创见未来!

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

在直播中通过AI即时让课堂不再单调

在直播中通过AI即时让课堂不再单调

直播在我们生活中起着越来越重要的作用,而正因为我们对于这项技术的不断了解这项技术才被我们广泛的应用在了很多我们身边的领域中。而直播与其它技术的融合又往往能够带给我们一些新的惊喜,比如说是在课堂中加入了AI技术后进行直播也让学生可以更全面的了解课堂内容。

2022-11-24 10:38:08

线上直播让教学别有一番体验

线上直播让教学别有一番体验

教育直播已经不再是一些学校老师进行上课的方式,在一些学习网站上,直播也成为了学生学习的一种新的方式。或许成百上千人能够在同一个教室中进行学习,我们只能在这些通过直播的方式进行上课的直播间中才能看到。

2022-11-24 13:53:43

在腾讯云直播中在线上上课和线下相比有何不同(三)

在腾讯云直播中在线上上课和线下相比有何不同(三)

在不同类型的直播中,或许我们能够看到主播制作的美食,或许我们能够看到直播间中的主播在表演自己的才艺,又或者能够通过主播的镜头看到更多美景。而在这些不同类型的直播中,或许我们也能够在教育直播中看到老师与学生之间互动更加方便的互动方式。

2022-11-24 13:53:06

直播进行的同时想要更有人气则要提高互动性

直播进行的同时想要更有人气则要提高互动性

直播在电商行业的发展以及应用在我们身边很多电商平台上都能看到,在电商行业的直播中,互动性是能否吸引观众的一个前提,也是在直播间的观众能否会被你的话术所打动并且选择购买这款产品的主要原因。而且电商直播中如果有更高的人气也意味着会有更多的观众发现这个直播间,并

2022-11-24 10:52:05

在直播行业的管理方面,腾讯云直播在直播管理方面的应用

在直播行业的管理方面,腾讯云直播在直播管理方面的应用

直播行业的飞速发展在让我们能够参与到更多直播的同时也有一些问题需要得到解决,因为在一场直播中,这场直播要播什么完全是由这场直播的主播做主的,而这也难免会带来一些不好的现象。对于直播的监管力度并不会下降,反而会根据进行直播的主播越来越多而逐渐增强。

2022-11-23 17:12:47

腾讯云直播中的减少损伤通过这两项技术得以实现

腾讯云直播中的减少损伤通过这两项技术得以实现

直播中的编码处理虽然我们无法直观的观看相关的处理流程以及步骤,但是编码处理会对直播的帧率带来一些影响,而且如果在直播中出现丢帧以及掉帧的现象则会造成直播间卡顿的现象频发。对于直播时帧率的处理,在腾讯云直播中通过RPS与PLC技术有效的降低了直播间卡顿现象的

2022-11-24 10:51:30

严选云产品

喔趣科技人事通 喔趣科技人事通,系统高度可配置化,将企业管理方法落实在系统中,可以随着企业的发展在后台灵活调整配置。从人员入转调离,排班考勤,考勤报表,到薪酬核算,包含完整人事管理业务。整体系统操作均与企业微信一致。包括整体界面UI、 操作体验,使员工更容易上手,管理层更统一进行推广。
思福迪LogBase SAS大数据安全综合运营平台 思福迪LogBase SAS大数据安全综合运营平台,打造新一代的大数据安全综合运营平台,面向场景、面向业务提供弹性灵活的功能组件与分析实践; 以“大数据处理”与“AI智能”为核心技术支撑,以智能化、自动化运营为核心目标,将安全战略由被动转向主动,全面保障客户业务的安全。
ITC讯笛数字会议系统 讯笛会议系统是一款基于双ARM处理器平台开发的系统,具备超强的处理能力。支持16组相控分区扩声、同声传译、相控输出、角色分离模式多种音频输出模式,实现一机多用;支持环形双链路备份功能、数模备份功能,保证系统运行的稳定性。
天数智芯7GPGPU纳米云端训练芯片 天数智芯云端训练芯片,聚焦高性能和通用性、灵活性,为人工智能和相关垂直应用行业提供匹配行业高速发展的计算力,并通过标准化的软硬件生态为应用行业解决产品使用难、开发平台迁移成本大等痛点。
智能票财税 领先、专业、全面的票财税服务,围绕发票全生命周期,为企业提供票据、财务、税务一体化解决方案。
初心科技 石墨文档 颠覆传统办公模式,开启企业高效办公时代 灵活多样的部署方式,满足各规模企业的定制化需求

5000款臻选科技产品,期待您的免费试用!

立即试用