新知 | 腾讯明眸·极速高清 —— 更高清更低码率的媒体处理技术方案

来源: 云巴巴 2021-12-27 13:47:00

今天的新知系列课,我们邀请到了来自腾讯明眸·极速高清团队的技术导师 —— 刘兆瑞,为大家介绍腾讯云音视频在视频编码优化以及工程落地上的一些新的方向。本次分享分为4个部分,包括当前媒体处理的行业趋势 ,腾讯明眸产品介绍,腾讯明眸·极速高清技术方案及其优化演进之路以及极速高清方案的未来发展之路。

腾讯视频云作为头部云厂商,服务了很多视频行业的客户,从我们服务的大量客户以及客户的诉求来看,目前视频处理行业有下面几个趋势:

  • 首先,随着带宽资费的降低以及观看设备分辨率的升高,人们对视频的清晰度有了越来越高的要求,尤其是广电行业、大屏电视等对于4K片源的需求。然而,从视频制作端来看,目前大部分生产的视频还是1080P。因此,画质增强、视频超分等基于AI的画质提升技术受到人们更多的关注

  • 除此之外,近年来视频行业的高速发展,尤其是直播、短视频的兴起,越来越多的互联网公司开始发展自己的视频业务。对于海量的视频观看来说,存储和带宽成为业务运营的重要成本组成部分。与此同时,视频观看的流畅度,首帧打开时间也是影响用户观看体验的重要因素之一。能够高清晰度低码率的编码视频,就成为泛互联网企业的诉求之一

  • 从未来的发展趋势看,云宇宙/VR慢慢兴起,而这些无疑都需要超高清的视频传输,而高清低码、极致压缩、画质增强等相关技术,可以极大的降低传输带宽瓶颈,提升视频观看体验,也一定是未来的发展趋势之一

也是在上述客户的诉求背景下,我们提出腾讯明眸解决方案。

- 腾讯明眸解决方案 -

腾讯明眸的基础能力主要由三部分组成,其中极速高清提供极致的压缩能力,支持感知编码、细节增强、视频去噪等能力。画质重生则专注于视频画质的提升,支持视频超分、智能插帧、色彩增强等能力。腾讯明眸除了视频处理之外,也与腾讯天籁实验室相合作,支持音频降噪、去混响、响度管理等能力。全力支持视频业务的快速发展。

腾讯明眸的整体处理pipeline也与普通媒体处理的流程有较大的区别,在视频解码后,我们会先进行场景分析、毛刺检测、噪声检测、交错检测等预分析流程,来分析视频源的画面质量,然后针对不同的场景和画面质量情况,使用对应的画质增强/修复技术。在对视频源进行修复之后,腾讯明眸会对画面进行二次分析,来辅助后续的视频编码流程,这里会分析视频的ROI/JND信息,内容自适应编码信息等,最后利用这些信息来进行更符合人眼主观的编码流程,在编码过程中,我们也对编码内核进行了深入的优化,在腾讯内部多个部门通力合作下,自研了O264/V265/TXAV1/O266等编码器,相比开源编码器极大的提升了视频压缩率。

图片

- 腾讯明眸·极速高清的技术演进 -

首先介绍下什么是极速高清,极速高清的目的是在不降低或者提升人眼感官的前提下,尽可能的降低视频码率,节省带宽和存储。极速高清也是基于腾讯明眸的框架来实现的,包括:视频预分析、前置处理、视频自适应编码等几步,与普通转码相比,可以降低50%以上的带宽,也能在一定程度上提升人眼的主观感受。

在编码器内核方面,腾讯敏敏·极速高清引入了很多领先的技术。2021年的MUS云端编码大赛上,腾讯明眸取得了多项第一的成绩,尤其在视频编码质量评测上,相比第二名有20%的编码增益。除此之外,在H.266/VVC等下一代编码器上,我们也拥有100项以上的专利。

图片

极速高清所取得的压缩效果经历了多个版本的迭代优化过程。极速高清的初始研发时,我们更专注于如何利用好当前的编码器和画质处理能力。我们发现,人眼对不同场景的感受是不同的,比如:在一些游戏中有很多的草地,这个时候通过编码参数的控制,减少纹理复杂区域的码率,虽然会在纹理区域产生振铃效应和毛刺,但是由于复杂纹理的遮挡效应,人眼并不能感知到。我们针对不同场景的视频,分析当前画面的特征,合理的利用视频编码的特性,可以在更低的码率下,同时保持人眼的感官。

随着业务的持续迭代与发展,我们发现开源的编码器虽然在业界有比较好的效果,但是很难完全满足实际业务的需求,而且开源编码器在实现上也未将标准的所有特性实现,没有发挥出标准能够达到的极限压缩。因此,极速高清的第二阶段优化我们集中在对编码器内核的算法调优。自研的O264编码器相较开源的X264可以有20%以上的编码增益,V265相较开源的X265可以有40%的编码增益。

图片

那这里以我们新增支持的GPB帧为例,我们知道B帧的宏块可以有两个mv来进行参考,提升压缩效果,但是B帧因为参考关系的原因,会增加编码的延迟。因此,虽然B帧能够提供较好的压缩率,但是低延迟直播/RTC等场景通常还是会关闭B帧。那有没有办法同时利用B帧标准上支持的两个mv, 同时还能在这样的场景下保证低延迟?为此,我们在编码内核上支持了GPB帧,即:该帧虽然标准上标注为B帧,宏块可以有两个mv, 但是两个mv都只做前向参考,不会进行后向参考,因此不会引入额外的延迟,同时利用了多个mv的特性提升压缩率。

图片

在对编码器内核进行深入的优化后,随着业务的发展,我们又面临了新的挑战。在一些极限压缩的场景,客户希望720P 的带货视频,可以以350kbps以下的码率输出,同时保证视频整体的清晰度。这个时候,我们发现仅靠编码器的压缩很难达到理想的效果。之后我们开始思考编码器的不足之处以及如何进一步优化编码器的特性。

首先,我们处理的视频源是被压缩过的, 因此一定已经存在一些细微的毛刺毛边。而我们在二次压缩时候,编码器是无法区分这些毛刺/毛边是真实的纹理还是一些噪声数据,会对这些毛边也进行压缩,而这类毛边的压缩会消耗编码中大量的码率。

其次,编码器核心还是基于数据驱动的,并没有从人眼的角度来考虑问题,因此当码率极低的时候,编码出来的画面可能会有很多的块效应,同时一些细节地方又保留的比较好。

针对上面的两种情况,腾讯明眸·极速高清结合AI的能力,在编码对前视频源进行前置处理,使视频源更适配编码场景。其中,前置处理基于预训练的模型,抹平消除视频源附带的毛边细节,使整体的边缘更加平滑,也更有利于视频压缩。其次,当编码设置的码率很低时,这时模型预估压缩后的视频,会产生码率不足导致的块效应和大量噪声。我们可以使用前处理预先对一些复杂纹理进行简化,对视频进行一定程度的平滑,从人眼主观的角度来简化视频,进而使视频更容易压缩,在低码率下也能保持一个良好的效果。

使用极速高清后,带来的收益十分明显。以腾讯内部的业务为例,使用极速高清后,节省了大概70%的存储和带宽成本,同时由于文件的减小,视频首帧的耗时也降低了20%,整体播放的流畅度大大提升。

对于点播场景的极限压缩,1080P的高清电影视频,极速高清H.264可以在1.5M的码率下,保持整体的主观清晰度,或者说保持vmaf在95分以上。H.265则可以在900kbps达到同样的效果,AV1甚至做到650kbps。对于课堂教育类场景,压缩效果则更明显,课堂类场景相对静止画面较多,可以利用更多的编码工具。对于PPT类课堂场景,极速高清H.264可以在67kbps下,同时保持主观清晰度,H.265可以做到35kbps, AV1可以做到28kps, 此时,视频的码率大部分已经低于音频的码率,极大的减少了视频的存储和带宽。

腾讯明眸的另一特性,就是充分利用腾讯云在全世界的海量资源部署,服务全球。在各个地区都有对应的处理集群,符合区域的法律法规要求。助力国内企业更好的出海发展。

图片

目前,腾讯明眸的接入也非常方便。其中MPS媒体处理服务,可以触发视频转码,在转码模板的配置上,可以选择极速高清来进行极致的视频压缩。专门针对画质提升的画质修复能力,则可以通过智能编辑产品来体验,包括:视频超分、智能插帧、色彩增强、视频加清等画质提升能力,提供更清晰的视频体验。

- 极速高清未来的发展方向 -

对于腾讯明眸来说,极速高清后续发展主要两个主轴,一方面是与AI能力的进一步深入结合,在前处理阶段利用AI进一步处理视频画质来辅助压缩,在编码器内部,利用AI的能力对RDO分析预测加速,在播放端,致力于LCEVC的支持,以及端测的超分和画质提升。另一方面是针对直播场景的深入优化,目前很多编码工具的复杂度较高,对于直播场景很难保证实时, 对于这些编码工具进一步优化与加速,更好的应用于直播场景。

图片

关于新知

随着行业数字化转型加速,线上线下一体化、数字技术与真实世界融合的全真互联时代正加速到来。腾讯云音视频技术导师将在新知栏目中分享在全真互联时代下新的行业趋势、新的技术方向以及新的应用场景与大家共同探索视界,创见未来!

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

电商直播应当选择的超低延迟直播服务

电商直播应当选择的超低延迟直播服务

用户能够顺利的观看、下单,都和这背后的超低延迟直播服务离不开,像快手、腾讯课堂、企业电竞均是使用了腾讯云直播中的快直播LEB服务,才可以给用户带来极致的直播观看体验。

2022-11-23 14:54:42

腾讯云直播,在一场直播观众可以很流畅的观看

腾讯云直播,在一场直播观众可以很流畅的观看

直播不仅仅是我们接触外来信息的一种方式,也能让我们把握住每一个精彩瞬间。不仅仅在游戏行业以及电商行业,其实我们在收看一些体育赛事或者其他赛事直播的时候都会用到直播的方式,虽然我们看的是电视屏幕,却能通过摄像头的镜头感受到现场热烈的氛围。

2022-11-23 17:34:25

直播种类发展在一些对延迟要求较低的场景下不如试下快直播

直播种类发展在一些对延迟要求较低的场景下不如试下快直播

直播中延迟是我们观看一场直播的同时需要考虑到的问题,一场直播的流畅度与能否顺利进行达到预期的效果与整场直播的延迟也有着密不可分的关系。为了满足不同行业对直播功能以及特点的不同需求,根据行业需求的不同直播也分为了不同的种类。对于一场直播中对直播中的延迟有更高

2022-11-24 10:08:27

台前的在线教育、社交直播,幕后的声网Agora

台前的在线教育、社交直播,幕后的声网Agora

疫情之下,线上教学成为常态,在近2个月内,全国近2亿大中小学生涌入在线课堂,声网Agora为新东方、K12教育企业提供实时音视频云服务。

2020-04-07 20:51:36

腾讯云云直播标准直播模式直播基础能力优势(二)

腾讯云云直播标准直播模式直播基础能力优势(二)

在信息化时代的背景下,腾讯云云直播的随着其自身的普及与发展也逐步融入进越来也多用户的生产生活当中去。

2022-11-24 10:06:03

即时通信IM和实时音视频TRTC组合保障鸿星尔克网络直播间稳定

即时通信IM和实时音视频TRTC组合保障鸿星尔克网络直播间稳定

点赞、评论数据量不断攀升,网友誓死也要把流量刷上去。突如其来大量的点赞评论刷屏,鸿星尔克的直播间依然稳如狗,画面流畅还能清晰展示物品细节,由此可见直播也是一门技术活。从技术层面来说他背后的架构并不简单,都是即时通信IM与实时音视频TRTC的功劳。

2022-11-24 14:13:41

严选云产品

腾讯云安全加速 SCDN 安全加速SCDN是腾讯云推出的集分布式 DDoS 防护、CC 防护、WAF 防护、BOT 行为分析为一体的安全加速解决方案。已使用内容分发网络(CDN)或全站加速网络(ECDN)的用户,购买服务后可为加速域名一键开启安全防护相关配置,全方位保障业务内容分发。
职行力零食行业培训管理解决方案 职行力零食行业培训管理解决方案零售行业数字化学习新发现,分岗定制,培训、管理、学习三位一体增收益, 通过职位名称直接开放所属频道。门店标准执行SOP业务标准流程 。门店标准督导。神秘访客:用户体验强化。门店标准优化新标准快速下发,执行与考核。
筑龙标书查重工具 筑龙标书查重工具可以实现对两份及两份以上标书内容的相似度情况进行检查,将相似程度较高的内容提取出来,并通过可视化方式将异常的标书内容进行高亮突出呈现。标书相似度检查主要包括表格、文字等的雷同,将不同投标人相似度过高的部分提取出来,并通过可视化方式将异常内容进行呈现。
影刀RPA机器人 影刀RPA可以实现所有桌面应用程序的自动化,包括ERP、 浏览器、CRM、微信、钉钉或你日常使用的任何其他应用程序,如网页JS脚本,数据抓取、Web表单填写、网页 操作,API调用等,轻松实现自动化的Web任务,能驱动手机上的任何APP进行输入、点击、 手势滑动、提取数据等操作;支持同时控 制多台手机设备进行自动化。
慧策旺店铺WMS智能仓储管理系统 慧策旺店铺WMS智能仓储管理系统是针对大中型企业仓库的精细化管理解决方案。通过奇门、旺店通自有API等多种接口对接不同的oms系统,满足客户不同的需求。 通过灵活多变的作业策略,帮助客户有效控制并跟踪仓库业务的物流和成本管理全过程,实现企业的仓储信息化管理。
e签宝汽车行业电子签章解决方案 e签宝汽车行业电子签章解决方案,从身份认证数据源、证书核验、可信时间戳、私钥保存位置等多个关键点入手提供技术保障,同时从实名认证、意愿认证、签名、存证等环节提供可靠签署流程,证据实时上链,免除平台客户自证清白的成本,也为用户提供放心的签署服务。

甄选10000+数字化产品 为您免费使用

申请试用