金山云解析智能音视频的云转码解决方案

来源: 云巴巴 2019-09-17 13:54:23

不管是高清直播互动的兴起,或是超清晰视频、vr视频的爆发,人们追求更清晰的画面质量,更好的观看体验探索,一直在不断演变。据预测,到2022年,UHD将占现场视频IP流量的35%,这将导致带宽成本的快速增长。那么如何在高质量和低成本之间找到平衡呢?

在近日举办的多媒体技术峰会LiveVideoStackCon2019上,金山云技术总监蔡媛发表了《集智高清-以低带宽成本获取高清画质体验》的主题分享,从而解决了这一问题。并能以低带宽成本获得高清晰度图像质量体验云转码服务智能高清晰度.在演讲中,蔡媛深刻阐述了金山云集智高速节电的重大突破,并分享了各种视觉AI和编码技术,同时深入分析了智智高清的AI算法架构,包括如何使用全局深度学习算法,如噪声网络和局部去噪网络修复,提高视频质量,引入客观评价视频质量评估平台KQoE,推出干货技术主题共享。

5G前奏打开,AI+构建极端云转换解决方案

近年来,随着互联网技术的飞速发展,4K高清、VR视频、直播交互等多种音频和视频格式对网络带宽传输效率提出了更高的挑战。从1994年第一代视频编码标准MPEG-2推出,到2013年第三代标准HEVC/H.265 avs2升级,虽然压缩效率每10年增加一倍,但频宽的增长永远也赶不上业务的需要,更有效率的影音传输效率,一直处于音频和视频行业技术从业人员面前的问题。

“金山云基于对用户需求的深刻洞察,推出了能够以低带宽成本获取高清画质体验的云转码服务——集智高清,通过自研算法,整合AI、编码、图像处理等多种技术,融合深度神经网络对视频画面内容进行感知,优化主观体验和智能调节编码,对视频进行画质增强,提升视觉效果,适配更高清屏幕,带来更好视觉感受的同时,还可帮助客户节省50%视频传输带宽,广泛适用于绝大部分视频场景,”蔡媛介绍到,“通过对视频进行内容分类、质量对比和内容分割,匹配视频处理工具包,满足用户对超清视频画质和流畅播放体验的追求,同时大幅降低视频运营商的带宽成本压力。”

在内容分类方面,视频场景和复杂度由识别网络分为两层,以适应更好的图像质量改善和压缩效果。目前,包括综艺,游戏,表演,电影,体育等在内的视频场景得到了广泛的支持;在质量对比度方面,从色彩饱和度,对比度,噪声和清晰度的角度,实时监控和分析输入视频的客观质量,并输出质量得分作为视频参数调整的参考。加工工具;在内容分割方面,通过ROI区域检测,先将每帧的视频内容分层,然后根据人的视觉特征区分视频图像的主体和背景,使主体更加突出,背景更纯净,视频内容得到增强。更精致。最后,金山云提供的AI深度学习视频处理套件由超分辨率、去噪、模糊、锐化、对比度增强等算法模块组成。每种处理工具都可以灵活组合,适合各种视频丢失,有效地提高了视频绘画的质量。

为了更直观地展示图像和视频转码的效果,金山推出了kqoe平台,旨在为客户提供高效、易于使用的具有图像和视频效果评价需求的评价平台。利用更专业的评价平台能力,提高图像/视频评价效率。

创新的算法框架促进服务器编码技术的优化

为了满足多样化视频处理的需要,智能高清算法框架主要由视频分析仪和图像处理器两个模块组成。在处理流程中,视频分析仪根据视频类型、视频质量和ROI区域进行计算,而视频处理器将根。根据分析结果和输入处理策略,对视频进行预处理,然后发送到编码器进行编码,完成整个编码过程。云代码转换的优势在于场景中有足够的计算能力,与终端编码相比,可以很好地应对处理性能要求。

在云转码方案中,编码目标函数的优化是关键。“对于云代码转换,场景与采集端不同,其目标函数需要进行优化。初级优化即试图利用网络对失真图像进行处理,尝试恢复出原始图像,但是这样做往往容易造成过平滑,因此需要进一步对L2 loss进行优化,”蔡媛介绍到,“对此,我们改进目标函数的思路是,除了L2 loss外,需要加入Perceptual loss和GAN中的判别器loss,通过调整来达到真实业务需求的最优效果。”

接下来,蔡媛将重点放在图像处理模块中的去噪模块,该模块将从背景块区域的全局去噪网络和人脸区域的本地去噪网络中进行解释。“全局去噪网络需要保证网络的轻量级,甚至达到1080 p@25的实时处理,考虑到该模型需要适应不同类型和不同强度的噪声,我们最终基于内存网络的概念设计了网络模型的骨干网络。”蔡媛。由于人脸的像素数远小于整个视频的分辨率,所以视频中人脸的注意度很高。“因此,局部(人脸)去噪网络的设计不需要受到算法复杂性的限制。另外,由于人脸的先验知识很强,为了更完整地挖掘这些先验知识,我们需要采用更多的特殊设计。用多尺度鉴别器对GaN版进行了训练,并对其进行了测试和验证,证明在修复人脸的基础上,可以增强人脸的细节,进一步提高处理的主观效果。”

全面升级能力,打造面向未来的智能视频云平台

金山云智能高清致力于提供专业的云转码服务,以低带宽成本获得高清画面质量体验。该方案在易用性、可靠性和可扩展性等方面具有独特的优势。通过提供易于使用的转码控制台和丰富的客户端SDK,至少99.9%的服务可用性,以及为用户快速定制和优化方案的能力,它可以帮助客户大大降低成本并增强用户观看体验。

梁守星介绍,围绕人眼结构特性,金山云的集智高清产品正试图将编码、图像处理和AI整合,基于深度神经网络的画质增强技术,对视频内容进行感知,明显提升了主观效果和客观指标,带来更好的视觉感受,转码后视频码率、传输带宽可节省35% 50%。

蔡媛表示:“我们希望吉智高清成为视频行业的加速器,为客户的业务运营和行业的技术发展做出贡献。”作为视频云服务的领导者,金山云将继续投资于技术研发,通过更高效的产品和解决方案帮助客户做出更好的响应。移动视频的场景和需求日益复杂多样,给最终用户带来了更好的视觉感受。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

腾讯云618主会场中腾讯云实时音视频2万分钟低至9.9元!

腾讯云618主会场中腾讯云实时音视频2万分钟低至9.9元!

腾讯云618为用户带来更多福利优惠!更有腾讯云618代金券等你领取!

2022-11-24 13:56:24

腾讯云实时音视频助力企业视频会议系统完美运行!

腾讯云实时音视频助力企业视频会议系统完美运行!

云会议是基于云计算技术的一种高效、便捷、低成本的会议形式,使用者只需要通过互联网界面,进行简单易用的操作,便可快速高效地与全球各地团队同步分享语音、数据文件及视频。

2022-11-24 14:06:20

“双减”后职业教育成爆品,东奥成首个破亿教培品牌

“双减”后职业教育成爆品,东奥成首个破亿教培品牌

“双减”之后,职业教育市场空前壮大,东奥教育在不断扩大过程中需要实现定位、业务、技术三大转型。

2022-03-31 19:55:09

即时通信IM和实时音视频TRTC组合保障鸿星尔克网络直播间稳定

即时通信IM和实时音视频TRTC组合保障鸿星尔克网络直播间稳定

点赞、评论数据量不断攀升,网友誓死也要把流量刷上去。突如其来大量的点赞评论刷屏,鸿星尔克的直播间依然稳如狗,画面流畅还能清晰展示物品细节,由此可见直播也是一门技术活。从技术层面来说他背后的架构并不简单,都是即时通信IM与实时音视频TRTC的功劳。

2022-11-24 14:13:41

牛赞:腾讯云实时音视频TRTC前端跨平台技术应用

牛赞:腾讯云实时音视频TRTC前端跨平台技术应用

LiveVideoStackCon 2021北京站邀请到腾讯云高级工程师——牛赞,为我们分享利用Flutter如何进行实时音视频渲染,并深入底层,优化视频渲染的性能。

2022-01-14 18:04:12

在云点播技术中音视频的转码工作非常重要(二)

在云点播技术中音视频的转码工作非常重要(二)

关于云点播技术技术,您了解相关的内容吗?虽然云点播技术为我们能够流畅不卡的观看视频提供了一些帮助。但是对于一段视频的播放,云点播技术主要针对一段视频想要流畅稳定的播放经常会遇到的那个问题进行完善,而那个问题则是——音视频的转码与处理。

2022-11-24 10:52:50

严选云产品

日志审计 通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,并将这些信息汇集进行集中化存储、索引、备份、全文检索、实时搜索、审计、告警、响应,获悉全网的整体安全运行态势,实现全生命周
云盒子企业文档云协作平台 15年专注企业文档在线协同及安全管理,云盒子针对企业文档管理的现状,提供电子文档在线“备份、协作、安全、交换”一体化解决方案。
腾讯安全T-Sec数据安全审计 腾讯云数据安全审计是一款基于人工智能的数据库安全审计系统,可挖掘数据库运行过程中各类潜在风险和隐患,为数据库安全运行保驾护航。腾讯金牌代理云巴巴提供一站式网络云安全产品选型和技术支持,拥有比官网更低的折扣和更完善的服务。
ServiceUltra 企业级服务云平台 ServiceUltra™为您提供了足够健壮,足以应对各类复杂的应用架构、环境、计算资源和运维工作的生产级服务云平台。
道一云医疗服务管理系统 道一云医疗服务管理系统打通协同环节,联动院前、院中、院后核心环节,真正实现管理闭环。
腾讯会议企业版 腾讯会议企业版,共享屏幕高保真还原,有效解决颜色失真、文字模糊问题。“ Tencent Screen Encoder” TSE技术,提升共享内容的压缩效率高达50%,提升屏幕共享的主观质量、节约带宽成本,Al+打造全栈Al视音频能力。

甄选10000+数字化产品 为您免费使用

申请试用