背景:

       移动互联网的普及和多媒体通信业务的发展带来了多媒体数据的急剧增长,对于现有的移动网络提出了严峻挑战。其中,会话视频业务能够满足用户“不论身在何处,都能面对面交流”的需要,其应用日益广泛。然而,移动网络中的带宽不确定性较大,使得现有的会话视频业务的质量无法得到保证。面对有限的无线网络通信资源与不断增长的实时视频会话业务需求,现有通用视频编码技术性能难以大幅度提升。

系统架构:

       通过多媒体处理与无线网络协同,利用网络中可预先计算或存储的先验信息,将传统面向模式识别的模型转变为面向通信的人脸跟踪拟合模型,仅传输少量未知、变化的模型参数,通过模型拟合和参数压缩的方法,在低码率情况下,大幅提升了视频的重建质量。

MOBILE INTERNET

移动互联网

关键技术:

      提出了基于模型的低码率会话视频编码方案,其中包括 “级联回归人脸关键点定位与正则鲁棒跟踪”、“基于率失真优化的帧内/帧间模型参数比特分配”、“模型+对象的混合会话视频编码”、“基于先验信息的实际无损外观子空间模型压缩”等一系列关键技术,实现了高自然度与低码率的有机结合。

应用案例:“有面儿”网络视频面试招聘平台

     完成了阿里、百度、腾讯等50家百强企业和40所高等院校的近百场网络视频招聘,得到权威部门、企业和应聘者的高度认可。实测结果表明,“能够以5KBps 的码率支持单路实时标清视频通话,在同等用户体验质量的条件下,与传统的腾讯视频相比,可降低视频传输的数据量10倍以上;在同等网络条件下,支持的并发视频通信业务对数达到业界典型规模的2.5倍,增强了视频通信业务的服务能力与服务质量”。

基于模型的低码率会话视频编码方案