随着移动互联网的快速发展,视频通话已经成为人们与远方的亲朋好友之间最重要的通讯方式。然而目前视频通话的画面质量往往不尽如人意,观看体验远远不如录制的视频。日前,我校在读研究生肇恒润在该校自动化学院智能信息处理实验室主任颜成钢教授以及团队郑博仑老师的共同指导下开展了一项研究,有望能大幅度提升视频通话的画面质量,让视频通话的体验更如身临其境。相关论文已被图像处理领域国际顶级期刊IEEE Transactions on Circuits and Systems for Video Technology(SCI 一区期刊,影响因子4.682)录用。
原来,受网络的带宽限制,视频通话的画面必须进行大幅度的压缩才能进行实时传播,画面中的模糊、马赛克块等一系列失真也是在压缩过程中造成的。而肇恒润的这篇题为CBREN: Convolutional Neural Networks for Constant Bit Rate Video Quality Enhancement的论文,能够实现“通过在像素域和频域的联合深度学习,对压缩失真进行建模并修复,使画面还原到如同压缩前的状态。”
“疫情让很多人过年也不能与亲朋好友团聚,视频电话就成了千里相见的唯一桥梁。但是严重失真的视频让熟悉的面孔在屏幕上变得模糊不清,人们渴望得到更清晰的视频画面。实时视频的质量增强任务非常有意义。”肇恒润对记者说,实时传播的视频中的不同的片段的压缩程度并不相同,因此视频的质量有着大幅度的波动,然而现有的视频质量增强方案都是面向恒定质量的视频进行设计,在实时视频上的增强效果都非常有限。“我们提出了一种为实时视频增强设计的两步损失估计策略,先对视频整体的压缩程度进行粗略估计,在此基础上根据视频中每帧的内容再进行动态的调整,从而实现对实时视频中的失真的建模和修复。”
据了解,肇恒润设计的视频质量增强方法,共研究了一年多的时间。该方法在定码率压缩视频质量增强效果上超越了现有方法,在网络直播,网络会议,视频修复重制等领域也具有重要应用价值。
该项研究依托自动化学院智能信息处理实验室(IIPL)完成。该实验室由颜成钢教授领衔,与美国北卡罗来纳大学教堂山分校、悉尼科技大学、中国科学院、清华大学等国内外多家高校和科研院所有长期密切的合作,近年来培养出多名优秀学生。
转自 杭电新闻 原文链接http://www.hdu.edu.cn/news/general_29167联系人:孙老师
电话:0571-86878691
工作电话:0571-86878691
电子邮箱:syq@hdu.edu.cn
智能信息处理实验室
浙江省杭州市杭州经济开发区白杨街道2号大街1158号 杭州电子科技大学