Weighted Convolutional Motion-Compensated Frame Rate Up-Conversion Using Deep Residual Network

Yongbing Zhang, Lixin Chen, Chenggang Yan, Peiwu Qin, Xiangyang Ji, Qionghai Dai

       帧速率上转换(FRUC)通常由于缺少要插值的当前帧而遭受不可靠的运动矢量。此外,由于大多数视频序列通常通过各种编码标准进行压缩以减少数据量,因此FRUC中生成的帧的质量将进一步受损。为了解决这个问题,我们提出了两种基于深度剩余网络的FRUC算法。我们首先为FRUC(DRNFRUC)提供深度剩余网络,其包括特征提取,特征递归分析和图像恢复部分,其中网络的输入和输出之间具有跳过连接。所提出的DRNFRUC将任意现有FRUC方法的结果作为输入,并且当块的运动剧烈时能够显着减少边缘模糊和块效应。此外,我们提出了一种用于FRUC的具有加权卷积运动补偿(DRNWCMC)的深度残余网络,其中卷积运算可以嵌入到任何现有的基于MCI的FRUC方法中的运动补偿内插(MCI)中。在DRNWCMC中,我们首先设计两个分别对应于前向和后向运动补偿帧的卷积神经网络。然后将运动补偿的自适应插值系数设计为两个1×1卷积核。最后,将WCMC的插值结果输入另一个卷积神经网络,以进一步提高性能。 DRNWCMC中涉及的所有参数都在相同的成本函数下同时进行训练。实验结果表明,这两种算法可以显着提高插值帧的客观和主观质量。 

       该成果发表于 IEEE Transactions on Circuits and Systems for Video Technology期刊。

Weighted Convolutional Motion-Compensated  Frame Rate Up-Conversion Using Deep Residual  Network.pdf


联系我们

联系人:孙老师

电话:0571-86878691

工作电话:0571-86878691

电子邮箱:syq@hdu.edu.cn

智能信息处理实验室

浙江省杭州市杭州经济开发区白杨街道2号大街1158号 杭州电子科技大学