Yongbing Zhang, Lixin Chen, Chenggang Yan, Peiwu Qin, Xiangyang Ji, Qionghai Dai

       帧速率上转换（FRUC）通常由于缺少要插值的当前帧而遭受不可靠的运动矢量。此外，由于大多数视频序列通常通过各种编码标准进行压缩以减少数据量，因此FRUC中生成的帧的质量将进一步受损。为了解决这个问题，我们提出了两种基于深度剩余网络的FRUC算法。我们首先为FRUC（DRNFRUC）提供深度剩余网络，其包括特征提取，特征递归分析和图像恢复部分，其中网络的输入和输出之间具有跳过连接。所提出的DRNFRUC将任意现有FRUC方法的结果作为输入，并且当块的运动剧烈时能够显着减少边缘模糊和块效应。此外，我们提出了一种用于FRUC的具有加权卷积运动补偿（DRNWCMC）的深度残余网络，其中卷积运算可以嵌入到任何现有的基于MCI的FRUC方法中的运动补偿内插（MCI）中。在DRNWCMC中，我们首先设计两个分别对应于前向和后向运动补偿帧的卷积神经网络。然后将运动补偿的自适应插值系数设计为两个1×1卷积核。最后，将WCMC的插值结果输入另一个卷积神经网络，以进一步提高性能。 DRNWCMC中涉及的所有参数都在相同的成本函数下同时进行训练。实验结果表明，这两种算法可以显着提高插值帧的客观和主观质量。 

       该成果发表于 IEEE Transactions on Circuits and Systems for Video Technology期刊。

Weighted Convolutional Motion-Compensated  Frame Rate Up-Conversion Using Deep Residual  Network.pdf