视频超分辨论文理解：Frame-Recurrent Video Super-Resolution
发布时间
阅读量：
阅读量
这篇论文是2018年CVPR会议的一篇关于视频超分辨率的技术综述。它主要分析了传统视频超分辨率方法中的不足之处，并将其建模为多个独立进行的多帧超分辨率任务。每个独立进行的任务都会根据输入的一组低分辨率（LR）图像生成一个高分辨率（HR）图像。然而由于这些生成的HR图像之间缺乏时空上的关联性，在连续性上显得不够理想。此外这种方法还存在较高的计算复杂度问题。为此作者建议，在生成下一帧时将前一时刻生成的高分辨率（HR）图像纳入网络处理流程中。这种改进不仅能够保证时间上的连贯性，并且有效降低了整体计算开销
网络结构如下：
具体的实现过程如下：
首先采用光流估计网络FNet，在输入提供的当前低分辨率（LR）图像和上一个帧的低分辨率（LR）图像之间计算运动向量，并生成对应的低分辨率（LR）光流图。接着通过对这些特征图应用双线性插值方法，在预设缩放比例下对其进行upsampling以恢复高分辨率。随后将生成的高分辨率光流图与前一个被解码出的高分辨率参考帧进行配准处理，并将结果传递至后续模块执行spatial-to-depth的空间变换处理。随后对该结果执行spatial-to-depth的空间变换处理。
FNet和SRNet的内部结构如下：
这是放大四倍的结构图。上面是SRNet，下面是FNet。
系统运行所采用的损失函数由两部分构成：如图所示
另一项是：
总的损失是这两项之和：
全部评论 (0)
还没有任何评论哟~