为了评估本文模型在多帧生成方面的能力，研究者分别提供了 Vimeo90K 测试集中大幅动作的 2×、4× 和 8× 结果，如下图 6 所示。可以看出来，RIFE 能够生成平滑而连续的运动。

表 5：不同损失函数的设置。去掉 leakage distillation 损失函数会导致性能的大幅下降，特别是在高分辨率基准上。

表 4：在 IFBlock 上不同的比例设置。IFNet 采用的是 (4, 2, 1) 设置， (1, 1, 1) 的组合只能在 UCF101 这种分辨率有限（256 × 256）的数据集上获得更好的性能。

游戏盒子ps2 4k

表 2：在 UCF101、Vimeo90K、Middlebury OTHER 数据集和 HD 基准上的定量对比。红色和蓝色数字分别指的是最佳和次佳的性能。

在实验部分，研究者选取了以下基准用于方法的评估，包括 Middlebury、UCF101、Vimeo90K 和 HD。研究者在 Vimeo90K 训练集上训练本文提出的模型，然后在上述基准中测试它们。

如以往研究一样，IFNet 利用迭代更新流程生成了最终流估计，并且研究者将 leakage distillation 损失运用到了整个预测序列中。

由于无法获取中间图像并缺少监督，中间流难以进行直接近似。为了解决这个问题，研究者在 IFNet 中添加了一个 leakage distillation 损失，其目的是为了预测出一个能够获取中间帧的 overpowered 教师网络。这个 leakage distillation 损失的定义如下：

如下表 1 所示，研究者将 IFNet 与当前的 SOTA 光流估计网络的运行时进行了比较。目前基于流的模型通过需要运行两次才能得到双向流，而本研究中间流估计过程的运行速度较以往方法缩短了 6 至 30 倍。因此 IFNet 为开发实时流 VFI 算法提供了可能。

在下图 4 中，研究者提供了 IFNet 的视觉效果，并与预训练 LiteFlowNet 生成的线性组合双向光流进行了比较。结果表明，IFNet 生成了清晰的运动边界，而线性组合流出现了像素重叠和模糊的运动边界。

RIFE 包含两个主要组件，分别是利用 IFNet 进行高效的中间流估计和使用 FusionNet 时 warp 帧的融合过程。RIFE 的整体结构如下图 2 所示：

对于这种实时中间流估计算法，网友对其效果大加赞赏，并表示：「这种算法同样适用于游戏，很快老旧的 PS2 也能玩 4K 游戏了。」

研究者设计了一个名为 IFNet 的中间流模型，该模型可以直接估计从多到少的中间流。然后根据估计的中间流对输入帧进行 warp，并采用融合过程来计算最终结果。基于该研究提出的 leakage distillation 技术，RIFE 能够进行端到端训练并获得出色的性能。实验表明，RIFE 比现有基于流的视频帧插值方法要快得多，并且在多个基准上达到 SOTA。

由于现实世界中存在复杂、大量的非线性运动和光照变化，因此视频帧插值方面还有一些挑战性问题存在。基于流的视频帧插值算法最近提供了解决这些挑战的框架，并且取得了出色的结果。根据如何 warp 输入帧，基于流的视频帧插值算法可以分为前向 warp 和后向 warp 方法，但这些方法基本上都有过于复杂沉重和缺少对近似中间流的直接监督等缺点。

视频帧插值（VFI）是当前视频处理中的一种常见方法名将三国下载网页游戏推荐，广泛用于提高帧速率和增强视觉质量，它支持各种应用，例如慢动作合成、视频压缩和用于动态视频去模糊的训练数据生成。此外，在实时速度下，高分辨率视频（如 720p、1080p）上，视频帧插值算法还有许多潜在的应用。

在视频处理中，视频帧插值技术已经得到了广泛的应用。然而，传统的基于流的视频帧插值算法并不完美，有时不仅速度较慢，还会产生较多的伪影。针对这些问题，在本文中，来自旷视科技和北京大学的研究者进行了改进，提出了一种高效的实时中间流估计算法，不仅运行速度实现了数倍甚至数十倍的提升，而且伪影也较以往方法少得多。

专题： 畅玩盒子游戏   趣盒子游戏三国志   三国战棋游戏盒子