高糊动作秒变4K！Facebook发布低分辨率视频实时渲染算法：好东西玩不了-量子比特

贾浩楠凹非报道寺量子位｜公众号发qbitai

还记得引起巨大讨论，将LeCun逼到推特的低分辨率图像复原算法PULSE吗

PULSE是一种恢复低分辨率图像的算法，但在PULSE出现后，开发了一种实时渲染高分辨率模糊视频的算法

不久前，在SIGRAPH2020上发表的一篇新论文提出了一种神经网络算法的神经超级采样。

新算法允许低分辨率视频的4*4实时渲染。也就是说，几乎所有的视频都可以以16倍的分辨率变成4k视频。

1080p的渲染延迟可抑制到24.4毫秒！

除了超低延迟之外，该算法的一大进步是从特定的硬件和技术（如真实引擎的TAAU和英伟达的DSSL）中解放出来，可以在PC上实现。

高糊骑兵动画马上就要4K了！

很快，我们将进行实时渲染实测。

下图从上到下，使用神经超采样算法（分辨率16倍）渲染以低分辨率输入的视频，从而脱机渲染目标屏幕快照。

通过“神经超采样”算法的实时渲染输出，可以看到以相当接近目标渲染影像的精度再现了详细的影像。

如此出色的表现，令网友惊叹不已。Facebook方面认为，该技术主要用于游戏开发和实时VR技术，但网友们希望FB将该技术用于重置早期的3D游戏，如德尔塔福斯、驱逐等。

有些游戏已经有了重制版，但该算法允许自动渲染，并大大提高了效率。

那么这个高性能的实时渲染算法是如何实现的呢

秒4K怎么实现

neural-supersampling for realtime rendering算法主要具有四种不同的功能。

首先是特征提取模块，有三层卷积神经网络。此子网络单独处理每个输入帧，并在除当前帧以外的所有帧中共享权重。

对于每一帧，特征提取模块将颜色和深度作为输入生成8个通道的学习特征，将输入的颜色和深度连接起来获得共计12个通道的特征。网络如下图所示。

接下来，为了降低网络重建的复杂性，我们使用渲染的运动向量应用时空重投影，将上一帧的像素采样和学习特征投影到当前。

要使用低像素的后向运动矢量，必须将时空重新投影到目标（高）分辨率空间中。首先，将输入（低）分辨率空间的像素样本投影到高分辨率空间，将各输入像素分配给对应的高分辨率像素，将其周围的所有缺失像素设为零。

各输入像素的位置平均配置在作为非采样比的高分辨率的像素之间。零解采样是为了提高效率，并向网络提供哪些示例有效或无效的信息。

然后，可以利用运动矢量的襟翼平滑特性，轻松地将渲染的低分辨率运动矢量贴图调整为高分辨率。这种简单的方法会使未采样的运动矢量产生误差，但通过这种方法可以控制运动矢量。

下一步是对未失采样的前一帧进行反向扭曲，这将使用上采样向量对前一帧进行零上采样。在翘曲过程中采用双线插补。

第三部分是特征权重的重做

渲染的运动向量不会反映动态不协调或着色帧之间的变化。因此，扭曲的帧包含对象，例如阴影到遮挡区域和不匹配阴影区域的不匹配像素。

为了解决这个问题，研究人员引入了特征再加权法模块来阻塞这些不匹配样本。

特征重加权模块是一个三层卷积神经网络，它将当前帧的零采样RGBD、零采样和扭曲的前一帧同时作为输入，为每个前一帧生成像素加权映射。权重值介于0和10之间，10是超级参数。

设置超参数不仅可以衰减学习的贴图，还可以放大每个像素的特征。

最后，每个加权映射将乘以相应前一帧的所有特征。

第四部分是重构，它将当前帧的特征和重新加权的先前帧的特征连接起来，并反馈给输出恢复的高分辨率图像的重构网络。重建子模块采用3级、10层u-net，有跳过连接。

实验结果

团队实验的条件是英伟达Titan V卡，算法使用Nvidia TensorRT优化为16 bit。

下图显示算法渲染不同分辨率视频所需的运行时间（16倍分辨率），单位为ms。Ours是基本算法，ours-fast是简化的快速版。

此表显示了将1080p分辨率渲染为目标时的每个算法步骤的运算时间。

与现行的同功能算法相比，4*4超神经元采样算法在各指标上领先。这些结果是在正常的四个视频中测试了10次。

通用处理器不运行的实时不实时

4*4超神经采样算法对于低分辨率视频的实时渲染非常出色，而Facebook算法官方宣布，它将在PC上运行，超出了特殊的硬件和技术限制。

但是网友们揶揄说，要实现实验结果所示的“实时”渲染表现，英伟达Titan V是必要的。

目前的Titan V售价在3000美元左右，但已被各种厂商优化，甚至更昂贵。

“实时”是有钱人的特权吗。

Reddit用户呼吁，应该制定一个标准，只把通用CPU上可以实时的东西称为实时。

你认为这个实时渲染的高分辨率算法的价值是多少？要付出Titan V的成本来实现这个算法吗

论文地址https：//research.FB。com/polual-supersampling-for-real-time-rendering/。

演示成果https：//research.FB。com / blog / 2020/07 / introducing neuralsupersampling for realtime rendering /