一举击败16个同类机型，视频得分比赛获胜算法入选CVPR2022，商汤amp；南洋理工大学量子比特，
- 时间:
- 浏览:0
如何使模糊的老电影高清。
AI的答案是超分辨率算法。
目前，在视频超分领域，超分赛NTIRE2021三冠一亚取得优异成绩的强大算法，正在攀登CVPR2022。
其名称为++，是对视频超分辨率SOTA模型的进一步改进。
BasicVSR获得NTIRE冠军，也曾被选为CVPR 2021。
目前，该BasicVSR+++基本上是相同的参数量，不仅性能大大超过了前辈，PSNR（峰值信噪比、图像质量评价指标）不仅提高了0.82dB，而且还可以应用于更多的视频恢复任务（例如压缩视频增强）
但是，这种基本设计限制了信息聚合的效果，例如在处理复杂的遮挡区域时，很难恢复细节。
因此，加强版的BasicVSR++在传播和对齐方面进行了重新改造，采用二次网格传播和光流感应变形对齐的设计改善了网络中的信息聚合能力，提高了屏蔽区域的鲁棒性和有效性。
其中，二次网格可以从不同的时空位置前后传播信息，从而使特征的传播更有效。
光流导向器的可变形对齐可使框架具有更强大的特征对齐。
采用这种对准方法主要是由于简单的变形对准训练效果不稳定，但变形对准的性能优于光流对准，这是由于可变形卷积（DCN）网络中具有多样性的偏移（offset）
BasicVSR+++具体架构如下：
一旦提供了输入视频，首先使用残差模块对每帧提取特征。然后，这些特征在二次网络传播中进行信息传播，对齐部分采用光流感应变形对齐，信息传播完成后，收敛特征生成输出图像。
在16种同类算法中性能的所有最优作者比较了16种不同视频过分数算法的性能、参数量及时间，结果BasicVSR++在所有数据集下的两种退化方式中都获得了最优性能（红色表示最优点数，蓝色表示次优点数）
特别是，与大容量滑动窗口算法EDSR相比，BasicVSR++获得1.3dB的性能提高，同时参数量减少65%
与以前的最新技术IconVSR相比，BasicVSR++在参数量较少的同时带来了1dB的性能提高。
更轻版本的BasicVSR++（S）与前辈的BasicVSR相比，也有0.82dB的提高，收益显著。
在具体效果中，在REDS4、Vimeo-90K-T、Vid4数据集上，BasicVSR++都能恢复极细图像，且效果最好。
现在，BasicVSR++的代码是开源的，有兴趣的人可以尝试一下。
作者介绍了一部作品陈焯杰（Kelvin C.K. Chan）南洋理工大学计算机科学工学部出身，博士3年级，本硕毕业于香港中文大学。
目前的研究方向是图像/视频恢复，发表过5篇顶级会议论文。
通讯作者是他的导师吕健勤（Chen Change Loy）、南洋理工大学计算机学院副教授、商汤南洋理工大学共同实验室S-Lab副主任。
他们两人也是BasicVSR的原作者。
BasicVSR++其余两位作者分别是该校二年级博士生周尚辰和该校研究员Xu Xiangyu。
论文地址：https：//arxiv.org/abs/2104.13371
代码：
https：//github.com/ckkelvinchan/RealBasicVSR