一个NeRF实现全缩放：港中大团队BungeeNeRF从单建筑到地球可渲染，

你可以相信这是AI利用图像重建的3D场景吗。

这么大规模的场景能维持这么高的分辨率，是不是和谷歌地图搞错了。

没有！这是团队提出的模型：BungeeNeRF（也称为CityNeRF），适用于各种尺度的场景恢复。

目前，这篇论文收录在ECCV2022中。

从一个建筑到整个地球等大型场景，可以从多个二维图像恢复到三维场景，细节渲染也很扎实。

网友们对BungeeNeRF的研究成果也很兴奋。

这么厉害，BungeeNeRF是怎么做到的？

当多级监视的渐进式模型以多尺度恢复三维场景时，将改变大规模数据，增加学习难度，并改变图像焦点。

在用于生成3D场景的照片中，使用包含各种视角和距离的渐进神经辐射场，以表示各种尺度下的场景的渐进方式构建和训练模型。

这种渐进的方法可以分割每个网络层的操作，在不同的尺度上激活不同的频带信道，并在每个尺度上释放相应的细节。

不仅可以很好地渲染大型场景的细节，还可以保持小型场景的细节。

具体来说，该模型能够很好地恢复各种缩放的三维场景，主要得益于以下两部分。

首先，是具有残差块结构的渐进增长模型，由此，能够解决在现有模型的大规模尺度上产生伪影的问题。

该模型预先设置训练阶段的总数（Lmax），该训练阶段是在相机与场景之间的连续距离离散之后的段数。

换句话说，模型的每个阶段的训练是指在不同尺度下的训练。

然后，从远程视图（L=1、开始，随着训练的进行，BungeeNeRF在每个训练阶段被编入更接近的尺度（L+1、

通过允许模型在初始训练阶段向周边区域投入更多的成本，可以弥补样本分布的偏差。

在训练阶段，训练组的增加伴随着残差块的增加。

每个残差块都有自己的输出头，可用于预测连续阶段之间的颜色和密度残差，以及捕捉近距离观察时场景中新出现的复杂细节。

接着，是具有包容性的多层监视结构。

为了在所有比例下保持图像的渲染质量，在训练阶段，输出头将由比前一个更大比例的图像共同监督，该阶段的损失将集中到前一个所有比例的输出头上。

在多级监督设计中，更深的输出头考虑了细节的复杂性，因此渲染的视图也更加清晰和逼真。

与其他模型的各种尺度上的详细渲染效果相比，效果更显著。

全尺度细节渲染研究小组在论文中提供了在BungeeNeRF中生成的三维场景与其他模型的比较，BungeeNeRF明显优于其他模型，更接近实际场景。

此外，控制LOD（详细级别）以允许从不同的残差块灵活地退出。

当图像放大时，后者的输出头逐渐在前一级的粗输出中添加复杂的几何和纹理细节，同时保持在浅层学习到的特征对于早期的输出头来说是有意义的。

如果有兴趣的话，可以点击下面的链接了解详细情况~

参考链接：[1]https：//arxiv.org/pdf/2112.05504v2.pdf[2] https：//city-super.github.io/citynerf/[3] https：//twitter.com/XingangP/status/1553014023871922176