康奈尔大学开发 SNeRF 解决方案 可快速创建动态虚拟场景

随着公司探索通过数字结对实现元宇宙，快速轻松地构建风格化3D内容和虚拟世界的能力只会变得越来越重要。

最近，康奈尔大学发表的一篇论文探索了这种增长趋势，并开发了一种生成编程神经辐射场(SNeRF)的解决方案，可以比传统方法更快地创建各种动态虚拟场景。

使用各种参考图像，Thu Nguyen-Phuoc、柳峰和肖雷的研究团队可以生成风格化的3D场景，可用于各种虚拟环境。比如戴上VR头显，通过毕加索画作等风格化的镜头观察现实世界。

这个过程使团队不仅能够快速创建虚拟对象，而且能够将他们的真实世界环境用作3D对象检测虚拟世界的一部分。

值得注意的是，研究团队还可以通过同一视点的不同视角方向观察同一物体，也称为跨视点一致性，在VR中观看时会产生身临其境的3D效果。通过交替使用NerF和风格化优化步骤，研究团队可以拍摄一幅图像并将其作为参考风格，然后以适应这种图像的风格化方式重建现实世界的环境、物体或人，从而加快创作过程。

该团队表示:“我们引入了一种新的训练方法，通过交替使用NerF和风格化的优化步骤来解决这一问题。这种方法使我们能够充分利用硬件的内存容量，不仅可以生成更高分辨率的图像，还可以采用更具表现力的图像风格传输方法。我们的实验表明，我们的方法可以为广泛的内容(包括室内、室外和动态场景)生成风格化的NeRF，并合成跨视图一致性的高质量新颖视图。”

由于NerF的内存限制，研究人员不得不解决另一个问题，即如何以更实时的速度渲染出更高清的3D图像。解决方案是创建一个渲染视图循环，每次迭代都可以更加一致地定位每一遍中的风格化点，然后用更多的细节重建图像。

这项技术也改善了虚拟形象。研究小组的SNeRF风格化方法允许他们创建一个在对话中更具表现力的头像。结果是一个动态的4D头像，可以逼真地传达愤怒、恐惧、兴奋和困惑等情绪，所有这些都不需要使用表情符号或按下VR控制器上的按钮。

研究仍在继续，但目前该团队能够开发一种方法来设计3D场景。此外，他们对交替造型方法的使用使他们能够充分利用自己的硬件存储功能对静态和动态3D场景进行造型，从而使团队能够生成分辨率更高的图像，并在VR中采用更具表现力的图像风格传输方法。