Video2Game，通过单个视频生成实时、交互式、逼真且与浏览器兼容的游戏环境

Video2Game，通过单个视频生成实时、交互式、逼真且与浏览器兼容的游戏环境。

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

项目：video2game.github.io
论文：arxiv.org/abs/2404.09833
Demo：video2game.github.io/src/garden/index.html

论文摘要：
创建高质量的交互式虚拟环境（例如游戏和模拟器）通常涉及复杂且成本高昂的手动建模过程。

在本文中，我们提出了Video2Game，这是一种新颖的方法，可以自动将现实世界场景的视频转换为逼真的交互式游戏环境。

我们系统的核心是三个核心组件：
1. 神经辐射场（NeRF）模块，可有效捕获场景的几何形状和视觉外观；
2. 一个网格模块，可从 NeRF 中提取知识以实现更快的渲染；
3. 物理模块，用于模拟对象之间的相互作用和物理动力学。

通过遵循精心设计的流程，人们可以构建现实世界的可交互且可操作的数字复制品。

我们在室内和大型室外场景上对我们的系统进行基准测试。我们表明，我们不仅可以实时生成高度逼真的渲染，还可以在此基础上构建交互式游戏。