VIDIA研究团队推出了名为Neuralangelo的全新AI模型，利用神经网络进行3D重建，将2D视频剪辑转化为详细的3D结构，生成栩栩如生的建筑物、雕塑和其他真实世界物体的虚拟复制品。
就像米开朗基罗利用大理石创作出惊艳逼真的作品一样，Neuralangelo通过复杂纹理和精细细节生成精美的3D结构。创意专业人士可以将这些3D物体导入设计应用程序，进一步编辑，用于艺术创作、视频游戏开发、机器人技术和工业数字孪生等领域。
Neuralangelo的独特之处在于其能够将2D视频中复杂材料的纹理，如屋顶瓦片、玻璃窗和光滑大理石，转化为3D资产，远远超越以往的方法。高保真度使得开发人员和创意专业人士能够快速创建可用于项目的虚拟对象，而这些对象可以通过智能手机拍摄的素材进行生成。
NVIDIA研究部门的高级总监刘明宇表示：“Neuralangelo提供的3D重建能力将极大地助益创作者，帮助他们在数字世界中重塑真实世界。这一工具最终将使开发人员能够将细致入微的物体，无论是小雕塑还是巨大建筑，导入虚拟环境中，用于视频游戏或工业数字孪生。”
在一次演示中，NVIDIA研究人员展示了该模型如何重建米开朗基罗的《大卫像》等标志性物体，甚至普通的平板卡车。此外，Neuralangelo还能够重建建筑物的内部和外部，研究人员展示了NVIDIA湾区园区公园的详细3D模型。
以往的AI模型在重建3D场景时往往难以准确捕捉到重复纹理、均匀颜色和强烈的色彩变化。为了解决这个问题，Neuralangelo采用了即时神经图形原语技术，这是NVIDIA Instant NeRF背后的技术，有助于捕捉这些更细致的细节。
Neuralangelo通过使用从不同角度拍摄的2D视频，选择多个帧来捕捉不同视角，就像艺术家从多个角度观察主题以获取深度、大小和形状的感觉一样。
确定了每个帧的摄像机位置后，Neuralangelo的AI会创建场景的粗略3D表示，就像雕塑家开始凿刻主题的形状一样。
然后，模型会优化渲染以提高细节，就像雕塑家耐心地雕琢石头，模仿织物或人体形状的纹理。
最终的结果是一个可用于虚拟现实应用程序、数字孪生或机器人开发的3D物体或大规模场景。
NVIDIA Research在6月18日至22日期间的计算机视觉与模式识别会议（CVPR）上展示了Neuralangelo等近30个项目。这些项目涵盖了姿态估计、3D重建和视频生成等多个主题。
其中，DiffCollage项目是一种扩散方法，可以创建大规模的内容，包括长形景观、360度全景和循环运动的图像。通过将训练数据集中的图像作为一个大型视觉的组成部分，就像拼贴画的碎片一样，DiffCollage使扩散模型能够生成具有连贯外观的大型内容，而无需对相同规模的图像进行训练。
总之，NVIDIA的Neuralangelo模型在数字重建领域取得了突破性进展，为创作者和开发人员提供了更加丰富、准确的工具，使他们能够在数字世界中创造出逼真的虚拟对象，推动相关行业的发展。在CVPR会议上的展示进一步展示了NVIDIA在计算机视觉领域的领导地位和持续创新。
相关文章
