Stability AI发布Stable Zero123：从单张图像生成高质量3D对象

资讯1年前 (2023)更新花花

3,254 0 0

2023年12月13日，Stability AI正式发布了最新成果——稳定Zero123，这是一款引人注目的视图条件图像生成模型。与此前的Zero123-XL相比，该模型在质量上实现了显著提升，成功生成了对象的多角度新视图。

技术亮点

训练数据集升级： 从Objaverse中精选了高质量的3D对象，并采用更真实的渲染方式，优化了训练数据集。
高度角度条件： 在训练和推理过程中，为模型提供了模拟计算的相机角度，使其能够更准确、高质量地生成预测。
训练效率提升： 利用预先计算的数据集和支持更高批处理大小的改进数据加载器，实现了与Zero123-XL相比40倍的训练效率提升。

资源需求

生成一个新视图所需的VRAM与稳定扩散1.5相同。但若要使用稳定Zero123生成3D对象，则需要更多的时间和内存（建议使用24GB VRAM）。

开放研究与应用

为促进3D对象生成的开放研究，改进了threestudio开源代码，支持了Zero123和稳定Zero123。目前，这一简化版的稳定3D流程正处于私人预览阶段。技术上，采用了得分蒸馏采样（SDS）来优化NeRF，使用稳定Zero123模型，从而创建具有纹理的3D网格。这一流程也可用于文本到3D生成，首先使用SDXL生成单一图像，然后再使用稳定Zero123生成3D对象。

非商业使用

将稳定Zero123模型发布于Hugging Face平台，供研究人员和非商业用户下载和实验。但需要注意，该模型仅用于研究目的，不可用于商业用途。
Zero123下载地址：stabilityai/stable-zero123 · Hugging Face