什么是 SV3D？

Stability AI 宣布发布其最新模型Stable Video 3D ( SV3D )，该模型专为渲染 3D 视频而设计。SV3D 在其之前的 Stable Video Diffusion 模型的基础上引入了新的深度，支持从单个图像输入创建和转换多视图 3D 视频。

SV3D 将单个对象图像作为输入，并输出该对象的新颖多视图

增强 3D 视频生成

一致的多视图渲染SV3D擅长为对象生成一致的多视图视角，解决了 2D 模型中常见的新视图合成不一致的痛点。通过直接从新合成的视图生成 3D 网格，SV3D可确保从任何角度的一致性。

使用 SV3D 模型及其输出，通过我们的 3D 优化对 3D 网格生成进行采样。

多样化的应用研究人员强调，SV3D不仅可用于游戏中的 3D 对象生成，还可用于电子商务，通过 360 度环视视频提供身临其境的购物体验，增强消费者参与度。

模型变体的多功能性SV3D包含两种变体：SV3D_u和SV3D_p。SV3D_u允许从单个图像输入生成 3D 视频而无需其他参数，而SV3D_p将单个图像与轨迹视图相结合以沿特定摄像机路径生成 3D 视频。

与现有作品相比，Stable Video 3D 能够生成更详细、更忠实于输入图像、多视图一致的新颖多视图

增强性能SV3D比之前的稳定版 Zero123型号更胜一筹，可提供卓越的视频质量和多视图性能。其效率和质量指标均超越Zero123-XL 。

SV3D 与 EscherNet 和 Stable Zero123 生成的输出进行比较

改进的生成能力通过将摄像机路径配置集成到稳定视频扩散框架中，SV3D增强了其生成能力，确保了各个视角的一致性和自然连贯性，这比以前的方法有了显着的改进。

创新技术SV3D采用解缠光照优化和掩蔽分数蒸馏采样损失技术，能够独立调整光照效果而不影响其他场景元素，从而保持物体质量和一致性。