STability AI于 2023 年 11 月首次推出了Stable Video ,在GitHub上发布了模型代码,在HuggingFace上发布了权重,供用户在有能力的硬件上本地下载和运行。
但是,对于那些没有强大的 GPU 或没有足够的技术能力来设置所有这些的人呢?好吧,Stability AI 终于在本周推出了他们的稳定视频网站,所以现在任何人都可以尝试制作人工智能视频。
您只需拥有一个 Google 帐户和一个网络浏览器即可开始使用。
什么是稳定视频?
Stable Video Diffusion 是一款功能强大的工具,专为媒体、娱乐、教育和营销领域的广泛视频应用而设计。它允许用户将文本和图像输入转化为生动的场景,将想法转化为电影体验。
稳定视频扩散以两种图像到视频模型的形式发布,能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25 帧。
这就是它的能力:
· · ·
如果您想了解更多有关其工作原理的信息,请查看此白皮书。
示例视频
下面的示例视频由社区生成并在 Stable Video网站上展示。
提示:北极光
提示:非洲象
提示:景深动漫女孩操作航天飞机驾驶舱特写激光灯光秀反光镜神射线射线追踪金属饱和鲜艳的色彩令人惊叹的亚洲女性时装模特与daz3d风格的长棕色,卡通般的人物,迷人的海报,闪亮的眼睛,artgerm,32k uhd,可爱的卡通设计棱镜颜色弯曲光速曲线背景
如何获得稳定的视频?
前往他们的网站并使用您的 Google 帐户登录。仪表板看起来像这样:
您可以使用文本提示描述视频或上传图像作为输入。注册后,您将获得 150 个免费积分。
下面是一个带有文本提示的示例:
提示:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
AI 不会立即产生视频输出。它首先会生成四张图像,然后选择您最喜欢的一张。
人工智能首先生成四张图像,让你选择你最喜欢的。单击“继续”后,最终视频生成开始。当您等待时,Stability AI 会利用这段时间向您展示两个视频并请求您的偏好,以帮助改进未来的模型。
大约两分钟内,视频就完成了。
虽然质量可能还无法完全与 Sora 相媲美,但它看起来仍然足够不错。
注意:使用文本提示生成将花费您 11 个学分。使用图像作为输入每生成 10 个积分。
让我们尝试另一个例子。下面我使用的图像是来自 OpenAI 的 Sora 示例之一的视频帧。
这是最终结果:
它要多少钱?
新用户开始可享受 150 个免费积分。可以通过以下方式购买额外积分:
· ·
您可以将视频用于商业目的吗?
很不幸的是,不行。
Stability AI 提供模型代码和权重用于研究和非商业目的。许可证和Stability 的可接受使用政策概述了具体限制。
最后的想法
总的来说,我很高兴看到本周发布了另一款人工智能视频生成器。过去一年机器学习的进展速度令人惊叹。
我迫不及待地想看看 ControlNet 适当适应视频后人们会用它做什么。从头开始生成视频很酷,但其真正的用处是时间一致性。
能和Sora媲美吗?不太行
从稳定扩散中获得稳定的视频通常需要大量的手动后处理来消除闪烁。也许再经过几次迭代,它就会和Sora一样好。
此外,在我看来,50 个视频 10 美元的价格也很昂贵。如果您拥有高端 GPU,只需在 PC 上运行视频模型即可免费生成无限量的视频。