Stable Audio
软件描述
由Stability AI开发的Stable Audio是一款音乐生成产品,它采用一种新颖的潜在扩散模型,在文本元数据和时间条件的约束下生成不同长度的音频,具备更快的推理速度,并能对内容和时长进行创造性控制。
官方网站
访问软件的官方网站了解更多信息
www.stableaudio.com
什么是 Stable Audio?
Stable Audio 是由 Stability AI 开发的一款音乐生成产品。该产品利用最新的生成式人工智能技术,通过简洁易用的网页界面,快速生成高质量的音乐和音效。Stability AI 提供免费的基础版本,可用于生成和下载时长不超过45秒的音频片段,以及付费的“Pro”订阅版本,可生成长达90秒的音频,适用于商业项目下载。
Stable Audio 非常适合希望为自己的音乐创作采样素材的音乐人,但创作者的应用场景却远不止于此。用户只需输入描述性的文本提示以及期望的音频时长,即可生成相应的音频片段。例如,输入“后摇滚风格,吉他,鼓组,贝斯,弦乐,充满希望,振奋人心,忧郁,流畅,原始,史诗感,感伤,125 BPM”,并请求生成95秒的音频片段。
使用扩散模型生成音频时面临的主要问题在于,扩散模型通常被训练为生成固定长度的输出。例如,一个音频扩散模型可能被训练在30秒的音频片段上,因此只能生成30秒的音频片段。当需要生成时长差异极大的音频(如完整歌曲)时,这一限制便成为难题。
音频扩散模型通常会从较长的音频文件中随机截取片段,再进行裁剪或填充以适配模型训练所需的时间长度。在音乐生成场景中,这会导致模型倾向于生成歌曲中的任意片段,这些片段可能恰好在乐句的中间开始或结束。
我们推出了 Stable Audio,这是一种基于文本元数据以及音频文件时长和起始时间的音频潜在扩散模型架构,能够对生成音频的内容和时长进行有效控制。这种额外的时间条件输入,使我们能够生成指定长度的音频,时长可达到训练窗口的最大值。
通过使用高度下采样的音频潜在表示,相比原始音频,推理速度显著提升。借助最新的扩散采样技术,我们的旗舰产品 Stable Audio 模型能够在 NVIDIA A100 GPU 上,不到一秒的时间内渲染出44.1 kHz采样率的立体声95秒音频。