Stable Audio

Stable Audio 是 Stability AI 开发的一款音乐生成产品。作为首款采用最新生成式 AI 技术的同类产品，它通过简洁易用的网页界面，实现更快、更高质量的音乐与音效生成。Stability AI 提供基础免费版 Stable Audio，可生成并下载最长 45 秒的音频；另有“Pro”订阅版本，支持生成时长 90 秒且可用于商业项目的音频。

Stable Audio 非常适合希望创作音乐素材的音乐人，但创作者的应用场景几乎无限。用户只需输入描述性文本提示及期望的音频长度，系统即可生成相应音频。例如，输入“后摇滚，吉他，鼓组，贝斯，弦乐，振奋人心，鼓舞人心，忧郁，流畅，原始，史诗感，情感丰富，125 BPM”，并请求生成一段 95 秒的音频。

使用扩散模型生成音频的主要问题在于，这类模型通常被训练为生成固定尺寸的输出。例如，一个音频扩散模型可能仅在 30 秒音频片段上进行训练，因此只能以 30 秒为单位生成音频。当需要处理长度差异极大的音频（如完整歌曲）时，这一限制尤为明显。

音频扩散模型通常基于较长音频文件中随机截取的片段进行训练，这些片段会被裁剪或填充至模型训练所需长度。在音乐生成场景下，这会导致模型倾向于生成歌曲中的任意片段，可能从乐句中间开始或结束。

我们推出了 Stable Audio，一种基于文本元数据、音频时长和起始时间进行条件控制的潜在扩散模型架构，可精确控制生成音频的内容与长度。这种额外的时间条件机制使我们能够生成指定长度的音频，最大可达训练窗口大小。

通过使用高度下采样的音频潜在表示，推理速度远超原始音频。结合最新的扩散采样技术，我们的旗舰模型 Stable Audio 在 NVIDIA A100 GPU 上可在不到一秒内完成 95 秒立体声、44.1 kHz 采样率音频的渲染。