如果你关注过 AI 音乐,一定听说过 Suno。这是目前做得最好的 AI 音乐平台之一,只需输入一句话,就能生成一首专业极强的音乐。但它的灵活度不够高——生成音乐没法精确修改,也没法基于一首已有歌曲做自定义调整。

最近发现了一个开源项目YuE2,不仅免费无次数限制,还解决了 Suno 没法精确编辑音乐的问题。
YuE2 是什么
港科大做的开源音乐生成模型,9 月发布新版时直接冲到了 GitHub Trending 第一名。在 WildSongBench 基准测试中拿到 6.96 分,超过 Suno V5、Suno V6、Mureka V9 等主流音乐模型。

举个例子,《学猫叫》这首魔性歌曲,用 YuE2 可以生成魔改版:只修改音色和歌词,旋律、段落结构等和原曲几乎一致。

最关键的是,它是一个开源项目,只要电脑配置够用,就可以分币不花地在本地随意生成音乐。

一开始网友反馈,在 RTX 4090 上生成 214 秒的歌曲仅需 71 秒。但 YuE2 还有量化版本,RTX 4060(8GB)实测使用量化版模型,同样可以在 1 到 2 分钟内生成一首歌。


先写谱,再唱歌
其他模型大多是把歌词丢进去直接生成音频。而 YuE2 不一样:它收到歌词后,会先写出一份 ABC 格式的乐谱,然后再照着谱子合成人声和伴奏。

所以你生成的每一首歌,背后都有一份人能看懂的乐谱文件。当你想精确修改音乐时,AI 模型就有了具体参考——在乐谱上改一个音,它就会照着修改后的乐谱生成旋律,做到精确控制。

你也能通过和 AI 对话来调整:比如让它温柔一点、凌厉一点、把贝斯换成小号等等,AI 会根据你的描述去修改乐谱。
安装和使用
原版模型需要 RTX 4090 显卡,但量化版本在 RTX 4060(8GB)上也能跑。可以先把部署提示词发给 Agent,让它自动安装:
https://github.com/multimodal-art-projection/YuE
帮我在电脑里部署这个项目的量化版本,先查询我的电脑配置,然后根据配置部署可运行的量化版本。

另外,GitHub 上还有不少 YuE2 的可视化项目。其中YuE2 Studio自带可视化界面且打包成安装包,安装后就能直接上手。

第一次启动时,需要先下载 YuE2 模型,可以选择原版,也可以选择适配不同配置的量化版。软件启动时会检测配置,默认推荐适合你的版本。

模型下载完成后进入创作界面。它分为两个工作模式:工作室模式和翻唱模式。

工作室模式就是正常生成音乐:输入歌词、风格、想要的乐器、BPM 等等,AI 会先生成乐谱,再根据乐谱生成音乐。这里也有乐谱编辑界面,懂乐谱的话可以直接编辑,不懂也可以用提示词微调。

翻唱模式可以在保留旋律的情况下,修改音色、歌词等内容。需要先上传一首歌,AI 会自动提取里面的旋律并制作成乐谱,然后按你指定的音色或歌词重新生成。

它还自带歌词 AI 润色、音轨分离等附加功能,可以通过安装扩展来使用。


写在最后
AI 音乐不是啥新鲜玩意,但这么久以来,除了模型越做越大、音质旋律越来越好,在音频控制方面貌似没有太大进步。YuE2 的出现确实让人感受到不一样的体验——它不只是让音乐效果更好,也给创作者留出了更多可以精确控制的空间。
最最重要的是,它开源免费,不用花一分钱,可以部署到自己的电脑上,随意研究和使用,没有任何限制。
Github: