听一首歌,然后探索其符号化计划中的旋律、节奏与和弦。英文符号化规划中,Hi-NRG 有生成歌曲、符号乐谱与原始录音,语言英语,调性升C小调,拍号4/4,速度150 BPM,交互式ABC乐谱红音符跟随录音。全部选定乐谱65例。熟悉歌曲可呈现不同形态,聆听旋律、歌词、速度、编曲变化,如戏剧硬摇滚176 BPM示例含歌词改写与和弦条件化ABC。
正文
听一首歌,然后在它的符号化音乐计划里查看旋律、节奏与和弦。
Hi-NRG
生成的歌曲、符号乐谱、原始乐谱录音。语言:英语;调性:C#m;拍号:4/4;速度:150 BPM。可交互 ABC 乐谱中,红色音符跟随乐谱录音。全部精选乐谱 65 例。
同一首熟悉的歌可以变成另一种样子。听听旋律、歌词、速度和编曲的变化。
01 戏剧化硬摇滚 · 176 BPM:歌词重写、结构片段、和弦条件 ABC。
02 重金属摇滚 · 160 BPM:速度 104 → 160 BPM,无和弦旋律输入,风格重编。
03 重金属 · 160 BPM:速度 97 → 160 BPM,风格重编;3/4 拍。
04 亲密钢琴抒情曲:结构缩减,速度 126 → 90 BPM,风格重编。
05 热带 Calypso 流行 · 122 BPM:歌词重写、风格重编、和弦条件 ABC。
06 室内民谣 · D 小调 · 118 BPM:旋律重映射,F 大调 → D 自然小调,无和弦旋律输入。
07 灵魂爵士放克 · 104 BPM:速度 82 → 104 BPM,无和弦旋律输入,风格重编。
08 新奥尔良铜管放克 · 115 BPM:歌词重写、风格重编、和弦条件 ABC。
09 圣诞流行 · E 小调 · 104 BPM:旋律重映射,G 大调 → E 自然小调,无和弦旋律输入。
10 爵士抒情曲 · 60 BPM:风格重编,2/4 拍。
每首都有提示与歌词,以及 ABC 乐谱与播放。
Agentic music editing
一首歌 · 9 步 · 14 个版本
The Last Train
由一位研究者与 GPT-6 Astra Max 共同创作。
我用 YuE2 生成了一首中文流行歌,然后与 GPT-6 Astra Max 一起做了多轮编辑。我给出音乐上的反馈;Astra 修改乐谱、风格和歌词,YuE2 渲染每一个版本。最后得到的是一首英文爵士歌,带有现代和声、两次完整的《小星星》陈述和一段萨克斯独奏。
01 生成:先用一首流行歌起步,1 个版本以上
研究者的开场简述:先做一首流行歌。让模型生成完整的音乐计划,再把计划变成歌。
GPT-6 Astra Max:我写了一首中文歌《末班车》,关于一场留有希望的告别。YuE2 生成了旋律与和弦计划,并渲染成原声流行。
听点:原始副歌是后面每一次编辑的旋律起点。
中文 · 乐谱 93 BPM · 全长 2:46。起始歌曲及其模型生成的乐谱。
风格:原声流行,温暖女声,钢琴、干净电吉他、贝斯与鼓。风格提示为:中文,当代原声流行,温暖而富有表现力的女声主唱,中文咬字清晰,钢琴、干净电吉他、有旋律感的电贝斯、紧凑的原声鼓,明亮易唱的副歌,亲密的主歌,怀有希望又带苦涩的情绪,精良录音室制作,4/4,96 BPM。
歌词:新的中文歌词,末班车、告别与对更好日子的祝愿。
[Verse 1] 末班车的窗 映着你的脸 雨停在屋檐 城市还没眠 你把旧车票 折成一只船 说有些告别 是另一种岸
[Pre-Chorus] 路灯一盏一盏 往身后走远 我把没说的话 轻轻唱一遍
[Chorus] 让风把明天 吹到你身边 让星光落在 你经过的街 就算这一路 没有我并肩 也愿你抬头 就看见晴天
[Verse 2] 便利店的灯 亮过十二点 热咖啡的香 飘过旧唱片 我把你的笑 收进了书签 翻开哪一页 都还是春天
[Pre-Chorus] 路灯一盏一盏 往身后走远 我把没说的话 轻轻唱一遍
[Chorus] 让风把明天 吹到你身边 让星光落在 你经过的街 就算这一路 没有我并肩 也愿你抬头 就看见晴天
[Bridge] 别怕列车 开往陌生站 你带着光 就不会孤单
[Final Chorus] 让风把明天 吹到你身边 让星光落在 你经过的街 就算这一路 没有我并肩 也愿你抬头 就看见晴天
[Outro] 末班车的窗 慢慢走远 我朝着明天 说一声再见
02 重新配和声:保留旋律,只换和声,3 个版本以上
研究者:保留旋律和歌词,但用重新配和声让乐谱更有爵士味。风格提示也改。
Astra:我把流行和声换成扩展爵士和弦,改了编曲提示。还渲染了两个对照:一个只改风格、保留原谱,一个只以旋律为条件、不写和弦。
听点:比较和声被编辑时、只改风格时,以及模型自己配伴奏时,什么在变。
中文 · 乐谱 93 BPM · 全长 2:42。编辑后的乐谱保留旋律,加入大九、小九与属十三和弦。
风格:亲密人声爵士,扩展钢琴和声、立式贝斯、刷鼓与含蓄爵士吉他。歌词不变。
03 编曲:不要吉他,更多摇摆,2 个版本以上
研究者:去掉吉他。还不够爵士,旋律也可以稍微改。
Astra:改成人声加钢琴、立式贝斯和刷鼓,加入摇摆和钢琴填充,试了两个版本。改编版改动部分音高与节奏,副歌记忆点仍可辨认。
听点:保留原旋律的对照版隔离出编曲变化;改编版则放松了人声乐句。
中文 · 乐谱 104 BPM · 全长 2:29。风格:吉他移出,钢琴三重奏、行走贝斯、刷鼓、ride 镲、人声略在拍后;乐谱转为 104 BPM。歌词不变。
04 引用:桥段里放进熟悉旋律,1 个版本以上
研究者:把《小星星》自然地放进中段,旋律与和声过渡要自然。
Astra:把前两句作为一段短钢琴间奏插入,然后写回人声副歌。这是部分引用,还不是完整主题。
听点:童谣旋律第一次出现,由钢琴演奏。
中文 · 乐谱 104 BPM · 全长 2:41。四小节引用了前两句,随后两小节过渡。歌词不变,只加入 [Instrumental] 段落标记间奏。
05 重塑:放慢,让萨克斯来回应,1 个版本以上。这一轮还要求保留原始 ABC 格式。
研究者:过渡太突然。调整歌词,引入主题,再发展成爵士独奏。加上 [saxophone solo],更新提示,把速度放慢。ABC 格式尽量保持原样。
Astra:把乐谱放慢到 88 BPM,重写桥段,让它回忆童年歌谣,把间奏交给次中音萨克斯。人声在短开场动机、八小节独奏和温和回到副歌之间休息。
听点:新歌词为引用做准备;萨克斯现在在人声段落之间有空进来。
中文 · 乐谱 88 BPM · 全长 3:29。两小节开场动机、八小节独奏、两小节回归,沿用原来的两声部 ABC 布局。
风格:104 → 88 BPM。次中音萨克斯加入钢琴三重奏;伴奏稀疏、力度轻柔,留出更多呼吸空间。
歌词:桥段改为回忆一颗星与一首童年的歌;[Instrumental] 换成 [saxophone solo],最终副歌开头更柔。桥段新词:「窗外那颗星 还亮在从前/小时候的歌 轻轻绕耳边」;最终副歌首句改为「让风慢慢吹 吹到你身边」。
06 发展:让主题多停留一会,1 个版本以上
研究者:让《小星星》主题先回来一两次,再发展。它过得太快了。
Astra:把开场动机扩成三次陈述,带节奏变化和一句短应答,然后进入独奏。想法有了更多时间,但仍然只重复了曲子开头。
听点:更长的动机段落——以及下一次纠正为什么必要。
中文 · 乐谱 88 BPM · 全长 3:37。六小节开场动机,接八小节独奏与人声回归。风格明确要求三次开场动机陈述,再发展成旋律性独奏。歌词不变。
07 纠正:要完整旋律,不只是开头,1 个版本以上
研究者:那只是开头。用完整旋律:1155665 / 4433221 / 5544332 / 5544332 / 1155665 / 4433221。
Astra:用六个乐句、按熟悉的顺序替换重复片段:12 小节、42 个音。爵士独奏现在跟在完整旋律之后。
听点:中间两个乐句现在都在,之后开头材料回来,完成主题。
中文 · 乐谱 88 BPM · 全长 3:54。完整六句旋律一遍,随后八小节独奏与两小节回归。歌词不变。
08 重新上色:第二次陈述用现代和声,1 个版本以上
研究者:第二次陈述用更高级的现代和声。增加和声变化,适当离开主调;节奏也调整。
Astra:保留第一次熟悉的陈述,再用半音贝斯进行、短暂离调和三全音替代给第二次完整陈述重新配和声。还改变了主歌与副歌的和声,在大多为 4/4 的乐谱里加入短的 3/4 过渡。
听点:两次完整的《小星星》:一次熟悉的到达,一次更半音化的回归,然后是八小节爵士独奏。
中文 · 乐谱 88 BPM · 全长 4:29。两个完整主题都仍然可辨认,第二次陈述改变了和声与节奏位置。风格:现代人声爵士,半音贝斯、变化音色与和声变化。歌词不变。
09 打磨:英文歌词与更讲究的和声,3 个版本以上
研究者:这样很好。把歌词改写成英文,让音节和音素贴合音符。在和声与旋律冲突的地方做平滑,同时保留有效的色彩。
Astra:为现有人声乐句重写歌词,检查音节落点和元音延音,修改长音下方的和弦。增和弦经过和弦和提前解决缓解了几处冲突,同时保留半音色彩。之后两轮尝试了更不拥挤的英文措辞和句尾更长的元音。
听点:研究者听后选择英文措辞版作为最终版。与草稿和后来的元音延音版对比;三者都保留两个完整主题和萨克斯独奏。
英文 · 乐谱 88 BPM · 全长 4:28。被研究者选为最终版。重写拥挤的句子,加长部分弱起,给人声更多空间。
风格:要求歌手唱完每个乐句、重读词清楚,留出松弛的呼吸空间。
歌词改写包括 “your face stays here with me” → “I see your face once more”,“let stars be your light and guide” → “let stars light your way tonight”。
[Verse 1] The train rolls on, I see your face once more I see a world that will not fall asleep You make a boat from an old note you saved A soft goodbye gives each heart room to grow
[Pre-Chorus] One by one, the lights go dim and fade from view All the words I could not say, I sing for you
[Chorus] May dawn find you safe and warm As you go on, let stars light your way tonight Though I am far, my love is a road back home Keep me in mind when a new day calls your name
[Verse 2] The cafe lights stay on beside the square I hear the song you sang come through the rain I keep your smile among the lines I read Each page I turn brings back warm days of spring
[Pre-Chorus] One by one, the lights go dim and fade from view All the words I could not say, I sing for you
[Chorus] May dawn find you safe and warm As you go on, let stars light your way tonight Though I am far, my love is a road back home Keep me in mind when a new day calls your name
[Bridge] That same old star still shines for you and me Sing that old tune; dreams rise and drift like snow
[saxophone solo]
[Final Chorus] May dawn find you safe and warm As you go on, let stars light your way tonight Though I am far, my love is a road back home Keep me in mind when a new day calls your name
[Outro] The train rolls on, I see your face once more I say goodbye and greet a new day
99 首歌,70 种风格,6 种语言。找一个风格,按下播放。显示 99 首中的 12 首。
TRACK 01 Hi-NRG · 英语 · 符号化规划 · SUPER EUROBEAT、J-Heavymetal、J-Eurobeat、动画片头曲、极快的 J-Eurobeat 搭配 eurobeat 连复段、抓耳放克的极端日式 eurobeat、贝斯音型、合成器。
TRACK 02 男子组合 · 英语 · 直接生成 · 流行,合成器驱动,带俏皮贝斯线与闪烁 pad。
TRACK 03 华丽金属 · 英语 · 符号化规划 · 1980 年代流行、经典摇滚。
TRACK 04 激流金属 · 英语 · 直接生成 · 重金属、华丽、吉他独奏、黑暗、阴险、激流金属、男声。
TRACK 05 工业金属 · 中文 · 符号化规划 · 强劲高音、autotune、电吉他、交响、贝斯、电钢琴、兴奋、大胆、Heavy Metal。
TRACK 06 摇摆复兴 · 英语 · 符号化规划 · 放克,过度活跃的爵士流行遇上巴西放克律动,带 mento 弹跳与扭曲的暗黑卡巴莱钢琴。明亮铜管重音、橡皮感贝斯、哗啦作响的打击乐推着一切向前;主歌狂乱俏皮,副歌钩子以群唱和呼应爆发。男声,狡黠而戏剧化,钩子上叠置和声,最终副歌前有短暂半速段落。爵士、暗黑卡巴莱、流行。
TRACK 07 R&B · 中文 · 符号化规划 · 带有合成器流行影响的现代中文流行 R&B,情绪化而亲密。前奏以清晰、感性的主合成器旋律开场,简单难忘,柔软略带脆弱,近场麦克风,富有表现力且旋律化。干净流行鼓组,紧实有力的底鼓,带柔和房间混响的自然军鼓,极简 hi-hat 型,平滑 R&B 弹跳。温暖而有旋律感的合成器贝斯,模拟式合成器略微失谐,温暖音色,轻柔滤波运动,轻微合唱宽度。主合成器平滑圆润,背景有高频铃铛式拨弦合成器,轻柔明亮,带轻延迟与混响,加入闪光与节奏细节。宽阔的氛围 pad,慢起音、呼吸般运动。编曲极简干净,层次分明却留有余地,聚焦旋律与质感。宽立体声像,空气感混响与延迟,精致温暖。流行音乐,节奏清晰。
TRACK 08 巴恰塔 · 英语 · 符号化规划 · reggaeton、salsa、bachata、拉丁流行、cumbia。
TRACK 09 赛博金属 · 英语 · 符号化规划 · 暗色电子摇滚,工业节拍与电影感合成器,重贝斯与失真吉他,急迫男声以口语强度升起进入旋律化颂歌式副歌,赛博朋克氛围,推进节奏,反乌托邦却赋权的语气。一首关于《黑客帝国》、旧互联网以及作为内核补丁的 AI 的有力预言式颂歌。推进节拍,锋利歌词,副歌钩子:红色药丸不是看见——红色药丸是去建造。
TRACK 10 理发店四重唱 · 英语 · 符号化规划 · 欢快 1940 年代理发店四重唱无伴奏歌曲。四个男声和声声部(主唱、男高音、男中音、男低音)。俏皮摇摆节奏,响指,明亮密集和弦,复古夜总会氛围,关于在城里玩得开心的有趣而优雅的歌词。无乐器。
TRACK 11 摇滚 · 英语 · 符号化规划 · 快乐、幸福的 50 年代男声,有力量。
TRACK 12 南方灵魂 · 英语 · 符号化规划 · Southern Soul、R&B、三角钢琴、萨克斯、背景人声、爵士融合、振奋、平和、俏皮、梦幻、深情而生动、氛围感、浪漫可舞、诱惑、情绪化、男声、中速、速度变化:稳定、加速、减速、夜晚恋景、氛围化、深情、入耳、期待、惊喜。
Model & Results
YuE2(best-of-8)在 SongBench 上达到 6.9632,是 WildSongBench(192 个提示)上 15 个评估设置中观察到的最高均值。同一比较中 Suno v5 得 6.8721。
模型架构
用符号作曲,用音频演出。
可编辑乐谱变成语义音乐 token、声学潜变量与整首歌音频。模型约 3.59B 参数、28 层,支持创作、覆盖与编辑。AR 与 NAR 专家共享注意力计算,但使用各自的归一化、投影和 MLP。
WildSongBench:192 个提示,15 个设置,7 项指标。
WildSongBench。 192 个提示、15 个系统设置。表格报告自动评估分数。best-of-8 按音乐性、提示控制与歌词准确度,从八次生成中选出一个。
图 1。 歌曲质量结合 SongBench 与 SongEval;文本对齐结合 MuLan、AllMusicCaps 与提示控制。两个坐标轴都是归一化比较指数。气泡面积代表 AudioBox 制作质量。
MERT2 · 音乐表示
学习声音背后的结构。
MERT2 为分析与生成提供音乐表示。ConvNeXt 前端与 24 层 Conformer 学会预测由 MuQ 和 Qwen2-Audio 特征互补构成的掩码码本。整首歌适配为 SheetSage2 提供音乐上下文;一个独立的因果分支成为 YuE2 的 25 Hz 语义分词器。
MARBLE 上的最新结果
MERT2-30s 与 MERT2-FS(整首歌)在 15 项 MARBLE 指标中的 14 项达到 SOTA,在标签、调性、流派和情感识别上领先。
SOTA 指标:MERT2-30s 与 MERT2-FS 共 14/15。流派准确率 · GTZAN · MERT2-30s · 分数 ×100:91.72。调性精细准确率 · GiantSteps · MERT2-FS · 分数 ×100:67.05。
分数 ×100,越高越好,粗体表示展示中的最高分。
| 基准 / 指标 | 最佳已发表基线 | MERT2-30s | MERT2-FS | | --- | --- | --- | --- | | MTT · 标签 ROC-AUC | 91.70 PupuJEPA-Large | 91.91 | 91.74 | | MTT · 标签平均精度 | 40.80 PupuJEPA-Large | 41.29 | 41.20 | | GiantSteps · 调性精细准确率 | 66.10 PupuJEPA-Large | 66.97 | 67.05 | | GTZAN · 流派准确率 | 86.90 PupuJEPA-Large | 91.72 | 90.69 | | GTZAN · 节拍 F1 | 91.00PupuJEPA-Large | 90.59 | 90.57 | | EmoMusic · 效价 R² | 62.50 PupuJEPA-Large | 63.23 | 63.52 | | EmoMusic · 唤醒 R² | 78.50 PupuJEPA-Huge | 80.01 | 78.14 | | MTG-Jamendo · 乐器 ROC-AUC | 78.40 PupuJEPA-Large | 80.27 | 80.27 | | MTG-Jamendo · 乐器平均精度 | 21.20 PupuJEPA-Large | 22.89 | 23.51 | | MTG-Jamendo · 情绪 / 主题 ROC-AUC | 76.20 PupuJEPA-Large | 79.44 | 78.74 | | MTG-Jamendo · 情绪 / 主题平均精度 | 15.50 Dasheng-1.2B | 16.68 | 15.74 | | MTG-Jamendo · 流派 ROC-AUC | 86.30 AudioMAE++ | 88.01 | 87.98 | | MTG-Jamendo · 流派平均精度 | 20.10 PupuJEPA-Large / PupuJEPA-Huge | 21.22 | 20.66 | | MTG-Jamendo · Top 50 ROC-AUC | 83.10 AudioMAE++ / PupuJEPA-Huge | 84.18 | 84.13 | | MTG-Jamendo · Top 50 平均精度 | 31.10 AudioMAE++ | 32.17 | 31.62 |
SOTA 计数取两个 MERT2 编码器中的最好分数,与这一比较中的九个已发表基线相比。两个编码器均为 632M 参数。MERT2-30s 使用 30 秒训练上下文;MERT2-FS 使用 300 秒。这些是完整上下文的表示基准。MERT2 报告的是用测试分数选出的表示中的最佳观察结果;每一对 ROC-AUC / AP 使用同一表示。
SheetSage2 · 音频转乐谱
听一首歌,读出它的作曲。
SheetSage2 把录音变成可编辑的 lead sheet。整首歌 MERT2-FS 编码器经 LoRA 适配,接入六层自回归解码器。任务提示选择拍、段落、调、和弦与旋律;一条共享事件时间线变成带人声与器乐旋律声部的 ABC 记谱。这些乐谱为 YuE2 提供符号训练目标。
六个转写任务,一个模型
SheetSage2 用同一个模型在 13 项基准指标中的 10 项达到 SOTA,覆盖拍、强拍、调、和弦、结构与旋律转写。
SOTA 指标:一个模型 · 六项转写任务 · 10/13。人声旋律 · RWC-Pop 音级音符 F1 · 分数 ×100:82.51。和弦识别 · osu2017 大/小调 · 分数 ×100:90.08。
分数 ×100,越高越好,粗体表示展示中的最高分。
| 基准 / 任务 | 指标 | 最佳对照 | SheetSage2 | | --- | --- | --- | --- | | GTZAN 拍 | F1 | 88.75Beat This! | 85.65 | | osu2017 拍 | F1 | 91.55 Madmom | 92.29 | | GTZAN 强拍 | F1 | 78.28 Beat This! | 79.51 | | osu2017 强拍 | F1 | 84.99 Beat This! | 91.97 | | GiantSteps 调 | 加权分数 | 74.62 Madmom | 77.73 | | GTZAN 调 | 加权分数 | 74.43 S-KEY | 75.77 | | osu2017 和弦 | 大/小调 | 84.59 Jiang et al. 2019 | 90.08 | | Chords1217 和弦 | 大/小调 | 84.09ChordFormer | 83.81 | | HarmonixSet 结构 | 准确率 | 80.03 SongFormer | 80.51 | | HarmonixSet 结构 | 边界 F1 · 0.5 s | 70.63SongFormer | 67.96 | | HarmonixSet 结构 | 边界 F1 · 3 s | 79.50 SongFormer | 82.86 | | RWC-Pop 旋律 | 人声音级 F1 | 62.71 SheetSage1 | 82.51 | | RWC-Pop 旋律 | 全音级 F1 | 64.02 SheetSage1 | 75.29 |
SOTA 计数指相对于 SheetSage1、Madmom 与这一比较中任务专用系统的领先分数。结果使用按验证损失选出的一个模型。旋律 F1 衡量音级音符;结构 F1 按给定容差衡量段落边界。在 Chords1217 上,ChordFormer 使用五折交叉验证,SheetSage2 则在全部 1,217 首曲目上评估一个固定模型。
训练数据
模型主要用 CC0 音乐和合成数据训练。Tokenwave.AI 以授权方式提供大部分合成训练数据。我们承诺以合乎伦理、负责任的方式使用数据。
MERT2 70 万小时
SheetSage2 2.84 万小时
YuE2 34.6 万小时
评论
讨论整体偏怀疑甚至悲观:多数人承认 YuE2 在符号音乐、本地运行上有技术亮点,但普遍认为样本平淡、无灵魂,并把矛头指向"AI 是否正在抽空人类创作的意义";少数人为其辩护,认为它更像是续写、编配、翻译声部的增强工具。
认为样本技术可行但空洞无魂
- 反复被提到的问题是结构不发展,一首歌像永远卡在前奏,编排也显得"学院派"(较多人)
- 有人形容某个样本是有史以来最没灵魂的"音乐",像大公司用大模型写的公关稿(较多人)
- 也有人对比 Suno,认为这里的人声一听就是 AI,在多个曲风里可信度更差(少数人) > 技术上是令人印象深刻的,但满分十分我给零分,里面空无一物。(@philip-b)
担心 AI 正在摧毁人类创作的价值
- 有刚入行作曲的人感到沮丧:等生成质量一上来,人类作品会被彻底贬值,自写作曲者会变成"自己烤酸面包"式的怪人(较多人)
- 有人强调自己珍视音乐是因为另一个人借它表达什么,AI 生成的无限内容只让他感到绝望(较多人)
- 更激烈的比喻是"我们在把文化做成会动的尸体",认为艺术的意义来自人的用心与意图(较多人) > 一个自己写曲子的人,最终会变成"不去超市而自己烤面包"的那种人:一个奇观。(@stevage)
认为 AI 音乐只会占据背景场景,不会被主动聆听
- 这类系统会产出 Uber、咖啡馆、电话等待音、广告用的罐头音乐,但多数人不会主动选它来听(较多人)
- 有人半开玩笑地说,如果数字意识有话要说并通过音乐表达,他愿意听;但听下来它们没有"声音",只暴露出大多数人本就没有品味(少数人)
认为它是增强工具,而非替代品
- 历史上音乐界对新技术总有反弹,最终音乐家会吸收它们继续创作(较多人)
- 有人把二十年前没写完的动机喂给 Suno,当作"如果当初写完会是什么样"的实验,效果不错,认为它很适合治疗写作瓶颈(少数人)
- 有人长期期待符号音乐生成器:智能地翻译声部、补写声部、音频转谱、变奏、调难易度,对乐手价值很大(较多人) > 我不觉得 AI 需要在音乐里取代人类创造力,它可以是增强的工具。(@artmanja111)
认为品味才是人与 AI 的分界
- 调式思维对比功能和声、和弦在语境中怎么听、选哪个排列,这些东西很难抽象成乐理,更难靠模式匹配得到(较多人)
- 若专门用某位艺术家的作品训练,确实可能接近其声音,但那时问题回到:你是否满足于把写作音乐中有意思的部分都抽象掉(少数人) > 把 AI 输出和人类输出区分开的仍然是品味,音乐和软件都一样。(@mg1c)
一位从业者的长线推演:真正的变化在 DAW 与 AI 合流
- 目前后期处理和母带已高度依赖 AI,配乐圈用 Noteperformer 做音符到音频,虚拟歌手也从拼接走向神经网络,但都还没侵入创作的核心环节(较多人)
- 他认为 YuE2 已能做出音符级分析但还不能合成;一旦合成能力到位,DAW 与 AI 创作者会合为一体,工具把创作过程还给你,同时也让一切显得毫无意义
- 反直觉的一点:AI 音乐那些可憎的缺点,恰恰是当前保护人类音乐人的东西
- 预测未来:采样与插件市场萎缩、音色趋同,限制本身重新变成创作快感(芯片音乐、拼接采样朋克、2010 数字蒸汽波的回潮),"真实性"成为硬门槛——你必须展示过程,用 AI 造假就出局
- 音乐会更表演化、社区化,主流流媒体被多数非随意听众抛弃;物理建模加 AI 加速可能成为解药,而 Vocaloid 圈提供了另一种范本:他们拥抱新的 AI 声音库,却强烈反对生成式 AI 音乐,因为那里的音乐是献给社群的心意,对话比产出更重要;把虚拟歌手一概归入"AI 音乐"也在实际伤害这些创作者(少数人,但信息密度最高)
有价值的补充
- 模型训练于 CC0"免版税"音乐,产出天然偏平庸,且没有语义 tokenizer 就无法微调
- 这不是又一个"文本到音频",而是可处理符号音乐的开放权重模型:把已有乐谱转成 ABC 记谱再尝试各种改编,有人在 M1 Mac 上用十五分钟跑通了自己高中写的曲子
- 一个有趣的样本错位:"古典音乐"提示最终生成的是"当代基督教"风格,且具体内容是摩门教题材——李海一家从耶路撒冷出走、渡海到美洲的故事,用当代基督教摇滚的方式唱出来
- 有人希望它支持只输出人声(不用分轨器),方便生成和声、哼唱、装饰音再导入 DAW
- 有人呼吁从"单次黑箱提示"转向代理式音乐生成:像编程那样保留完整创作自由,只把混音母带这类苦活自动化
- 有人引出莱姆《Trurl 的电子诗人》:机器写出完美诗句,反而让诗人嫉妒又难堪,是这场争论的精准注脚
- 推荐 Adam Neely 的视频随笔《Suno、AI 音乐与坏未来》,作为职业音乐人对行业走向的判断参考