VibeVoice是一款创新的开源文本转语音模型，专注于生成富有表现力的长篇多说话者对话音频，如播客。其核心创新在于使用超低帧率的连续语音分词器，显著提升计算效率并保持音频保真度。该模型结合大型语言模型和扩散头，能够理解文本上下文和对话流程，生成高保真音频细节，支持长达90分钟的语音合成，最多可容纳4个不同说话者，突破了传统模型1-2个说话者的限制。

VibeVoice：前沿的开源文本转语音模型

VibeVoice 是一个创新的框架，旨在从文本生成富有表现力、长篇、多说话人的对话音频，如播客。它解决了传统文本转语音（TTS）系统在可扩展性、说话人一致性和自然轮换方面的重大挑战。VibeVoice 的核心创新在于其使用超低帧率（7.5 Hz）的连续语音标记器（声学和语义），这些标记器在保持音频保真度的同时，显著提高了处理长序列的计算效率。VibeVoice 采用了一种基于大语言模型（LLM）的下一标记扩散框架，用于理解文本上下文和对话流程，并通过扩散头生成高保真的声学细节。该模型可以合成长达 90 分钟的语音，最多支持 4 个不同的说话人，超越了以往模型通常只能处理 1-2 个说话人的限制。

上下文感知表达

VibeVoice 能够捕捉到对话中的自发情感和即兴歌唱。例如，在对话中，说话人 1 表达了对说话人 2 未能按时赴约的失望，而说话人 2 则解释了工作上的突发情况。这种情感的自然流动使得生成的音频更加真实。此外，VibeVoice 还能模拟即兴歌唱，如说话人 1 和说话人 2 共同回忆并演唱《See You Again》的场景。

播客与背景音乐

VibeVoice 还可以生成带有背景音乐的播客内容。例如，在名为“Tech Forward”的播客中，主持人 Alice 与两位嘉宾 Andrew 和 Frank 讨论了 OpenAI 的 GPT-5 发布。Andrew 作为 AI 行业分析师，详细解释了 GPT-5 的技术创新，而 Frank 则从用户角度分享了社区的反应。这种多说话人的对话生成能力使得 VibeVoice 在播客制作中具有广泛的应用前景。

跨语言支持

VibeVoice 还支持跨语言生成，如从中文到英文的翻译。例如，主持人 Linda 在播客中分享了一些有趣的中文表达，如“小菜一碟”和“你开玩笑吧”，并解释了这些短语的英文对应表达。这种跨语言生成能力使得 VibeVoice 在多语言内容创作中具有独特的优势。

长篇对话语音

VibeVoice 还能够生成长篇对话语音，如关于气候变化的讨论。在名为“Planet in Peril”的播客中，主持人 Alice 与专家 Carter、Frank 和 Maya 讨论了 2015 年至 2025 年间的气候变化报告。Carter 详细解释了气候加速变化的科学依据，Frank 则从经济角度分析了气候变化的成本，Maya 则强调了气候变化对健康和心理的影响。这种长篇对话生成能力使得 VibeVoice 在复杂话题的讨论中表现出色。

总结

VibeVoice 通过其创新的技术框架，成功解决了传统 TTS 系统的诸多挑战，并在多说话人对话、情感表达、跨语言支持和长篇对话生成等方面展现了强大的能力。无论是播客制作、跨语言内容创作，还是复杂话题的讨论，VibeVoice 都提供了高效且自然的语音生成解决方案。

评论主要围绕以下几个方面展开：

1. 语音质量与自然度：

   • 部分评论认为语音质量高，接近真人对话，尤其是女声表现较好。例如，baal80spam表示：“这听起来非常令人印象深刻，我可能会误以为是两个人在对话。” (This looks (or rather, sounds) VERY impressive and I could mistake it for hearing two people talking.)
   • 但也有评论指出男声明显有机械感，语调不自然。malnourish提到：“男声立即让人感觉是计算机生成的，但我无法准确描述具体原因。” (The male voices in particular, which immediately register as computer generated.)

2. 多语言支持与口音：

   • 评论对多语言切换表示赞赏，尤其是中英双语的无缝切换。simiones认为：“中英双语样本的切换非常流畅。” (The English + (Mandarin?) Chinese sample, that one seemed to switch very seamlessly between the two.)
   • 但也有评论指出对非主流语言的支持不足。baxuz表示：“期待TTS和语音识别能在克罗地亚语等小众语言上工作。” (Looking forward to the day when tts and speech recognition will work on Croatian.)

3. 技术细节与改进建议：

   • 评论提到音频环境不一致的问题，建议改进多声模型的环境一致性。regularfry指出：“男声有明显的混响，而其他声音没有。” (There's noticeable reverb on the male voice that's not there on the other.)
   • 也有评论希望增加对SSML等标记语言的支持，以更好地控制语音输出。amelius表示：“如果要用TTS替代配音演员，这种标记功能是绝对必要的。” (This kind of thing is absolutely necessary if you want to use this to replace a voice actor.)

4. 性能与硬件要求：

   • 评论指出模型对GPU要求较高，低配设备运行效果不佳。TheAceOfHearts提到：“在旧CPU上生成66秒音频需要832秒，且切换精度会引入声音伪影。” (It took 832 seconds to generate a 66 second audio clip on my old CPU.)

5. 开源与数据透明度：

   • 评论对开源表示赞赏，但也质疑训练数据的透明度。Meneth问道：“开源？那训练数据在哪里？” (Open-source, eh? Where's the training data, then?)

6. 其他反馈：

   • 评论对唱歌部分表示不满，认为效果不佳。rafaelmn建议：“可以跳过唱歌部分，模型不尝试唱歌会更好。” (They could have skipped the singing part, it would be better if the model did not try to do that.)
   • 也有评论对微软的命名和开源项目表示兴趣。giancarlostoro调侃道：“希望微软有人将他们的开源编码代理命名为Microsoft VibeCode。” (I really hope someone within Microsoft is naming their open source coding agent Microsoft VibeCode.)

总结：评论对语音质量、多语言支持和开源表示认可，但也指出了男声机械感、硬件要求高、训练数据透明度等问题，并提出了改进建议。