微软开源了VibeVoice语音AI项目，其核心组件VibeVoice-ASR支持60分钟长音频转写，能生成带说话人、时间戳和内容的结构化文本，支持50多种语言。项目已集成至Hugging Face Transformers，提供微调代码和vLLM加速推理功能。

微软开源语音AI项目VibeVoice概览

项目简介

VibeVoice是微软推出的开源前沿语音AI模型系列，包含文本转语音（TTS）和自动语音识别（ASR）两大核心功能。其创新点在于采用7.5Hz超低帧率的连续语音标记器（声学与语义），在保持音频保真度的同时显著提升长序列处理效率，并基于下一代扩散框架实现高保真语音生成。

核心模型更新

1. VibeVoice-ASR（2026年更新）

   • 新增Hugging Face Transformers库直接调用支持
   • 单次处理60分钟长音频，输出带说话人/时间戳/内容的结构化文本
   • 支持50+种语言，提供微调代码和vLLM加速推理
   • 技术报告见arXiv论文

2. VibeVoice-Realtime-0.5B（2025年更新）

   • 轻量级实时TTS模型（0.5B参数）
   • 支持流式文本输入和10分钟长语音生成
   • 提供9种多语言语音和11种英语风格音色

3. 历史版本调整

   • 因AI伦理考量，已移除VibeVoice-TTS代码（原支持90分钟长语音和4说话人对话）

功能亮点

| 模型 | 核心能力 | 体验方式 | |------|----------|----------| | ASR-7B | 60分钟单次处理/说话人分离/自定义热词 | 在线演示 | | Realtime-0.5B | 300ms低延迟/流式输入 | Colab笔记本 |

风险提示

项目强调研究用途，指出可能存在： - 深度伪造风险：需对生成内容进行准确性验证 - 商业使用限制：建议部署前充分测试 - 法律合规要求：禁止用于误导性用途

项目资源

• 官网：项目主页
• 贡献指南：CONTRIBUTING.md

（注：原文中的图片链接、视频演示等多媒体内容已转换为文字说明，技术细节保留核心参数和功能描述）

以下是评论内容的总结：

1. 对VibeVoice项目的质疑

   • 有评论指出该项目曾被微软因安全原因下架，质疑其改进情况："Isn't this project the one Microsoft published but then soon after pulled it for security/safety reasons?"
   • 有用户批评模型性能差、推理速度慢："it hallucinates a lot... very heavy and slow in inference... bad in multilingual"

2. 与其他语音识别模型的比较

   • 用户认为VibeVoice相比Whisper等模型体积过大："Parakeet and Whisper are much smaller and perform great"
   • 有开发者推荐替代方案："Cohere Transcribe... Grok Speech To Text... both excellent"

3. 关于"开源"定义的争议

   • 有评论指出该项目只是"开放权重"而非真正开源："They are indeed 'open weight.' The training code is proprietary"

4. 对微软产品策略的讨论

   • 有观点认为微软优势在于平台而非技术："Microsoft's real strength was never making the best model... you own the platform"
   • 对产品命名提出质疑："Microsoft is famous for choosing terrible names"

5. 技术实现的相关讨论

   • 有用户询问当前语音识别技术现状："What's the current state of the art... for learning my voice?"
   • 关于说话人分割技术的讨论："Whisper + Pyannote was the 'stable' approach"

6. 安全性质疑

   • 有报道称相关应用涉嫌数据收集："Accused of Harvesting Screens, Audio, and Clipboard Data"

注：所有评论均未显示评分（None），因此无法评估认可度。总结保持了不同观点的平衡，原始评论的关键引用以中英对照形式保留。