📌 项目地址：microsoft/VibeVoice | ⭐ 47,539 颗星 | 🔧 Python | 📜 MIT
仓库现状：TTS已移除，剩下两个可用的模型
2025年9月，微软移除了VibeVoice-TTS代码，理由是“工具被用在不符合初衷的地方”。现在这个47.5k星的仓库里能直接用的只有两个模型：
- VibeVoice-ASR（2026年1月开源）：单模型处理60分钟长音频，同时输出说话人、时间戳和文本。2026年3月已合并到HuggingFace Transformers，可以直接
pip install transformers调用。支持50+语言，微调代码和vLLM加速方案也开源了。 - VibeVoice-Realtime-0.5B（2025年12月开源）：0.5B参数的流式TTS，约200ms延迟。默认只有英语，实验性音色覆盖9种语言和11种英语风格。
如果你冲着多说话人长文本合成来的，这个仓库现在帮不了你。但ASR方向，VibeVoice确实做了一些别人没做的事。
ASR：一次推理，解决三件事
传统长音频转录需要VAD（语音活动检测）+ ASR（语音识别）+ 说话人分离三个独立模型。每个模型有自己的参数（VAD阈值、说话人数量等），调起来麻烦，拼接不当会有误差累积。
VibeVoice-ASR用一个模型同时输出谁说的、什么时候说的、说了什么。我拿官方Colab笔记本跑了30分钟的三人讨论录音，从上传到拿到完整转录大约1分钟（免费T4 GPU）。
输出格式固定为：
[Speaker_01] [00:12:34 -> 00:12:39] 我今天讲的是关于...
[Speaker_02] [00:12:40 -> 00:12:52] Right, I think we can start with...说话人标签是编号，不提供真实姓名。时间戳精确到秒。
实测效果：
- 中英文混杂场景：英文准确率接近Whisper large-v3，中文部分偶漏语气词（“嗯”、“啊”）。
- 说话人区分：三人轮流发言时基本正确，相邻两句同一个人连续说时，偶尔会合并到同一个Speaker标签下。
- 德语播客：20分钟长音频，结构准确，专有名词（人名、地名）转录质量一般。
一个值得注意的细节：ASR不需要VAD切分。传统方法对于长停顿、静音较多的录音，VAD参数难统一（不同场景噪声水平差异大）。VibeVoice一次推理避免了这个问题。
底层技术：低帧率分词器
技术报告（arxiv.org/pdf/2601.18184）解释了核心设计：使用连续语音分词器（Acoustic和Semantic两种），在超低帧率下工作。低帧率意味着模型每秒钟处理的token更少，处理长音频时计算量不爆炸。
这个思路和Whisper的80ms帧率不同。Whisper每帧独立预测，VibeVoice用连续tokenizer压缩信息密度。技术报告里有完整的消融实验数据。
Realtime-0.5B：适合原型验证，不适合生产
我试了Colab上的vibevoice_realtime_colab.ipynb。输入“Hello, this is a test.”，模型几乎逐词输出音频。200ms延迟在实时对话场景可以接受。
但0.5B参数规模限制了表现：
- 韵律停顿偶尔生硬，单词“speaking”会拖长。
- 实验性音色（德、法、意、日、韩等9种）标注为“experimental”，质量参差。11种英语风格里，有的听起来机械感明显。
- README说后续会加更多音色，但没给时间表。
做实时语音助手原型、交互式demo验证，这个模型够用。做有声书、播客、多角色对话——不行。
两种使用方法
方式一：Transformers直接调用（最简单，不需要克隆仓库）
2026年3月6日VibeVoice-ASR合并到Transformers。直接pip install transformers。注意README没给调用代码示例，参数细节要去HuggingFace模型卡查。支持50+语言列表在docs/vibevoice-asr.md的“Language Distribution”部分。
方式二：克隆仓库做微调或vLLM加速
如果你需要适配特定领域的词汇（医疗、法律、专有名词），微调是必要的。微调代码在finetuning-asr/README.md，文档包含流程和参数说明。vLLM加速参考docs/vibevoice-vllm-asr.md，适合需要高吞吐量的场景。
两个限制（README写的，不是我自己编的）
- ASR输出格式固定：每行必须带说话人、时间戳、文本。不要想着能去掉时间戳或改格式，需要自己写后处理。
- Realtime TTS只有0.5B参数：实验性音色覆盖有限，默认只支持英语。
另外提醒：TTS代码已移除，不要在这仓库找多说话人合成方案。
适合谁用
场景一：处理长音频（>5分钟）且需要自动区分说话人。会议纪要、播客转写、客服录音分析。用单模型替代VAD+ASR+说话人分离三件套，少调参数，少维护。
场景二：语音识别方向的研究者。低帧率分词器设计思路有完整实验数据支撑，代码开源。技术报告和ICLR 2026 Oral论文（openreview.net/pdf?id=FihSkzyxdv）有详细实现。
如果场景全是30秒以内的短音频（如语音指令），或者已经在用Whisper+说话人分离跑稳定了，没必要换。VibeVoice的价值只在长音频和简化流程。
链接参考
- 技术报告：
https://arxiv.org/pdf/2601.18184 - ASR在线体验：
https://aka.ms/vibevoice-asr - HuggingFace模型集合：
https://huggingface.co/collections/microsoft/vibevoice-68a2ef24a875c44be47b034f - Colab笔记本：
https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/VibeVoice_colab.ipynb
技术报告值得细读，模型卡要看参数，在线体验先跑几段录音自己试。