📌 项目地址jamiepine/voicebox | ⭐ 28,811 颗星 | 🔧 TypeScript | 📜 MIT

上手第一印象

下载macOS Apple Silicon版,打开界面。没有注册,没有登录。选一个引擎,粘贴文本,点生成。几秒后音频文件出现在列表里,可以播放或导出。

整个过程没有联网请求。模型文件在首次运行时会下载到本地,之后完全离线。

28811个Star,说明这个方向确实有需求。本地运行、多引擎、语音克隆加上听写,把两个云端工具的功能装进一个应用里。

7个TTS引擎的实际差异

Voicebox内置7个引擎:Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro。

我拿一段英文播客文本和一段中文说明,分别用不同引擎生成,对比结果。

Chatterbox Turbo 是目前唯一支持音节内标签的引擎。在文本里写 [laugh],生成的语音真的带笑声。写 [sigh] 会叹气。做播客对话、游戏角色配音、任何需要情感颗粒度的场景,只能用这个。

Qwen CustomVoice 支持自然语言风格描述。比如“用高兴语气,语速快一点”,不需要标签,生成的语气比标签更自然。代价是需要试出合适的描述词。

Kokoro 生成最快,适合批量初筛。0-shot克隆时它细节丢失最多(气音会被抹平),但速度快,拿来试稿可以。

Qwen3-TTS 覆盖23种语言最广。我试了日语和中文,发音通顺,但情感表达偏平。语言支持范围广不等于每个语言质量都一样——README没标注,只能自己测。

LuxTTS、Chatterbox Multilingual、HumeAI TADA 在我测试的英文和中文上没有明显特长。

我的建议:想要情感表现力先用Chatterbox Turbo,追求生成速度用Kokoro,不确定性语言场景用Qwen3-TTS。

语音克隆怎么用

克隆声音有三种入口:零样本克隆、预设声音、文本描述生成。

零样本克隆:截8秒以上音频,拖进界面,选一个引擎,点克隆。我用播客截了10秒,Kokoro 2秒出结果但细节丢失,Chatterbox Turbo保留更多原声质感但生成时间翻倍。这不是bug,是引擎设计取舍。

预设声音:Kokoro和Qwen CustomVoice各带50+内置声音。点选能立即试听,不用克隆步骤。适合刚上手时快速验证流程。

文本描述生成:你告诉引擎“一个中年男性的低沉嗓音”,它生成对应声音。这个方式我没试出特别好的结果,描述越具体效果越好,但和实际录音比起来还是生硬。

后处理效果:pitch shift、reverb、delay、chorus、compression、filters。生成后可以加一层滤镜调整。无限长度生成靠自动分块加crossfade,我试了一篇3000字文章,自动切成3段,衔接处有重叠淡入淡出,无明显断点。

听写:全局热键+自动粘贴

设置一个全局热键后,按住空格说话,松开自动转文字并粘贴到当前光标。两种模式:push-to-talk(按住才录)和toggle(点一下开始,再点停止)。

macOS上自动粘贴正常工作,这是README里“accessibility-verified auto-paste”的结果。STT基于Whisper,本地运行。我的M1 Pro上转写延迟大约1秒。

和WisprFlow比,没有云端优化带来的连续对话场景优势,但数据不离开机器。

MCP集成:一行配置让AI代理用你的声音说话

README说得很简洁:一个工具调用voicebox.speak,任何支持MCP的AI工具(Claude Code、Cursor、Cline)都可以调用。

我在Cursor的.cursorrules里加了一条“当需要音频输出时,使用voicebox.speak工具”。测试时它真的用我克隆的那段声音念了一段注释。接入成本就是一条配置指令,不需要写额外监听代码。

REST API也提供,同样可以自己调。但MCP更简单:代理直接调用,不需要自己写HTTP请求。

故事编辑器与语音人格

故事编辑器是多轨道时间线,每条语音分配不同的声音档案。我排了一个3分钟短剧:旁白用Kokoro预设“安静女声”,角色A用克隆的播客声音,角色B用Qwen CustomVoice“低沉男声”预设。输出是单轨音频,效果接近广播剧。

每个声音档案可以绑定“语音人格”(Voice Personality):给克隆声音写一段“吐槽风格播客主播”,本地LLM在Compose、Rewrite、Respond模式里会按人格调整语气。README说agent可以通过MCP调用同样的模式。这个功能面向播客制作和自动脚本生成,日常对话用不上。

硬件消耗与部署

单一引擎(Qwen3-TTS或Chatterbox Turbo)运行:GPU显存4–6 GB,运行时内存约5 GB。同时开Whisper + TTS:内存8–10 GB。再加故事编辑器多轨道播放,接近12 GB。建议16 GB起步。8 GB机器跑单引擎可以,别同时开多个。

Docker部署到Linux服务器同样稳定,模型下载路径需要手动映射。README列出macOS (MLX/Metal)、Windows (CUDA)、Linux、AMD ROCm、Intel Arc,覆盖主流硬件。

三个绕不开的麻烦

  1. 引擎选择全靠自己试。7个引擎没有推荐、没有自动匹配。同一段文本,我得在3个引擎各生成一次,人工听选最好。文本越长对比越痛苦。可以写脚本批处理,但图形界面没有。

  2. 首次模型下载大小未知。README没标总大小。网络不好时启动会卡在下载步骤,也没有断点续传提示。我第一次下载用了15分钟,中间只看到一个静态文字“Downloading models…”。

  3. 故事编辑器边界有限。不支持导入外部音频,没有精确时间码编辑。要做专业混音,需要导出到Audacity或DAW。

另外,23种语言覆盖广,但README没有说明各引擎对每个语言的支持程度。HumeAI TADA可能日语支持比斯瓦希里语好,需要自己试。

谁适合装它

如果你不想把语音数据上传到云端,又需要同时做语音生成和听写,Voicebox是目前最完整的本地方案。开发者可以用MCP给AI工具加语音输出,普通用户能在图形界面里克隆、生成、编排语音。7个引擎给了选择权,也带来了试错成本。好在免费开源,硬件够的话值得花一小时折腾。

这篇文章对你有帮助吗?

发表回复