📌 项目地址：OpenMOSS/MOSS-TTS | ⭐ 2,177 颗星 | 🔧 Python | 📜 未标注
项目概览
这个仓库叫 MOSS-TTS，但实际是一套“语音和声音生成模型家族”。来自 MOSI.AI 和 OpenMOSS 团队，代码和模型都开源。它不只做文字转语音，还能生成环境音效、多说话人对话、角色声音，也支持实时流式输出。工作线上有 2177 个 star（2026 年 5 月），更新频次很高，从 3 月到 5 月几乎每两周就有新模型或新教程。
两个主要模型，各管一摊
MOSS-TTS-v1.5（语音合成）
2026 年 5 月 26 日发布。相比之前的版本，有三项改进我觉得对实际项目很实在：
- 显式停顿控制：在文本里写
[pause 3.0s]，音频里就会插入 3 秒静音。做有声书、电话语音助手、培训录音时，这意味着你不必依赖标点猜节奏，能精确控制语气停顿。 - 长参考音频 + 短文本的语音克隆：很多零样本 TTS 模型对参考音频长度很敏感，太长会跑偏，太短则克隆不准确。v1.5 官方说“when language tags are provided, more stable voice cloning, better long-reference short-text cloning”。如果你的场景是给一段几分钟的录音做几句话的克隆，这个能力直接决定能不能用。
- 多语言 + 标点驱动韵律：加上语言标签（比如
<zh><en>等）后，合成效果更好。而且模型会遵循标点符号（逗号、句号）来调整语调高低和停顿长短。
其中 [pause X.Ys] 这个我试了下，直接在输入文本的任意位置插入即可，不需要额外配置。具体用法在 README 里没给命令行示例，但从 Hugging Face 模型页面（链接在仓库里）能找到推理代码。README 提示“see moss_tts_v1.5/”目录，里面应该有 demo 脚本。
MOSS-SoundEffect-v2.0（文本到音效）
同样 5 月 26 日发布。这是一个基于 DiT（扩散 Transformer）和 Flow Matching 目标训练的模型，输出 48 kHz 采样率的音频，最长 30 秒。支持中文和英文描述。代码在 moss_soundeffect_v2/ 目录下。
开源社区里，文本到音效的模型本来就少，开源且能跑长时长的更少。v2.0 之前这个 repo 里也有音效模型，但 v2.0 骨干架构从常规扩散换成了 DiT + Flow Matching，采样率从 24 kHz 提到了 48 kHz，时长上限从 10 秒提到 30 秒。如果你需要给视频自动配环境音、生成游戏背景音、做播客的音效替换，这个模型可以省掉大量搜素材时间。
部署路线：从云端到边缘
团队的思路是同一个模型族，但提供多种推理后端，针对不同硬件。
llama.cpp：量化为 GGUF + ONNX 编解码
2026 年 3 月 18 日，他们往 OpenMOSS/llama.cpp 仓库加了一个 moss-tts-firstclass 分支。文档说骨干网络用 GGUF 量化，音频编解码器用 ONNX 运行。GGUF 可以在 CPU 或低显存 GPU 上跑，ONNX 推理效率高。这意味着你可以把 TTS 模型跑在非 NVIDIA 硬件（比如 AMD GPU、英特尔显卡、甚至一些 ARM 板）上，而不必只依赖 PyTorch。具体跑法参考分支里的 端到端指南。README 里没有贴命令，但指南是英文的，按步骤装依赖、下载模型、执行脚本即可。
MOSS-TTS-Nano：100M 参数，4 个 CPU 核运行
2026 年 4 月 13 日发布的独立仓库 OpenMOSS/MOSS-TTS-Nano。约一亿参数，官方说“just 4 CPU cores”就能将流式输出跑起来。支持 48 kHz 立体声输入/输出、多语言语音克隆、流式输出。如果要在树莓派、工控机或者一些嵌入式设备上跑 TTS，这是一个现成的方案。仓库里有单独的博客链接，读起来更细。
SGLang 后端
对 MossTTSDelay 架构（用于 MOSS-TTS (Delay) 和 MOSS-SoundEffect），已经集成了 SGLang 后端。SGLang 是一种专门优化 LLM 推理的框架，如果已经在用 SGLang 部署其他模型，可以直接复用这套推理 pipeline。
开发与资料
- 技术报告：三篇 arXiv 论文（MOSS-TTSD、MOSS-VoiceGenerator、MOSS-TTS 主报告），想了解模型结构、训练数据、评估指标可以直接看。
- 微调教程：2026 年 3 月 26 日加了对
MOSS-TTS-Realtime的微调教程；3 月 16 日加了对MossTTSLocal架构的微调教程。教程在仓库里，不是只有 Demo。 - 需求收集：团队正在为 2.0 版本收集反馈，有表单链接放在 News 里。如果你有具体场景（更多语言、更长时长、更细粒度的控制），可以去提需求，可能影响 2.0 的设计方向。
我觉得值得关注的细节
- 暂停控制：
[pause X.Ys]在 v1.5 原生支持，不需要额外参数。对对话系统、有声内容制作很有价值。 - 多语言标签：README 说“when language tags are provided”，暗示输入时给
<zh>或<en>这样明确的标记，模型会更好的利用语言特定韵律。需要测试具体效果，但起码路线清晰。 - 立体声支持：Nano 模型支持 48 kHz 立体声输入输出，很多轻量 TTS 只给单声道。如果你做双耳音频或语音需要保留位置信息，这一点重要。
- 流式输出：主模型和 Nano 都支持 stream。做对话机器人时，用户不用等整句话合成完才听到声音，延迟能压到几百毫秒。
- 短参考克隆：v1.5 特意强调了“long-reference short-text cloning”更稳定。如果你只有一小段人声（几秒）就想生成不同文本的克隆，这个能力会严重影响可用性。
这个项目没有把模型藏起来只给在线 Demo，而是真把训练/推理代码、微调脚本、量化工具全部开放。如果你需要处理“人声 + 环境音效”混合场景（比如游戏对白加上背景雨声），或者想在低配硬件上跑 TTS，值得花时间读一下对应子目录的 README。