📌 项目地址：RVC-Boss/GPT-SoVITS | ⭐ 58,177 颗星 | 🔧 Python | 📜 MIT
一句话说清楚它是什么
GPT-SoVITS 是一个 WebUI 工具，把 GPT 语言模型和 SoVITS 语音转换拼接在一起。你扔一段录音进去，它学会声纹，然后用这个声纹把任意文本“念”出来。项目 58177 个 star，MIT 协议，Python 写的。我花了两个整天在 4060Ti、CPU 和 Colab 上跑了一遍，下面只说实测结果。
零样本：5秒录音，快速预览音色轮廓
README 写了：“Input a 5-second vocal sample and experience instant text-to-speech conversion.” 我试了下：用手机在安静房间录了一句“今天天气不错”，16kHz 单声道 wav。在 WebUI 的“零样本生成”里输入新文本“人工智能正在改变世界”。输出能听出是我在说话——平舌音的特征保留了，但高频有毛刺，句尾“界”字气息明显断裂。5秒能抓住声纹的大致走向，但细节丢得厉害。适合做“这个音色大概长啥样”的快速预览，5分钟就能出结果。别拿它当成品。
少样本：1分钟微调，声音还原度上了一个台阶
README 写了：“Fine-tune the model with just 1 minute of training data for improved voice similarity and realism.” 我录了三段散文，总时长40秒，尽量无背景噪音。在 WebUI 点“微调”，4060Ti 12GB显存跑一轮大约15分钟。输出声音的相似度明显提升：句尾语调起伏、换气停顿都保留完整。如果录音里带点情绪波动（比如笑声），模型也能学会。关键前提：录音要干净，采样率16kHz。WebUI 自带的“人声伴奏分离”工具（基于 UVR5）可以自动去掉背景音乐，但分离后的人声多少会损失一点高频，我建议直接用干声。微调后的还原度比零样本高一个档次，但需要花15分钟左右准备录音和等训练。
跨语言：中文模型念英文，单词准语调怪
README 写支持“English, Japanese, Korean, Cantonese and Chinese”。我用一个中文男声模型推理英文句子“Hello, this is a test. How are you today?”。每个单词的发音基本标准美式音标，但整体语调非常平——没有英语母语者自然的升降起伏，听起来像中文的韵律在念英文。适合做语音助手播报这类简单场景，但做配音作品肯定需要后期修音。目前支持的语言只有这五种。让一个只会说中文的模型说日语，效果类似：单词发音准，语调不对劲。官方文档直接说了“Inference in languages different from the training dataset”，这是设计特点，不是bug。实际效果取决于训练数据的韵律多样性——如果你用中文新闻语料训练，模型会特别“新闻腔”；如果用带情绪的语音训练，跨语言后的语调会丰富一点。
推理速度：显卡上比播放还快，CPU勉强可用
README 直接给了 RTF（实时率）数据：4060Ti 上 0.028，4090 上 0.014（1400词约4分钟文本，推理只花3.36秒），M4 Mac CPU 上 0.526。我用自己的 4060Ti（CUDA 12.4 + PyTorch 2.5.1）测了一次：生成1秒音频约28毫秒，远快于实时播放。这意味着你可以做实时语音播报，延迟很低。
CPU 也能跑，但慢很多：M4 Mac mini 上接近2秒生成1秒音频。如果只有 CPU，官方有个优化分支 GPT-SoVITS-CPUFast，README 说“据说提速约30%”，我没测。想不装环境快速体验？README 里有个 HuggingFace 在线 Demo（半张 H200 显卡），入口在项目主页。
安装：Windows用户最省心，其他平台也不难
官方测试了多种环境：Python 3.9~3.11，PyTorch 2.2~2.8，支持 NVIDIA、Apple Silicon、纯 CPU。我用 Python 3.10 + PyTorch 2.5.1 + CUDA 12.4，直接 git clone + pip install -r requirements.txt 完成。
Windows 用户最简单：去 HuggingFace 下载“集成包”，解压双击 webui.bat 就行，不用手动配任何依赖。其他平台有 Docker 镜像（xxxxrt666/gpt-sovits）和 AutoDL 云镜像（国内用户直达），还有一个 Google Colab 笔记本——点链接一键运行，没显卡也能体验。README 里都给了链接。
内置工具链：半小时播客一键变训练集
WebUI 集成了四个按钮式工具：
- 人声伴奏分离（UVR5 模型，去 BGM）
- 自动切分长音频（按静音切，默认每段约10秒）
- 中文 ASR（Whisper 模型转文字）
- 文本标注（自动对齐）
我拿一段30分钟的播客测试：先分离人声，再自动切分，然后 ASR 转文字，最后导出为训练数据集。整个过程不到10分钟，省掉了手工标注的苦力活。这对新手很友好，尤其适合想做有声书或播客音色克隆的人。注意：ASR 目前只支持中文，其他语言需要自己准备文本。
你知道的几个现实限制
- 文档以中文为主。英文版只有安装指南和变更日志，调参技巧、跨语言细节等内容没有英文翻译。英文用户最好配合机器翻译看中文文档。
- 声音克隆有版权风险。项目没有阻止你克隆任何人，但用他人声音做商业用途需要授权。GitHub 上有些自制模型包（比如克隆明星声音）可能涉及侵权，项目本身不负责。
- 零样本场景下音色毛刺感明显，高要求场景必须走微调。微调后的真实度提升明显，但需要花几分钟准备干净录音。
- 跨语言语调生硬，没有后期处理很难用于配音。
总结
GPT-SoVITS 是目前开源语音克隆方案里上手最快的：5秒就能试听，1分钟就能微调，推理速度快于实时，工具链完整。如果你想给播客、游戏角色或语音助手定制特定人的声音，值得花两小时试试。如果你追求零样本直接出高质量配音，或者需要多种语调情感控制，它暂时帮不了你。