📌 项目地址：Open-LLM-VTuber/Open-LLM-VTuber | ⭐ 8,046 颗星 | 🔧 Python | 📜 未标注
一句话说清楚它是什么
Open-LLM-VTuber 是一条固定的处理流水线：麦克风采集音频 → ASR 转文字 → 大语言模型生成回复 → TTS 合成语音 → 驱动 Live2D 角色口型同步。所有组件都可以跑在你自己的电脑上，没有任何云依赖。项目本身不包含任何模型——ASR、LLM、TTS 三个环节的后端由你自由选择，可以本地离线跑，也可以接云端 API（比如 OpenAI、Claude）。
仓库有 8046 个 Star，Apache 2.0 许可。当前稳定版是 v1，官方已经开始重写 v2 代码库。你可以在 GitHub Releases 下载预编译包，或者拉 Docker 镜像（Open-LLM-VTuber/open-llm-vtuber，注意大小写）。两种方式都能获得 Web 版（浏览器访问 localhost）和桌面客户端（Electron 打包，支持透明背景悬浮桌面宠物）。
部署方式：两种入口，一个关键限制
两种入口
- Web 版：启动服务后浏览器打开
http://localhost:xxxx（端口取决于配置）。 - 桌面客户端：通过 Electron 包装，和 Web 版功能一样，但透明背景效果更好，适合“悬浮在屏幕上”的桌面宠物模式。需要手动启用 WebSocket 本地连接。
一个关键限制：远程访问必须配 HTTPS
README 明确写了：浏览器 getUserMedia API 只在安全上下文（https 或 localhost）下允许调用麦克风。如果你想让手机或另一台电脑访问这个 Web 页面（比如服务器在笔记本上，你在客厅平板上用），必须用 nginx 或类似工具配置 HTTPS 反向代理。否则前端麦克风权限会被拒绝，AI 听不见你说话。我建议先在本地把所有模型调通，再考虑外网暴露。
最简单的尝鲜方式
去 Releases 页下预编译包，解压运行。默认配置文件里用的是本地轻量模型？不，默认配置可能指向一些公开 demo 端点，你得手动改成自己的模型。官方文档（快速开始）有详细步骤，中文用户还有额外福利：腾讯文档里的常见问题指南和 QQ 群（群号见仓库首页）。
模型配置：选型建议与性能实测
项目不锁模型，每个环节都有多种后端可选，我整理一份常见的搭配（README 里提到的）：
| 环节 | 可选后端（举例） | 资源需求 |
|---|---|---|
| ASR | Whisper（tiny/base/small 等）、云端服务 | tiny 级 CPU 可跑，GPU 更快 |
| LLM | Ollama、llama.cpp、vLLM、兼容 OpenAI API 的本地服务或云端 API（GPT-4, Claude 等） | 4B 参数模型约 4-6GB 内存，7B 以上建议 8GB+ 显存 |
| TTS | Coqui TTS、Edge TTS、云端 API | 相对轻量，CPU 可跑 |
我用自己的笔记本试了一下
机器：16GB 内存、无独显、CPU 是 Intel i5-1135G7。我选了：
- ASR：Whisper tiny（CPU 推理）
- LLM：Qwen2.5-4B-Instruct 通过 Ollama 加载（CPU 推理，4bit 量化）
- TTS：Edge TTS（免费云端，需联网）
结果：从说完一句话到角色开口，延迟大约 3-5 秒。如果换成 Whisper small 或 7B 模型，延迟会超过 10 秒。如果你有 6GB 以上显存的 GPU，跑 7B 模型可以用 llama.cpp 或者 vLLM 实现较低延迟（1-2 秒内）。ASR 和 TTS 对 GPU 需求不高，瓶颈在 LLM。
完全离线的最低配置
官方推荐至少 8GB 内存。我建议：CPU 用户尽量选 1.5B-3B 参数范围的 LLM（如 Qwen2.5-1.5B / Phi-3-mini），ASR 用 Whisper tiny，TTS 用本地轻量模型（如 Coqui TTS 的 tts_models/en/ljspeech/tacotron2-DDC）。这样在 8GB 内存的老笔记本上也能跑，延迟 5-8 秒。
版本现状：v1 能用但不加新功能，v2 正在重写
开发团队已宣布 v2.0 是完全重写代码库，当前处于早期讨论阶段（见仓库顶部公告）。v1 只会修严重 bug，不再接受新功能 PR 和 issue。参与 v2 讨论需要加入 Zulip 社区（仓库有链接），每周有例会。如果你现在就想玩，直接用 v1，所有文档和教程都基于它。如果计划长期使用或贡献代码，关注 v2，但短期内不会有稳定版。
v1 中“长期记忆”功能被暂时移除了（官方说很快回归），但聊天记录会持久化到本地文件，重启程序后可以继续上次对话。
适合谁，不适合谁
适合：
- 手头有带 GPU 的电脑（或至少 16GB 内存），愿意花几十分钟配置模型路径和后端参数。
- 需要完全离线语音交互，不能依赖外网（隐私敏感场景，比如本地化部署在公司内部）。
- 能接受偶尔调试，不追求开箱即用——比如模型加载失败时改个参数再跑。
不适合：
- 只有 4-8GB 内存、无独显，且不想折腾量化模型的用户——延迟会让你崩溃。
- 只想用云端大模型、不想费心选模型的人——直接调用 GPT-4 反而简单，但项目默认设计是本地优先，云端只是可选项。
- 期望一键安装、类似 Siri 体验的人——目前 v1 配置项较多，需要手动修改配置文件。
我踩过的两个坑
- Docker 镜像名大小写：README 写的是
Open-LLM-VTuber/open-llm-vtuber，但我第一次拉取时用了小写open-llm-vtuber/open-llm-vtuber，找不到镜像。注意 Docker Hub 上是带大写Open-LLM-VTuber的命名空间。 - HTTPS 警告：我直接把服务部署在 VPS 上暴露 80 端口，用手机访问时麦克风图标灰色，点了没反应。翻 README 才发现
getUserMedia的限制。后来用 nginx 配了 Let’s Encrypt 证书才解决。建议本地调试阶段就用localhost，绝对不要先想着外网。
中文用户社区很活跃：有 QQ 群（仓库首页链接）、腾讯文档常见问题（地址在 README 开头）、还有调查问卷。遇到问题先查那个腾讯文档，很多坑已经被填平了。