📌 项目地址:unslothai/unsloth | ⭐ 70,948 颗星 | 🔧 Python | 📜 未标注
你记忆里的 Unsloth,现在不一样了
大多数人对 Unsloth 的印象是”2 倍速微调 LLM 的 Python 库”。但现在的 Unsloth 定位已经变了:官方 README 称其为 “the first desktop app to run and train models”——一个本地桌面应用,覆盖运行、训练、部署 AI 模型的完整链路。
这个转变很关键。过去你用它,得写 Python 脚本调 UnslothMistralForCausalLM 之类的接口;现在它提供的是原生桌面 App,支持 Windows、macOS、Linux(deb 和 AppImage 都有)以及 Linux Arm64。
GitHub 上 70948 个 star 大部分是旧库时期积累的,但新方向的产品形态已经清晰:本地优先、图形界面、能训能跑。
安装:一条命令,或下载安装包
官方提供了最省事的安装方式。macOS、Linux、WSL 用户:
curl -fsSL https://unsloth.ai/install.sh | sh
Windows 用户(PowerShell):
irm https://unsloth.ai/install.ps1 | iex
也可以直接从 Unsloth 官网 或 GitHub Releases 页面下载对应平台的安装包。不想用命令行管 GPU、CUDA 环境的人,直接下 App 装上就能跑。
它具体能干什么
README 的功能清单比预想中宽,核心可以拆成四块:
1. 跑模型,但不限于 LLM
支持运行的模型类型包括 Kimi K3、MiniMax-H3、Qwen3.8、Muse Glimmer、DeepSeek-V4、Gemma 4,还覆盖 diffusion 图像模型、视频扩散模型、音频模型、embedding 模型。硬件上兼容 CPU、NVIDIA、AMD、Intel、macOS 和 multi-GPU 配置。简单说:不管是聊天、画图还是向量化,都能在本地拉起来。
2. 本地模型接入外部工具链
Unsloth 的本地模型可以接进 Claude Code、Codex 和 MCP(Model Context Protocol),支持工具调用和代码执行。这意味着你可以用本地模型当后端,驱动 Claude Code 这类 agent 工具,数据不出机器。另外支持私有 Web 搜索、deep research 和 RAG,搜索和检索也走本地。
3. 微调:2 倍速、少 70% VRAM
这是旧 Unsloth 的老本行,延续到了桌面版。README 描述是 2× faster with 70% less VRAM(相对标准微调流程)。支持的方法有 LoRA、QLoRA、全参微调、预训练、强化学习(RL、GRPO、DPO)、FP8。训练对象不限于 LLM,还包括 diffusion、TTS、embedding 模型。这些能力放进桌面 App 之后,意味着你不需要再维护一套训练脚本环境,可以在图形界面里直接调数据集和参数。
4. 导出与部署
训练或微调完的模型可以导出为 GGUF、NVFP4、FP8 等格式,其中 GGUF 可以直接给 llama.cpp 这类推理引擎用。模型可以通过 OpenAI 兼容 API 暴露出来,本机其他应用可以直接调用。README 还提到可以连云端 provider(具体细节在 官方文档 里)。
另外一个实用功能是 Data Recipes:从 PDF、CSV、DOCX 等文件直接构建训练数据集,省掉了手工清洗转换的环节。
和 LM Studio / Ollama 这类工具的区别
这个差异值得单独说:LM Studio 和 Ollama 的定位是”跑模型”,训练不是它们的主业。Unsloth 桌面版把”跑”和”训”放在了同一个本地环境里。
具体到工作流上:
– 你可以在 Unsloth 里跑一个 Qwen 模型,然后针对自己的文档做 LoRA 微调,导成 GGUF,再用 OpenAI 兼容 API 接回应用——全程不需要离开这个 App。
– LM Studio 在 AI agent 生态的集成上走得早,但它的核心仍是推理;Unsloth 则是把微调性能优势(LoRA、QLoRA、GRPO 等)直接带进了桌面产品。
如果你只需要一个纯粹的推理客户端,LM Studio 可能更轻量;如果你有”本地微调 + 推理 + 导出”的完整需求,Unsloth 是目前少有的桌面一体化选择。
需要注意的几个事实
- 模型版本号的措辞值得留意。 README 里提到的 “DeepSeek-V4”、”Qwen3.8”、”Gemma 4” 等,有一些是官方文档术语,但其中部分模型在公开渠道可能尚未正式发布,名字可能是未来版或内部代号。具体支持哪些模型、什么时间可用,以 官方模型文档 的实时列表为准。
- README 有笔误。 “Audio” 那一行的描述和前面的 Search & RAG 重复了,明显是复制粘贴错误。实际功能应从官方文档确认,这里不猜测。
- 安装脚本来自网络。
curl | sh的方式方便,但建议先下载脚本内容扫一眼再执行。桌面版相对新,如果你在生产环境依赖模型训练,先在小项目上验证一轮再切换。 - star 数不等于成熟度。 7 万多的 star 大部分来自旧的训练库,桌面 App 是较新的产品,两者在版本迭代成熟度上要分开看。
Unsloth 桌面版值得关注的核心原因:它把”本地训练”从需要写代码的领域,拉到了普通用户能操作的图形界面里,并且保留了原有的性能优化底子。如果你已经在用 Ollama 或 LM Studio,并且开始觉得”光跑不够,想自己微调”,这个项目值得盯一眼。