📌 项目地址：vllm-project/vllm | ⭐ 94,353 颗星 | 🔧 Python | 📜 未标注
📌 项目地址：vllm-project/vllm | ⭐ 94,353 | 🔧 Python
先说结论
如果你要自己部署大模型做服务（不管是给外部用户还是内部调用），vLLM 是目前最稳妥的起点。9.4 万 star，2000 多名贡献者，几十家学术机构和公司参与维护，这个规模的开源 AI 项目没几个。它出自 UC Berkeley 的 Sky Computing Lab，现在已经长成一个纯社区驱动的项目。
它解决的核心问题：显存浪费
LLM 推理的瓶颈通常不在模型，在显存和调度。传统框架按最大序列长度预留 KV cache，实际利用率往往只有两到四成，大量显存白白锁死。
vLLM 的招牌是 PagedAttention：借鉴操作系统虚拟内存的分页思路，把 attention 的 key/value 内存切块管理，显存碎片基本清零。再配上 continuous batching（请求随到随处理，不用等凑一批），同一块 GPU 能扛的并发请求数大幅上升。算下来就是推理成本直接砍掉一大截。
性能手段清单
README 里列得很全，我按用途归了类：
显存和调度类
– PagedAttention 分页 KV cache
– Continuous batching、chunked prefill、prefix caching（重复前缀的请求直接复用已算好的部分）
执行加速类
– CUDA/HIP Graphs，分 full 和 piecewise 两种模式
– torch.compile 自动生成 kernel、做图级优化
– 优化 attention kernel：FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA、Triton
– GEMM/MoE kernel 用 CUTLASS、TRTLLM-GEN、CuTeDSL，覆盖多种精度
精度压缩类
– 量化全家桶：FP8、MXFP8/MXFP4、NVFP4、INT8/INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO
其他
– 投机解码：n-gram、suffix、EAGLE、DFlash
– 分离式部署：prefill、decode、encode 可以拆到不同机器上
易用性：这部分常被低估
光快还不够，vLLM 真正拉开差距的是生态：
模型覆盖。Hugging Face 上 200+ 种架构直接跑，不用改代码。decoder-only（Llama、Qwen、Gemma）、MoE（Mixtral、DeepSeek-V3、GPT-OSS）、混合注意力/状态空间（Mamba）、多模态（LLaVA、Qwen-VL、Pixtral）、embedding 和检索（E5-Mistral、GTE、ColBERT）、奖励和分类模型都支持。
API 兼容。自带 OpenAI 兼容的 API server，从 OpenAI 迁移过来基本只改 base_url。还有 Anthropic Messages API 和 gRPC。
工程能力。结构化输出（xgrammar/guidance）、tool calling、流式输出、多 LoRA（含 MoE 层）、parallel sampling 和 beam search 两种解码方式，以及 tensor/pipeline/data/expert/context 五种并行策略，超大模型也能拆着跑。
硬件。NVIDIA、AMD、Intel GPU，x86/ARM/PowerPC CPU 都是原生支持；TPU、华为昇腾、Intel Gaudi、Apple Silicon 等走插件机制。
怎么装
README 只提到用 uv 安装，具体命令在 README 里被截断了，我没法给你贴一段没来源的命令。完整步骤去看官方文档 docs.vllm.ai 或官网 vllm.ai。这个项目版本迭代很快，照抄第三方教程容易踩坑，以官方文档为准。
和竞品的关系
直接对手有两个。TensorRT-LLM 性能强但是 NVIDIA 闭源生态，绑定硬件、上手陡。SGLang 是新晋选手，结构化输出和复杂编排做得有特色。vLLM 的位置是：模型覆盖最广、硬件生态最开放、社区最活跃，OpenAI 兼容 API 开箱即用。对大多数团队来说，“模型下载下来就能高吞吐 serve”这件事，它做得最省心。
几个坑
- 性能优势基本要在 GPU 上才体现，CPU 支持有但别指望吞吐
- API 和 CLI 参数变动频繁，升级前先看 release notes
- 真正的学习曲线不在代码，在调优：量化方案选哪种、并行怎么拆、显存怎么配，得结合自己的模型和硬件试
- 框架本身商用没问题，但你要注意模型许可证，这是两回事
值不值得现在上手
值得。如果你的场景是高并发 LLM 服务，vLLM 目前没有明显的替代短板；如果只是偶尔本地跑跑小模型，Ollama 这类更轻的工具可能更合适。