vLLM Production Stack：面向生产环境的 vLLM 部署参考栈

| 博客 | 官方文档 | Production-Stack Slack 频道 | LMCache Slack | 意向登记表 |

English · 简体中文

最新动态

• 📄 Production-Stack 官方文档正式发布！
• ✨ 面向 Lambda Labs、AWS EKS 和 Google GCP 的云端部署教程现已推出！
• 🛤️ 2026 年度路线图已发布！立即参与讨论！
• 🔥 vLLM Production Stack 正式发布！欢迎阅读我们于 2025 年 1 月 22 日发布的发布博客。

社区活动

我们在以下固定时间段举办**双周（Bi-weekly）**社区会议：

• 每隔一周的周二下午 5:30（太平洋时间 PT）– 添加到日历

欢迎所有开发者参加！

简介

vLLM Production Stack 项目提供了基于 vLLM 构建生产级推理服务栈的参考实现，支持您：

• 🚀 无需修改任何业务应用代码，即可从单个 vLLM 实例无缝扩展至分布式 vLLM 集群部署
• 💻 通过 Web 可视化监控面板实时观测各项核心指标
• 😄 充分享受智能请求路由与 KV Cache 卸载（Offloading）带来的显著性能增益

分步实战教程

1. 如何安装 Kubernetes 环境（kubectl、helm、minikube 等）？
2. 如何在主流云平台上部署 Production Stack（AWS、GCP、Lambda Labs、Azure）？
3. 如何搭建最小化 vLLM Production Stack？
4. 如何自定义 vLLM 配置（可选）？
5. 如何加载您的 LLM 模型权重？
6. 如何在 vLLM Production Stack 中启动多个不同 LLM 模型？
7. 如何结合 LMCache 开启 KV Cache 卸载（Offloading）？

系统架构

整个服务栈基于 Helm 进行编排部署，包含以下核心组件：

• 推理引擎（Serving engine）：运行各类不同大语言模型的 vLLM 引擎实例。
• 请求路由器（Request router）：根据路由键（Routing Keys）或会话 ID（Session ID）将请求精准分发至对应后端节点，以最大化 KV Cache 复用率。
• 可观测性栈（Observability stack）：通过 Prometheus + Grafana 实时监控所有后端实例的运行指标。

路线图

我们正在积极推进该项目的研发，并将在近期推出以下核心功能，敬请期待！

• 基于 vLLM 专属指标的自动扩缩容（Autoscaling）
• 支持分离式预填充（Disaggregated Prefill）
• 路由器全方位增强（例如：采用非 Python 语言重写的高性能路由器、KV-Cache 感知型路由算法、更完善的容错机制等）

通过 Helm 部署服务栈

前置条件

• 已运行且配备 GPU 的 Kubernetes（K8s）集群环境
  • 运行 cd utils && bash install-minikube-cluster.sh
  • 或参考我们的环境安装教程

部署流程

vLLM Production Stack 可直接通过 Helm Charts 部署。将本代码库克隆至本地并执行以下命令即可完成最小化部署：

git clone https://github.com/vllm-project/production-stack.git
cd production-stack/
helm repo add vllm https://vllm-project.github.io/production-stack
helm install vllm vllm/vllm-stack -f tutorials/assets/values-01-minimal-example.yaml

部署完成的服务栈提供与原生 vLLM 完全一致的 OpenAI 兼容 API 接口，并可通过 Kubernetes Service 直接访问。

如需验证安装结果并向服务栈发送测试查询请求，请参阅这篇教程。

关于如何自定义 Helm Chart 配置的更多信息，请参阅 values.yaml 以及我们的其他进阶教程。

卸载服务栈

helm uninstall vllm

Grafana 监控面板

功能特性

Grafana 监控面板提供以下核心维度的可观测性洞察：

1. 可用 vLLM 实例数（Available vLLM Instances）：展示当前处于健康状态的实例数量。
2. 请求延迟分布（Request Latency Distribution）：可视化端到端请求延迟分布情况。
3. 首 Token 时间（TTFT）分布（Time-to-First-Token Distribution）：监控首个 Token 生成的响应耗时。
4. 运行中请求数（Number of Running Requests）：跟踪每个实例当前正在处理的活跃请求数。
5. 排队等待请求数（Number of Pending Requests）：跟踪正在等待处理的挂起请求数。
6. GPU KV 显存使用率（GPU KV Usage Percent）：监控 GPU KV Cache 的容量占用百分比。
7. GPU KV Cache 命中率（GPU KV Cache Hit Rate）：展示 GPU KV Cache 的缓存命中率。

配置方式

详细配置请参阅 helm/README.md

请求路由器（Router）

路由器负责确保请求在各个后端实例之间实现高效分发，主要支持以下特性：

• 路由至运行不同模型的服务端点
• 导出每个推理引擎实例的可观测性指标，包括 QPS、首 Token 延迟（TTFT）、排队/运行中/已完成请求数量以及运行时长（Uptime）
• 基于 Kubernetes API 的自动服务发现与容错机制
• 模型别名（Model Aliases）映射
• 多种路由算法：
  • 轮询路由（Round-robin routing）
  • 基于会话 ID 路由（Session-ID based routing）
  • 前缀感知路由（Prefix-aware routing，开发中）

更多详细信息请参阅路由器专项文档。

参与贡献

我们非常欢迎并珍视任何形式的社区贡献与技术合作。请查阅 CONTRIBUTING.md 了解如何参与到项目中。

开源许可证

本项目基于 Apache License 2.0 许可证开源，详情请参阅 LICENSE 文件。

赞助商

衷心感谢以下赞助商对本项目研发与基准测试工作的大力支持：

---

如有任何问题或建议，欢迎随时提交 Issue 或直接联系我们（@ruizhang0101、@ApostaC、@YuhanLiu11、@Shaoting-Feng）。

注：本文档由社区志愿者维护（贡献者：@JasonYeYuhe），内容与英文官方文档保持同步（更新时间：2026年10月13日）。如有任何疑问或更新建议，欢迎提交 PR 或 Issue。