vllm-project/vllm-ascend

vLLM Ascend Plugin

| 关于昇腾 | 官方文档 | 支持矩阵 | #sig-ascend | 用户论坛 | 社区例会 |

English | 中文

---

最新消息 🔥

• [2026/10] 我们发布了新的正式版本 v0.30.0! 请按照官方指南开始在 Ascend 上部署 vLLM Ascend Plugin。
• [2026/08] 我们发布了新的正式版本 v0.23.0! 请按照官方指南开始在 Ascend 上部署 vLLM Ascend Plugin。
• [2026/05] 我们发布了新的正式版本 v0.18.0! 请按照官方指南开始在Ascend上部署vLLM Ascend Plugin。
• [2026/02] 我们发布了新的正式版本 v0.13.0! 请按照官方指南开始在Ascend上部署vLLM Ascend Plugin。

更多内容

• [2025/12] 我们发布了新的正式版本 v0.11.0! 请按照官方指南开始在Ascend上部署vLLM Ascend Plugin。
• [2025/09] 我们发布了新的正式版本 v0.9.1! 请按照官方指南开始在Ascend上部署大型专家并行 (EP)。
• [2025/08] 我们与vLLM和腾讯合作举办了vLLM北京Meetup，！请查阅活动幻灯片。
• [2025/06] 用户案例现已上线！展示了LLaMA-Factory/verl/TRL/GPUStack等用户案例，展示了vLLM Ascend如何帮助昇腾用户在模型微调、评估、强化学习 (RL) 以及部署等场景中提升体验。
• [2025/06] 贡献者页面现已上线！所有的贡献都值得被记录，感谢所有的贡献者。
• [2025/05] 我们发布了首个正式版本 v0.7.3！我们与 vLLM 社区合作发布了一篇博客文章，分享了我们的实践：Introducing vLLM Hardware Plugin, Best Practice from Ascend NPU。
• [2025/03] 我们和vLLM团队举办了vLLM Beijing Meetup! 请查阅活动幻灯片.
• [2025/02] vLLM社区正式创建了vllm-project/vllm-ascend仓库，让vLLM可以无缝运行在Ascend NPU。
• [2024/12] 我们正在与 vLLM 社区合作，以支持 [RFC]: Hardware pluggable.

---

总览

vLLM 昇腾插件 (vllm-ascend) 是一个由社区维护的让vLLM在 Huawei Ascend NPU无缝运行的后端插件。

此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则：通过解耦的方式提供了vLLM对Ascend NPU的支持。

使用 vLLM 昇腾插件，可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。

支持的模型详细信息，请参考模型支持列表。

DeepWiki

DeepWiki 是一个由社区和 AI 协同维护的动态知识库，旨在为你提供超越常规文档的、更深层次的技术解析。

如果说官方文档是帮助您“快速上手”的操作指南，那么DeepWiki就是陪伴您“深入理解”的技术伙伴。在这里，您可以探索：核心架构与设计原理、关键源码解读、技术背景与决策逻辑。

无论您是希望将 vLLM-Ascend 用于生产部署的性能调优者，还是想基于它进行二次开发的贡献者，DeepWiki 都能为您提供极具价值的参考。欢迎立即探索，与我们一起深入 vLLM-Ascend 的技术内核。

准备

• 硬件：Atlas 800I A2 系列、Atlas 800I A3 系列、Atlas 300I Duo、Ascend 950PR&950DT 系列产品
• 操作系统：Linux
• 软件：
  • Python == 3.12
  • CANN == 9.2.1 (Ascend HDK 版本详见 版本说明)
  • PyTorch == 2.10.0, TorchNPU == 2.10.0.post7
  • vLLM (与vllm-ascend版本一致)

访问昇腾NPU

如果您需要访问昇腾NPU算力资源进行开发或测试，请进入HiDevLab平台的HiDevLab-在线开发 页面申请并使用算力。

开始使用

推荐您使用以下版本快速开始使用：

Version	Release type	Doc
v0.30.0	最新正式/稳定版本	请查看快速开始和安装指南了解更多
v0.23.0	正式/稳定版本	请查看快速开始和安装指南了解更多

分支策略

vllm-ascend有主干分支和开发分支。

• main: 主干分支，与vLLM的主干分支对应，并通过昇腾CI持续进行质量看护。
• releases/vX.Y.Z: 开发分支，随vLLM部分新版本发布而创建，比如releases/v0.13.0是vllm-ascend针对vLLM v0.13.0 版本的开发分支。

下面是维护中的分支：

分支	状态	备注
main	Maintained	基于vLLM main分支和vLLM最新版本（v0.32.0）CI看护
releases/v0.13.0	Maintained	只允许Bug修复，不会再发布新版本
releases/v0.18.0	Maintained	基于vLLM v0.18.0版本CI看护
releases/v0.23.0	Maintained	基于vLLM v0.23.0版本CI看护
releases/v0.30.0	Maintained	基于vLLM v0.30.0版本CI看护
rfc/	Maintained	为协作创建的特性分支

请参阅版本策略了解更多详细信息。

贡献

请参考CONTRIBUTING文档了解更多关于开发环境搭建、功能测试以及 PR 提交规范的信息。

我们欢迎并重视任何形式的贡献与合作：

• 请通过Issue来告知我们您遇到的任何Bug。
• 请通过用户论坛来交流使用问题和寻求帮助。

社区例会

• vLLM Ascend 每周社区例会: https://tinyurl.com/vllm-ascend-meeting
• 每周三下午，15:00 - 16:00 (UTC+8, 查看您的时区)

许可证

Apache 许可证 2.0，如 LICENSE 文件中所示。