Overview
- Full name
docker.io/openeuler/vllm-ascend- Registry
- docker.io
- Namespace
- openeuler
- Repository
- vllm-ascend
- Cached tags
- 9
- Last synced
- 07/05/2026, 09:51 AM
- Topics
Introduction
vLLM Ascend NPU 推理镜像（openEuler），华为昇腾 AI 处理器上大模型 vLLM 推理加速，国产 NPU LLM 服务部署。
Details
openeuler/vllm-ascend 提供在华为昇腾（Ascend）NPU 上运行 vLLM 大模型推理的 openEuler 构建，支持高吞吐 LLM API 服务。定位为 Ascend NPU LLM 推理服务，需昇腾硬件与 CANN 驱动；国产 NPU 大模型私有化、昇腾生态 LLM 推理或信创 AI 部署方案。
快速启动
docker run -d --name vllm-ascend \
--device=/dev/davinci0 \
-p 8000:8000 \
docker.io/openeuler/vllm-ascend:latest
推荐实践
docker run -d --name vllm-ascend \
--restart unless-stopped \
--device=/dev/davinci0 \
-p 8000:8000 \
-v /data/models:/models \
docker.io/openeuler/vllm-ascend:0.6.0
核心参数说明
--device davinci0— 昇腾 NPU 设备-p 8000:8000— vLLM OpenAI API- 硬件 — 需 Ascend NPU
- 驱动 — CANN 运行时依赖