Overview
- Full name
docker.io/rocm/vllm- Registry
- docker.io
- Namespace
- rocm
- Repository
- vllm
- Cached tags
- 34
- Last synced
- 07/06/2026, 06:00 AM
- Topics
Introduction
AMD ROCm 版 vLLM 大模型推理镜像，在 MI 系列 GPU 上提供 OpenAI 兼容 API，需 ROCm 驱动与 GPU 节点。
Details
rocm/vllm 针对 AMD Instinct GPU 编译 vLLM 推理引擎，暴露 /v1/chat/completions API。定位为 ROCm GPU 推理服务，需 /dev/kfd 与 /dev/dri 设备；裸机 docker ROCm 节点部署，非 NVIDIA CUDA 环境。
快速启动
docker run -d --name vllm-rocm \
-p 8000:8000 \
--device /dev/kfd --device /dev/dri \
-e MODEL=meta-llama/Llama-3-8B \
docker.io/rocm/vllm:latest
推荐实践
docker run -d --name vllm-rocm \
--restart unless-stopped \
-p 8000:8000 \
--device /dev/kfd --device /dev/dri \
-v /data/hf-cache:/root/.cache/huggingface \
docker.io/rocm/vllm:0.6.0
核心参数说明
--device /dev/kfd— ROCm GPU 设备-p 8000:8000— OpenAI 兼容 API-v .../hf-cache:...— 模型权重缓存- 固定 tag — vLLM ROCm pin