Overview
- Full name
docker.io/rocm/vllm-dev- Registry
- docker.io
- Namespace
- rocm
- Repository
- vllm-dev
- Cached tags
- 5237
- Last synced
- 07/05/2026, 12:27 PM
- Topics
Introduction
ROCm vLLM 开发镜像，AMD GPU 大模型推理框架构建环境，MI 系列显卡 LLM serving 开发与调试基础层。
Details
rocm/vllm-dev 提供 AMD ROCm 环境下 vLLM 推理框架的开发构建镜像，含 PyTorch ROCm 与 vLLM 源码依赖。定位为 AMD GPU LLM 开发环境，需 ROCm 驱动；AMD 服务器 vLLM 定制构建、ROCm LLM 推理实验或 MI300/MI250 私有化模型 serving 开发。
快速启动
docker run --rm --device=/dev/kfd --device=/dev/dri \
docker.io/rocm/vllm-dev:latest \
python -c "import vllm; print(vllm.__version__)"
推荐实践
docker run -it --device=/dev/kfd --device=/dev/dri \
-v /data/models:/models \
-v $(pwd):/workspace \
docker.io/rocm/vllm-dev:0.6.0 \
vllm serve /models/llama --port 8000
核心参数说明
/dev/kfd /dev/dri— ROCm GPU 设备- ROCm — 需匹配驱动版本
-v .../models:...— 模型权重- 定位 — 开发/构建非生产镜像