镜像概览
- 完整引用
docker.io/vllm/vllm-openai-rocm- Registry
- docker.io
- 命名空间
- vllm
- 仓库
- vllm-openai-rocm
- 已缓存 Tag 数
- 69
- 最近同步
- 07/05/2026, 10:19 PM
- 相关主题
简介
vLLM OpenAI 兼容 API 镜像（ROCm 版），AMD GPU 大模型推理服务，OpenAI 格式 REST 接口。
详细介绍
vllm/vllm-openai-rocm 基于 vLLM 推理引擎提供 OpenAI 兼容 REST API，针对 AMD ROCm GPU 优化大语言模型高吞吐推理。定位为 AMD GPU LLM 推理服务，需 ROCm GPU 与模型 volume；适合 docker 单机部署，K8s 需 ROCm GPU 节点。
快速启动
docker run -d --name vllm-rocm \
--device /dev/kfd --device /dev/dri \
-p 8000:8000 \
-v /data/models:/models \
docker.io/vllm/vllm-openai-rocm:latest \
--model /models/llama-7b
推荐实践
docker run -d --name vllm-rocm \
--device /dev/kfd --device /dev/dri \
--restart unless-stopped \
-p 8000:8000 \
-v /data/models:/models \
docker.io/vllm/vllm-openai-rocm:v0.4.0 \
--model /models/llama-7b --max-model-len 4096
核心参数说明
--device /dev/kfd— AMD ROCm GPU-p 8000:8000— OpenAI 兼容 API-v .../models:...— 模型权重--model— 加载模型路径