xTag

镜像概览

完整引用
docker.io/nickoptimal/gpustack-vllm-gfx906-ray-smart-retry
Registry
docker.io
命名空间
nickoptimal
仓库
gpustack-vllm-gfx906-ray-smart-retry
已缓存 Tag 数
1
最近同步
07/06/2026, 09:38 PM
相关主题
AI 与大模型

简介

面向 AMD gfx906（如 Vega/Radeon VII）的 GPUStack + vLLM 推理栈镜像，集成 Ray 调度与重试逻辑，需大显存与 ROCm 驱动环境。

详细介绍

该镜像将 GPUStack 模型管理与 vLLM 推理引擎打包，针对 AMD gfx906 架构优化，并内置 Ray 分布式调度与 smart-retry 容错。部署需宿主机安装匹配版本的 ROCm 驱动，分配足够 GPU 显存与系统内存；适合私有化 LLM 推理网关或内网模型服务。因依赖特定 GPU 架构与驱动，不建议在通用 K8s 集群无 ROCm 节点上盲目调度。

快速启动

docker run -d --name gpustack-vllm \
  --device=/dev/kfd --device=/dev/dri \
  -p 8080:8080 \
  -e GPUSTACK_API_KEY=your-key \
  docker.io/nickoptimal/gpustack-vllm-gfx906-ray-smart-retry:latest

推荐实践

docker run -d --name gpustack-vllm \
  --restart unless-stopped \
  --device=/dev/kfd --device=/dev/dri \
  --group-add video \
  -p 8080:8080 \
  -v gpustack_models:/models \
  -e GPUSTACK_API_KEY=your-key \
  -e VLLM_GPU_MEMORY_UTILIZATION=0.9 \
  docker.io/nickoptimal/gpustack-vllm-gfx906-ray-smart-retry:0.4

核心参数说明

  • --device=/dev/kfd --device=/dev/dri — 暴露 AMD GPU 设备
  • -v gpustack_models:/models — 持久化模型权重
  • -e GPUSTACK_API_KEY — API 访问密钥
  • -e VLLM_GPU_MEMORY_UTILIZATION=0.9 — vLLM 显存占用比例
  • 需 gfx906 兼容 ROCm 驱动，显存建议 ≥16GB

最新 Tag（20 条）

查看全部 1 个 Tag →
Tag架构推送时间大小Digest同步期望操作
docker.io/nickoptimal/gpustack-vllm-gfx906-ray-smart-retry
:production-ready-v2-26.07.2025
linux/amd64
2025/07/26 23:406.3 GBsha256:21af1f4402c0…