xTag

镜像概览

完整引用
docker.io/lmcache/vllm-openai
Registry
docker.io
命名空间
lmcache
仓库
vllm-openai
已缓存 Tag 数
464
最近同步
07/05/2026, 07:55 AM
相关主题
AI 与大模型

简介

vLLM OpenAI API 镜像（LMCache 构建），高吞吐 LLM 推理与 KV Cache 加速，GPU 大模型 OpenAI 兼容服务部署。

详细介绍

lmcache/vllm-openai 基于 vLLM 提供 OpenAI 兼容 HTTP API，集成 LMCache 优化 KV Cache 复用以提升吞吐。定位为 GPU LLM 推理服务，需 NVIDIA GPU；私有化大模型 API、高并发 Chat 服务或 RAG 后端推理层。

快速启动

docker run -d --name vllm \
  --gpus all \
  -p 8000:8000 \
  docker.io/lmcache/vllm-openai:latest \
  --model meta-llama/Llama-3.1-8B-Instruct

推荐实践

docker run -d --name vllm \
  --restart unless-stopped \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  docker.io/lmcache/vllm-openai:v0.6.0 \
  --model /models/Llama-3.1-8B --gpu-memory-utilization 0.9

核心参数说明

  • --gpus all — 必需 NVIDIA GPU
  • --model — HuggingFace 或本地模型路径
  • --gpu-memory-utilization — 显存占用比例
  • 资源 — 按模型规模规划 GPU

最新 Tag（20 条）

查看全部 464 个 Tag →
Tag架构推送时间大小Digest同步期望操作
docker.io/lmcache/vllm-openai
:nightly-2026-06-27-cu129
linux/amd64
2026/06/27 17:1812.0 GBsha256:9014ef35aed8…
docker.io/lmcache/vllm-openai
:latest-nightly-cu129
linux/amd64
2026/06/27 17:1812.0 GBsha256:9014ef35aed8…
docker.io/lmcache/vllm-openai
:nightly-2026-06-27
linux/amd64
2026/06/27 16:368.8 GBsha256:745c2253a52e…
docker.io/lmcache/vllm-openai
:latest-nightly
linux/amd64
2026/06/27 16:358.8 GBsha256:745c2253a52e…
docker.io/lmcache/vllm-openai
:nightly-2026-06-26-cu129
linux/amd64
2026/06/26 18:0012.0 GBsha256:405b95ca9ef0…
docker.io/lmcache/vllm-openai
:nightly-2026-06-26
linux/amd64
2026/06/26 16:538.7 GBsha256:73a57c28b3ce…
docker.io/lmcache/vllm-openai
:nightly-2026-06-25-cu129
linux/amd64
2026/06/25 17:3312.0 GBsha256:2edc544e7b05…
docker.io/lmcache/vllm-openai
:nightly-2026-06-25
linux/amd64
2026/06/25 16:508.8 GBsha256:eb2def06d3f2…
docker.io/lmcache/vllm-openai
:nightly-2026-06-24-cu129
linux/amd64
2026/06/24 17:3311.8 GBsha256:96f82d65a367…
docker.io/lmcache/vllm-openai
:nightly-2026-06-24
linux/amd64
2026/06/24 16:528.8 GBsha256:c9ccda3775c5…
docker.io/lmcache/vllm-openai
:v0.5.0-cu129
linux/amd64
2026/06/24 05:5812.0 GBsha256:a15f50d189dd…
docker.io/lmcache/vllm-openai
:latest-cu129
linux/amd64
2026/06/24 05:5812.0 GBsha256:a15f50d189dd…
docker.io/lmcache/vllm-openai
:v0.5.0-lightweight
linux/amd64
2026/06/24 05:308.6 GBsha256:c9a791914dd5…
docker.io/lmcache/vllm-openai
:lightweight
linux/amd64
2026/06/24 05:308.6 GBsha256:c9a791914dd5…
docker.io/lmcache/vllm-openai
:v0.5.0
linux/amd64
2026/06/24 05:278.8 GBsha256:59aaeca168e1…
docker.io/lmcache/vllm-openai
:latest
linux/amd64
2026/06/24 05:278.8 GBsha256:59aaeca168e1…
docker.io/lmcache/vllm-openai
:nightly-2026-06-23-cu129
linux/amd64
2026/06/23 17:3912.0 GBsha256:d61999f3cdbe…
docker.io/lmcache/vllm-openai
:nightly-2026-06-23
linux/amd64
2026/06/23 16:568.8 GBsha256:e00c49fa1687…
docker.io/lmcache/vllm-openai
:v0.5.0rc1
linux/amd64
2026/06/23 11:378.8 GBsha256:d4236e178e69…
docker.io/lmcache/vllm-openai
:nightly-2026-06-22-cu129
linux/amd64
2026/06/22 18:3312.0 GBsha256:f4eb00d5057d…