镜像概览

完整引用
docker.io/dengcao/vllm-openai
Registry
docker.io
命名空间
dengcao
仓库
vllm-openai
已缓存 Tag 数
19
最近同步
07/05/2026, 03:21 PM
相关主题

简介

vLLM OpenAI 兼容 API 推理镜像,PagedAttention 高吞吐 LLM 服务,私有化部署 OpenAI 格式大模型 API 网关。

详细介绍

dengcao/vllm-openai 基于 vLLM 提供 OpenAI 兼容 REST API,支持连续批处理与高吞吐 LLM 推理。定位为 GPU 大模型推理服务,需 NVIDIA GPU 与模型权重;企业私有化 ChatGPT 替代、高 QPS 推理 API 或 RAG 生成后端。

快速启动

docker run -d --name vllm \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  docker.io/dengcao/vllm-openai:latest \
  --model /models/qwen2-7b

推荐实践

docker run -d --name vllm \
  --gpus all \
  --restart unless-stopped \
  -p 8000:8000 \
  -v /data/models:/models \
  docker.io/dengcao/vllm-openai:0.6.0 \
  --model /models/qwen2-7b --served-model-name qwen2

核心参数说明

  • --gpus all — NVIDIA GPU 必需
  • -p 8000:8000 — OpenAI 兼容 API
  • --model — 模型权重路径
  • --served-model-name — API 模型名

最新 Tag(20 条)

查看全部 19 个 Tag →
Tag架构推送时间大小Digest同步期望操作
docker.io/dengcao/vllm-openai
:v0.11.1-dev
linux/amd64
2025/10/15 11:2211.0 GBsha256:ddc72347a884
docker.io/dengcao/vllm-openai
:v0.10.2.dev
linux/amd64
2025/10/15 10:3110.7 GBsha256:c4c4de767f00
docker.io/dengcao/vllm-openai
:latest
linux/amd64
2025/10/11 17:2611.6 GBsha256:d8d39b59e909
docker.io/dengcao/vllm-openai
:v0.11.0
linux/amd64
2025/10/11 17:1911.6 GBsha256:d8d39b59e909
docker.io/dengcao/vllm-openai
:v0.10.2
linux/amd64
2025/10/11 16:3210.7 GBsha256:df2607b26bdd
docker.io/dengcao/vllm-openai
:v0.10.1.1
linux/amd64
2025/08/21 16:459.8 GBsha256:96ef8cd928d1
docker.io/dengcao/vllm-openai
:v0.10.1
linux/amd64
2025/08/21 12:009.8 GBsha256:b5391f133b72
docker.io/dengcao/vllm-openai
:v0.6.6
linux/amd64
2025/08/21 10:215.1 GBsha256:6956052a3491
docker.io/dengcao/vllm-openai
:v0.7.3
linux/amd64
2025/08/21 09:108.2 GBsha256:4f4037303e8c
docker.io/dengcao/vllm-openai
:v0.8.5
linux/amd64
2025/08/20 18:368.4 GBsha256:6cf9808ca881
docker.io/dengcao/vllm-openai
:v0.5.4
linux/amd64
2025/08/20 16:505.1 GBsha256:7ab0cf7b2878
docker.io/dengcao/vllm-openai
:v0.9.1
linux/amd64
2025/08/20 10:1110.3 GBsha256:c61124191b6d
docker.io/dengcao/vllm-openai
:v0.9.0.1
linux/amd64
2025/08/20 08:3610.3 GBsha256:991d2193d1b8
docker.io/dengcao/vllm-openai
:gptoss-20250810
linux/amd64
2025/08/19 18:2616.5 GBsha256:fad4a5c9bd91
docker.io/dengcao/vllm-openai
:v0.10.1-dev
linux/amd64
2025/08/19 12:0310.1 GBsha256:7d3feced15ab
docker.io/dengcao/vllm-openai
:v0.10.0
linux/amd64
2025/07/30 13:0510.1 GBsha256:9d427204682d
docker.io/dengcao/vllm-openai
:v0.9.2
linux/amd64
2025/07/08 23:379.9 GBsha256:35cb2b1f721d
docker.io/dengcao/vllm-openai
:v0.9.2rc2
linux/amd64
2025/07/08 00:0610.1 GBsha256:9477f0c5dd46
docker.io/dengcao/vllm-openai
:v0.9.2-dev
linux/amd64
2025/06/26 01:1610.2 GBsha256:aa1344cd3731