镜像概览
- 完整引用
docker.io/dustynv/vllm- Registry
- docker.io
- 命名空间
- dustynv
- 仓库
- vllm
- 已缓存 Tag 数
- 14
- 最近同步
- 07/05/2026, 06:11 AM
- 相关主题
简介
dustynv vLLM Jetson/GPU 推理镜像，NVIDIA 边缘设备大模型 OpenAI 兼容 API 服务，嵌入式与高吞吐 LLM 部署优化版。
详细介绍
dustynv/vllm 为 NVIDIA Jetson 与 GPU 环境预构建 vLLM，暴露 OpenAI 兼容推理端点并针对边缘显存优化。定位为 GPU 大模型推理服务，需 NVIDIA 驱动与足够显存；Jetson 机器人、边缘网关或工作站本地 LLM 网关，非无 GPU 常规 Web 部署。
快速启动
docker run -d --name vllm \
--gpus all \
-p 8000:8000 \
docker.io/dustynv/vllm:r36.4.0
推荐实践
docker run -d --name vllm \
--gpus all \
--restart unless-stopped \
-p 8000:8000 \
-v /data/models:/models \
-e MODEL=/models/llama-3.2-3b \
docker.io/dustynv/vllm:r36.4.0
核心参数说明
--gpus all— NVIDIA GPU 必需-p 8000:8000— OpenAI 兼容 APIMODEL— 本地或 HF 模型路径- 平台 — Jetson/桌面 GPU 优化
最新 Tag（20 条）
查看全部 14 个 Tag →| Tag | 架构 | 推送时间 | 大小 | Digest | 同步 | 期望 | 操作 |
|---|---|---|---|---|---|---|---|
docker.io/dustynv/vllm :r36.4-cu129-24.04 | linux/arm64/v8 | 2025/07/07 11:08 | 7.2 GB | sha256:a021e8ae5227… | |||
docker.io/dustynv/vllm :r36.4-cu128-24.04 | linux/arm64/v8 | 2025/06/19 14:38 | 7.5 GB | sha256:dfeb6f05b041… | |||
docker.io/dustynv/vllm :0.9.2-r36.4-cu128-24.04 | linux/arm64/v8 | 2025/06/05 02:23 | 5.8 GB | sha256:fe597919a788… | |||
docker.io/dustynv/vllm :0.8.6-r36.4-cu128-24.04 | linux/arm64/v8 | 2025/05/06 14:15 | 5.7 GB | sha256:b2210294b661… | |||
docker.io/dustynv/vllm :0.8.6-sbsa-cu128 | linux/arm64/v8 | 2025/05/01 17:19 | 10.9 GB | sha256:22c6a6cd3f86… | |||
docker.io/dustynv/vllm :0.8.6-r36.4.0-cu128-24.04 | linux/arm64/v8 | 2025/05/01 16:21 | 5.7 GB | sha256:72db546948fb… | |||
docker.io/dustynv/vllm :0.8.5-r36.4.0-cu128-24.04 | linux/arm64/v8 | 2025/04/22 12:34 | 5.6 GB | sha256:85d8fdb1985c… | |||
docker.io/dustynv/vllm :0.8.3-r36.4.0-cu128-24.04 | linux/arm64/v8 | 2025/04/02 21:19 | 5.0 GB | sha256:5c17f5faa018… | |||
docker.io/dustynv/vllm :0.7.4-r36.4.0-cu128-24.04 | linux/arm64/v8 | 2025/03/17 15:41 | 5.2 GB | sha256:b920ae2befca… | |||
docker.io/dustynv/vllm :r36.4.0-cu128 | linux/arm64/v8 | 2025/02/10 19:43 | 4.5 GB | sha256:ec35b2475b9b… | |||
docker.io/dustynv/vllm :0.6.6.post1-r36.4.0 | linux/arm64/v8 | 2025/01/17 18:10 | 6.1 GB | sha256:4ebfaf740c4f… | |||
docker.io/dustynv/vllm :0.6.6.post1-builder-r36.4.0 | linux/arm64/v8 | 2025/01/16 04:13 | 6.1 GB | sha256:1dcbc7f0bf68… | |||
docker.io/dustynv/vllm :0.6.3-r36.4.0 | linux/arm64/v8 | 2024/10/21 14:27 | 5.0 GB | sha256:942d4e4b91d3… | |||
docker.io/dustynv/vllm :r36.4.0 | linux/arm64/v8 | 2024/10/15 21:20 | 5.7 GB | sha256:685ba477b8fd… |