xTag

Overview

Full name
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
Registry
docker.io
Namespace
lmxxf
Repository
vllm-deepseek-v4-dgx-spark
Cached tags
3
Last synced
07/06/2026, 08:05 PM
Topics
AI 与大模型

Introduction

vLLM 预构建 DeepSeek V4 推理镜像，面向 NVIDIA DGX Spark 平台优化，提供 OpenAI 兼容 API 与连续批处理，需大显存 GPU。

Details

本镜像将 vLLM 推理引擎与 DeepSeek V4 权重打包，针对 DGX Spark 的 Blackwell 架构调优 tensor parallel 与 KV cache。启动必须 --gpus all 并挂载模型目录，单节点显存通常需 80GB 级 HBM。适合私有化大模型推理 PoC 与压测，不适合无 GPU 或显存不足的标准 Kubernetes 节点；生产应使用专用 GPU 节点池与 vLLM Helm chart。

快速启动

docker run -d --name vllm-deepseek \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  docker.io/lmxxf/vllm-deepseek-v4-dgx-spark:latest \
  --model /models/deepseek-v4 --host 0.0.0.0 --port 8000

推荐实践

docker run -d --name vllm-deepseek \
  --restart unless-stopped \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  -e CUDA_VISIBLE_DEVICES=0,1 \
  -e VLLM_TENSOR_PARALLEL_SIZE=2 \
  docker.io/lmxxf/vllm-deepseek-v4-dgx-spark:2026.04 \
  --model /models/deepseek-v4 --max-model-len 32768

核心参数说明

  • --gpus all — NVIDIA GPU 推理必需
  • -v /data/models:/models — DeepSeek 权重目录
  • -p 8000:8000 — OpenAI 兼容 HTTP API
  • -e VLLM_TENSOR_PARALLEL_SIZE=2 — 多卡张量并行度
  • --max-model-len — 最大上下文长度，受显存限制

Latest tags (20)

View all 3 tags →
TagArchPushed AtSizeDigestSyncWishAction
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:marlin-fix-20260511
linux/arm64
2026/05/11 20:549.0 GBsha256:ccff377be2e7…
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:latest
linux/arm64
2026/05/11 20:549.0 GBsha256:ccff377be2e7…
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:jasl-20260504
linux/arm64
2026/05/04 21:0510.8 GBsha256:14881acd4eee…