概要

フル名
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
Registry
docker.io
名前空間
lmxxf
リポジトリ
vllm-deepseek-v4-dgx-spark
キャッシュ Tag 数
3
最終同期
07/06/2026, 08:05 PM
関連トピック

概要

vLLM 预构建 DeepSeek V4 推理镜像,面向 NVIDIA DGX Spark 平台优化,提供 OpenAI 兼容 API 与连续批处理,需大显存 GPU。

詳細

本镜像将 vLLM 推理引擎与 DeepSeek V4 权重打包,针对 DGX Spark 的 Blackwell 架构调优 tensor parallel 与 KV cache。启动必须 --gpus all 并挂载模型目录,单节点显存通常需 80GB 级 HBM。适合私有化大模型推理 PoC 与压测,不适合无 GPU 或显存不足的标准 Kubernetes 节点;生产应使用专用 GPU 节点池与 vLLM Helm chart。

快速启动

docker run -d --name vllm-deepseek \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  docker.io/lmxxf/vllm-deepseek-v4-dgx-spark:latest \
  --model /models/deepseek-v4 --host 0.0.0.0 --port 8000

推荐实践

docker run -d --name vllm-deepseek \
  --restart unless-stopped \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  -e CUDA_VISIBLE_DEVICES=0,1 \
  -e VLLM_TENSOR_PARALLEL_SIZE=2 \
  docker.io/lmxxf/vllm-deepseek-v4-dgx-spark:2026.04 \
  --model /models/deepseek-v4 --max-model-len 32768

核心参数说明

  • --gpus all — NVIDIA GPU 推理必需
  • -v /data/models:/models — DeepSeek 权重目录
  • -p 8000:8000 — OpenAI 兼容 HTTP API
  • -e VLLM_TENSOR_PARALLEL_SIZE=2 — 多卡张量并行度
  • --max-model-len — 最大上下文长度,受显存限制
Tagアーキテクチャプッシュ日時サイズDigest同期期望操作
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:marlin-fix-20260511
linux/arm64
2026/05/11 20:549.0 GBsha256:ccff377be2e7
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:latest
linux/arm64
2026/05/11 20:549.0 GBsha256:ccff377be2e7
docker.io/lmxxf/vllm-deepseek-v4-dgx-spark
:jasl-20260504
linux/arm64
2026/05/04 21:0510.8 GBsha256:14881acd4eee