vllm/vllm-omni 运行 vLLM-Omni 多模态推理引擎，在 GPU 上高吞吐 serving 文本、图像与音频 LLM 模型，提供 OpenAI 兼容 REST API。定位为 GPU 多模态 LLM 推理服务，需 --gpus all 与模型缓存 volume；docker GPU 节点部署，非 CPU-only K8s 常规场景。

快速启动

docker run -d --name vllm-omni \
  --gpus all \
  -p 8000:8000 \
  docker.io/vllm/vllm-omni:latest

推荐实践

docker run -d --name vllm-omni \
  --gpus all \
  --restart unless-stopped \
  -p 8000:8000 \
  -v /data/models:/models \
  -e MODEL=/models/your-model \
  docker.io/vllm/vllm-omni:v0.6.0

核心参数说明

• --gpus all — NVIDIA GPU 推理加速
• -p 8000:8000 — OpenAI 兼容 REST API
• -v .../models:... — 模型权重缓存
• -e MODEL — 加载模型路径