dustynv/llama_cpp 基于 llama.cpp 提供 OpenAI 兼容 HTTP API 或 CLI，针对 NVIDIA Jetson 与 datacenter GPU 优化。运行需匹配主机驱动、CUDA 版本及 --gpus all 或 Jetson 运行时，内存与显存占用随模型规模显著增长。不适合无 GPU 的常规 Kubernetes Deployment；边缘场景用 NVIDIA Device Plugin 或 Jetson docker runtime 单节点部署。

快速启动

docker run -d --name llama_cpp \
  --gpus all \
  -p 8080:8080 \
  -v $(pwd)/models:/models \
  docker.io/dustynv/llama_cpp:latest

推荐实践

docker run -d --name llama_cpp \
  --restart unless-stopped \
  --gpus all \
  -p 8080:8080 \
  -v /data/models:/models:ro \
  -e MODEL=/models/Meta-Llama-3-8B-Q4_K_M.gguf \
  -e CONTEXT_SIZE=4096 \
  docker.io/dustynv/llama_cpp:r36.4.0

核心参数说明

• --gpus all — 启用 NVIDIA GPU 推理
• -v .../models:/models — GGUF 模型文件目录
• -e MODEL — 加载的模型路径
• -e CONTEXT_SIZE — 上下文 token 上限
• -p 8080:8080 — HTTP API 端口
• 固定 tag — CUDA/JetPack 版本须与主机匹配