apecloud/xinference 运行 XInference 分布式推理引擎，加载多种 LLM/embedding 模型提供 OpenAI 兼容 REST API。定位为 GPU LLM 推理服务，需 --gpus all 与模型缓存 volume；docker 或 GPU 节点部署，非 CPU-only K8s 常规场景。

快速启动

docker run -d --name xinference \
  --gpus all \
  -p 9997:9997 \
  docker.io/apecloud/xinference:latest

推荐实践

docker run -d --name xinference \
  --gpus all \
  --restart unless-stopped \
  -p 9997:9997 \
  -v /data/xinference:/root/.xinference \
  docker.io/apecloud/xinference:v0.12.0

核心参数说明

• --gpus all — GPU 推理加速
• -p 9997:9997 — XInference REST API
• -v .../xinference:... — 模型权重缓存
• 定位 — GPU LLM serving 服务