approachingai/ktransformers 运行 KTransformers 大模型推理优化框架，通过 CPU/GPU 混合计算降低 LLM serving 显存需求。定位为 GPU/CPU 混合 LLM 推理服务，需 GPU 与模型缓存 volume；docker GPU 节点部署，非 CPU-only K8s 常规场景。

快速启动

docker run -d --name ktransformers \
  --gpus all \
  -p 8080:8080 \
  docker.io/approachingai/ktransformers:latest

推荐实践

docker run -d --name ktransformers \
  --gpus all \
  --restart unless-stopped \
  -p 8080:8080 \
  -v /data/models:/models \
  docker.io/approachingai/ktransformers:0.2.0

核心参数说明

• --gpus all — GPU 推理加速
• -p 8080:8080 — 推理 REST API
• -v .../models:... — 模型权重缓存
• 定位 — 混合 CPU/GPU LLM serving