镜像概览
- 完整引用
docker.io/chatteohr/ktransformers- Registry
- docker.io
- 命名空间
- chatteohr
- 仓库
- ktransformers
- 已缓存 Tag 数
- 5
- 最近同步
- 07/05/2026, 09:46 PM
简介
KTransformers 大模型 GPU 推理优化镜像，CPU/GPU 混合推理与 MoE 加速，需 NVIDIA GPU 与 CUDA 运行时。
详细介绍
chatteohr/ktransformers 封装 KTransformers 推理框架，支持 DeepSeek 等 MoE 模型 CPU+GPU 混合推理与量化加速。定位为 --gpus all GPU 推理 CLI/服务，需 NVIDIA 驱动与足够显存；docker 或裸机 GPU 节点部署，非 CPU-only K8s 常规 Pod。
快速启动
docker run --rm --gpus all \
-v /models:/models \
docker.io/chatteohr/ktransformers:latest \
--help
推荐实践
docker run -d --name ktransformers \
--gpus all \
-p 8000:8000 \
-v /models/deepseek:/models \
-e MODEL_PATH=/models/deepseek-r1 \
docker.io/chatteohr/ktransformers:0.3.0
核心参数说明
--gpus all— NVIDIA GPU 必需-v .../models:...— 模型权重挂载-e MODEL_PATH— 推理模型路径- 勿 — 无 GPU 节点运行
最新 Tag（20 条）
查看全部 5 个 Tag →| Tag | 架构 | 推送时间 | 大小 | Digest | 同步 | 期望 | 操作 |
|---|---|---|---|---|---|---|---|
docker.io/chatteohr/ktransformers :0.2.1-MLA | linux/amd64 | 2025/02/18 00:46 | 8.9 GB | sha256:24adfa42f4a5… | |||
docker.io/chatteohr/ktransformers :latest | linux/amd64 | 2025/02/18 00:46 | 8.9 GB | sha256:24adfa42f4a5… | |||
docker.io/chatteohr/ktransformers :0.3.0 | linux/amd64 | 2025/02/17 22:24 | 7.0 GB | sha256:7f1b42216e74… | |||
docker.io/chatteohr/ktransformers :0.3.0-test | linux/amd64 | 2025/02/17 21:14 | 7.0 GB | sha256:9c43944c7a2c… | |||
docker.io/chatteohr/ktransformers :0.2.0 | linux/amd64linux/arm64 | 2025/02/13 23:34 | 9.0 GB | sha256:9a5fa2b03c35… |