xTag

概要

フル名
docker.io/chatteohr/ktransformers
Registry
docker.io
名前空間
chatteohr
リポジトリ
ktransformers
キャッシュ Tag 数
5
最終同期
07/05/2026, 09:46 PM

概要

KTransformers 大模型 GPU 推理优化镜像，CPU/GPU 混合推理与 MoE 加速，需 NVIDIA GPU 与 CUDA 运行时。

詳細

chatteohr/ktransformers 封装 KTransformers 推理框架，支持 DeepSeek 等 MoE 模型 CPU+GPU 混合推理与量化加速。定位为 --gpus all GPU 推理 CLI/服务，需 NVIDIA 驱动与足够显存；docker 或裸机 GPU 节点部署，非 CPU-only K8s 常规 Pod。

快速启动

docker run --rm --gpus all \
  -v /models:/models \
  docker.io/chatteohr/ktransformers:latest \
  --help

推荐实践

docker run -d --name ktransformers \
  --gpus all \
  -p 8000:8000 \
  -v /models/deepseek:/models \
  -e MODEL_PATH=/models/deepseek-r1 \
  docker.io/chatteohr/ktransformers:0.3.0

核心参数说明

  • --gpus all — NVIDIA GPU 必需
  • -v .../models:... — 模型权重挂载
  • -e MODEL_PATH — 推理模型路径
  • 勿 — 无 GPU 节点运行

最新 Tag（20 件）

すべての 5 件の Tag を見る →
Tagアーキテクチャプッシュ日時サイズDigest同期期望操作
docker.io/chatteohr/ktransformers
:0.2.1-MLA
linux/amd64
2025/02/18 00:468.9 GBsha256:24adfa42f4a5…
docker.io/chatteohr/ktransformers
:latest
linux/amd64
2025/02/18 00:468.9 GBsha256:24adfa42f4a5…
docker.io/chatteohr/ktransformers
:0.3.0
linux/amd64
2025/02/17 22:247.0 GBsha256:7f1b42216e74…
docker.io/chatteohr/ktransformers
:0.3.0-test
linux/amd64
2025/02/17 21:147.0 GBsha256:9c43944c7a2c…
docker.io/chatteohr/ktransformers
:0.2.0
linux/amd64linux/arm64
2025/02/13 23:349.0 GBsha256:9a5fa2b03c35…