torchserve-kfs 是 TorchServe 针对 Kubeflow ModelServer 定制的发行版，配合 InferenceService CR 自动挂载模型存储并暴露预测端口。容器启动需指定 MODEL_STORE 与 TS_CONFIG，GPU 推理须 --gpus all 或 K8s nvidia.com/gpu 资源。不适合无 GPU 的普通 Deployment 长期副本；正确路径是在 KServe/KFS 中声明 Predictor 或使用带 GPU 的 Job 批处理。

快速启动

docker run --rm --gpus all \
  -p 8080:8080 -p 8081:8081 \
  -v $(pwd)/model-store:/models \
  docker.io/pytorch/torchserve-kfs:latest \
  torchserve --start --model-store /models --models mymodel=mymodel.mar

推荐实践

docker run -d --name torchserve \
  --gpus all --restart unless-stopped \
  -p 8080:8080 -p 8081:8081 \
  -v /data/model-store:/models \
  -e TS_CONFIG=/models/config.properties \
  -e MODEL_STORE=/models \
  docker.io/pytorch/torchserve-kfs:0.9.0

核心参数说明

• --gpus all — 启用 CUDA 推理
• -p 8080/8081 — 推理 REST 与管理 API
• -v .../model-store:/models — MAR 包与 config.properties
• -e TS_CONFIG — 工作线程与批处理配置
• -e MODEL_STORE — 模型目录路径
• 部署 — 生产请用 KServe InferenceService 而非裸 Pod