Overview
- Full name
docker.io/semitechnologies/transformers-inference- Registry
- docker.io
- Namespace
- semitechnologies
- Repository
- transformers-inference
- Cached tags
- 1247
- Last synced
- 07/06/2026, 12:50 PM
Introduction
Weaviate TEI 推理镜像，加载 HuggingFace 模型输出向量，生产 batch 推理通常需 GPU，不适合无 GPU 的常规 K8s 示例。
Details
semitechnologies/transformers-inference 封装 TEI 服务供 Weaviate 模块调用，通过 HTTP 将文本转为 embedding 向量。典型与 Weaviate 向量库组成 RAG 流水线。CPU 可跑小模型但延迟高；生产普遍需要 NVIDIA GPU 与 --gpus all。与 ghcr.io/huggingface/text-embeddings-inference 同源生态；固定 model ID 与 tag，权重首次启动经 volume 缓存。
快速启动
docker run -d --name tei \
-p 8080:8080 \
-e MODEL_ID=sentence-transformers/all-MiniLM-L6-v2 \
docker.io/semitechnologies/transformers-inference:latest
推荐实践
docker run -d --name tei \
--restart unless-stopped \
--gpus all \
-p 8080:8080 \
-v /data/tei/cache:/data \
-e MODEL_ID=BAAI/bge-m3 \
-e MAX_BATCH_SIZE=32 \
docker.io/semitechnologies/transformers-inference:2.0.0
核心参数说明
--gpus all— GPU 推理（生产推荐）-p 8080:8080— HTTP embeddings API-e MODEL_ID— HuggingFace 模型 ID-v .../cache:...— 模型权重缓存目录-e MAX_BATCH_SIZE— 批大小与显存相关- 资源 — K8s 需 request
nvidia.com/gpu