fjklqq/text-embeddings-inference 封装 TEI Rust 服务，加载 sentence-transformers 模型并通过 OpenAI 兼容 /embeddings API 输出向量。典型与向量数据库组成 RAG 流水线。CPU 模式可跑小模型但延迟高；生产 batch 推理普遍需要 NVIDIA GPU 与 --gpus all。与 ghcr.io/huggingface/text-embeddings-inference 同源生态；固定 model ID 与 tag，模型权重首次启动经 volume 缓存。

快速启动

docker run -d --name tei \
  -p 8080:80 \
  -e MODEL_ID=BAAI/bge-small-en-v1.5 \
  docker.io/fjklqq/text-embeddings-inference:latest

推荐实践

docker run -d --name tei \
  --restart unless-stopped \
  --gpus all \
  -p 8080:80 \
  -v /data/tei/cache:/data \
  -e MODEL_ID=BAAI/bge-m3 \
  -e MAX_BATCH_SIZE=32 \
  docker.io/fjklqq/text-embeddings-inference:1.5.0

核心参数说明

• --gpus all — GPU 推理（生产推荐）
• -p 8080:80 — HTTP embeddings API
• -e MODEL_ID — HuggingFace 模型 ID
• -v .../cache:... — 模型权重缓存
• -e MAX_BATCH_SIZE — 批大小与显存相关
• 资源 — GPU 节点 request nvidia.com/gpu