xTag

镜像概览

完整引用
docker.io/openvino/model_server
Registry
docker.io
命名空间
openvino
仓库
model_server
已缓存 Tag 数
74
最近同步
07/06/2026, 04:47 PM

简介

Intel OpenVINO Model Server 推理服务镜像，以 gRPC/REST 加载 IR/ONNX 模型并批处理推理，适合 CPU 边缘节点与 K8s 模型Serving。

详细介绍

openvino/model_server 基于 OpenVINO Runtime，启动时从本地目录或 S3 加载模型，对外暴露 REST /v1/models/{name}:predict 与 gRPC TensorFlow Serving 兼容接口。相对 Triton 更轻、对 Intel CPU 优化明显，GPU 支持取决于基础镜像变体。生产应固定 tag、通过 ConfigMap 或 PVC 挂载模型文件，并设置 batch size 与 worker 数平衡延迟与吞吐。

快速启动

docker run -d --name ovms \
  -p 9000:9000 -p 9001:9001 \
  -v $(pwd)/models:/models \
  docker.io/openvino/model_server:latest \
  --model_name=resnet --model_path=/models/resnet --port=9000 --rest_port=9001

推荐实践

docker run -d --name ovms \
  --restart unless-stopped \
  -p 9000:9000 -p 9001:9001 \
  -v /data/models:/models:ro \
  docker.io/openvino/model_server:2024.3 \
  --model_name=detector --model_path=/models/detector \
  --port=9000 --rest_port=9001 --target_device=CPU \
  --batch_size=4 --nthreads=4

核心参数说明

  • -p 9000:9000 — gRPC 推理端口
  • -p 9001:9001 — REST 推理端口
  • -v /data/models:/models:ro — 只读挂载模型目录
  • --model_path — IR/ONNX 模型路径
  • --target_device=CPU — 推理设备（CPU/GPU）
  • --batch_size — 动态批处理上限

Kubernetes

apiVersion: apps/v1
kind: Deployment
metadata:
  name: openvino-model-server
spec:
  replicas: 2
  selector:
    matchLabels:
      app: ovms
  template:
    metadata:
      labels:
        app: ovms
    spec:
      containers:
        - name: ovms
          image: docker.io/openvino/model_server:2024.3
          args:
            - --model_name=detector
            - --model_path=/models/detector
            - --port=9000
            - --rest_port=9001
          ports:
            - containerPort: 9000
            - containerPort: 9001
          volumeMounts:
            - name: models
              mountPath: /models
              readOnly: true
      volumes:
        - name: models
          persistentVolumeClaim:
            claimName: ovms-models
---
apiVersion: v1
kind: Service
metadata:
  name: ovms
spec:
  selector:
    app: ovms
  ports:
    - name: grpc
      port: 9000
      targetPort: 9000
    - name: rest
      port: 9001
      targetPort: 9001

模型 PVC 或 initContainer 从对象存储同步；Ingress 暴露 REST 路径，gRPC 经 mesh 或 headless Service 调用。

最新 Tag（20 条）

查看全部 74 个 Tag →
Tag架构推送时间大小Digest同步期望操作
docker.io/openvino/model_server
:weekly
linux/amd64
2026/06/30 00:04377.9 MBsha256:1c33cf43bc10…
docker.io/openvino/model_server
:latest
linux/amd64
2026/06/19 20:35213.8 MBsha256:19cda71ccab7…
docker.io/openvino/model_server
:latest-gpu
linux/amd64
2026/06/19 20:35375.0 MBsha256:cc13f88dc249…
docker.io/openvino/model_server
:2026.2.1
linux/amd64
2026/06/19 20:34213.8 MBsha256:19cda71ccab7…
docker.io/openvino/model_server
:2026.2.1-gpu
linux/amd64
2026/06/19 20:32375.0 MBsha256:cc13f88dc249…
docker.io/openvino/model_server
:2026.2-gpu
linux/amd64
2026/05/28 22:06366.0 MBsha256:fdc34725b35d…
docker.io/openvino/model_server
:2026.2
linux/amd64
2026/05/28 22:05211.5 MBsha256:5f1d2c861657…
docker.io/openvino/model_server
:latest-py
linux/amd64
2026/04/13 20:351.0 GBsha256:3d93e90ceb8b…
docker.io/openvino/model_server
:2026.1-py
linux/amd64
2026/04/08 05:511.0 GBsha256:3d93e90ceb8b…
docker.io/openvino/model_server
:2026.1-gpu
linux/amd64
2026/04/07 23:24357.1 MBsha256:22f92a1a5ad6…
docker.io/openvino/model_server
:2026.1
linux/amd64
2026/04/07 23:23202.6 MBsha256:471362689b24…
docker.io/openvino/model_server
:2026.0-py
linux/amd64
2026/02/25 00:021.0 GBsha256:e00c4363d625…
docker.io/openvino/model_server
:2026.0-gpu
linux/amd64
2026/02/24 22:57362.6 MBsha256:cfe189b8f387…
docker.io/openvino/model_server
:2026.0
linux/amd64
2026/02/24 22:55215.1 MBsha256:549a05a1838e…
docker.io/openvino/model_server
:2025.4.1-py
linux/amd64
2026/01/14 07:411020.9 MBsha256:bb79c714f690…
docker.io/openvino/model_server
:2025.4.1-gpu
linux/amd64
2025/12/18 19:11322.4 MBsha256:e5ff7c50f3c3…
docker.io/openvino/model_server
:2025.4.1
linux/amd64
2025/12/18 19:08171.1 MBsha256:9d29f9c9ed3c…
docker.io/openvino/model_server
:2025.4-gpu
linux/amd64
2025/12/01 19:48322.4 MBsha256:e898ba43dbc1…
docker.io/openvino/model_server
:2025.4
linux/amd64
2025/12/01 19:45171.1 MBsha256:c37072000756…
docker.io/openvino/model_server
:2025.3-py
linux/amd64
2025/09/18 02:371014.6 MBsha256:5431ac5989c3…