xTag

Overview

Full name
docker.io/datajuicer/data-juicer
Registry
docker.io
Namespace
datajuicer
Repository
data-juicer
Cached tags
25
Last synced
07/06/2026, 02:26 AM

Introduction

Data-Juicer 大模型数据预处理镜像，清洗/过滤/去重 LLM 训练数据集，batch 数据处理 pipeline 环境。

Details

datajuicer/data-juicer 提供 Data-Juicer 大模型数据预处理框架，执行文本清洗、过滤、去重与质量评估 pipeline。定位为 --rm LLM 数据预处理 batch 环境，挂载数据集目录执行 dj-process；非常驻 Web/API 服务。

快速启动

docker run --rm \
  -v /data/dataset:/dataset \
  docker.io/datajuicer/data-juicer:latest \
  --help

推荐实践

docker run --rm \
  -v /data/dataset:/dataset \
  -v /data/output:/output \
  docker.io/datajuicer/data-juicer:1.0.0 \
  dj-process --config /dataset/config.yaml

核心参数说明

  • dj-process --config — 数据处理 pipeline
  • -v .../dataset:... — 输入数据集
  • 定位 — --rm batch 数据处理
  • 调度 — K8s Job/CI 流水线

Latest tags (20)

View all 25 tags →
TagArchPushed AtSizeDigestSyncWishAction
docker.io/datajuicer/data-juicer
:latest
linux/amd64
2026/06/29 15:0314.4 GBsha256:8f4c82615a4f…
docker.io/datajuicer/data-juicer
:v1.5.3
linux/amd64
2026/06/29 15:0314.4 GBsha256:8f4c82615a4f…
docker.io/datajuicer/data-juicer
:v1.5.2
linux/amd64
2026/05/29 15:0414.3 GBsha256:32cab1f66648…
docker.io/datajuicer/data-juicer
:v1.5.1
linux/amd64
2026/03/18 14:2113.2 GBsha256:46bffc16d079…
docker.io/datajuicer/data-juicer
:v1.5.0
linux/amd64
2026/02/27 17:5313.3 GBsha256:9f8a6e6c29ca…
docker.io/datajuicer/data-juicer
:v1.4.6
linux/amd64
2026/02/03 13:3813.2 GBsha256:9a0333c7373c…
docker.io/datajuicer/data-juicer
:v1.4.5
linux/amd64
2026/01/16 03:5713.2 GBsha256:1c9069ee2396…
docker.io/datajuicer/data-juicer
:v1.4.4
linux/amd64
2025/12/01 15:3511.5 GBsha256:e04ecf7b1057…
docker.io/datajuicer/data-juicer
:v1.4.3
linux/amd64
2025/09/11 20:5411.9 GBsha256:f2b5439ea45d…
docker.io/datajuicer/data-juicer
:v1.4.2
linux/amd64
2025/08/18 15:0211.8 GBsha256:eb49b3680568…
docker.io/datajuicer/data-juicer
:v1.4.1
linux/amd64
2025/07/17 12:3911.8 GBsha256:56a2703245c8…
docker.io/datajuicer/data-juicer
:v1.4.0
linux/amd64
2025/06/17 12:1810.8 GBsha256:1e5558c1e5f6…
docker.io/datajuicer/data-juicer
:v1.3.3
linux/amd64
2025/05/11 17:3821.2 GBsha256:353127678a0e…
docker.io/datajuicer/data-juicer
:v1.3.2
linux/amd64
2025/04/25 23:5113.9 GBsha256:5acff059be2b…
docker.io/datajuicer/data-juicer
:v1.2.2
linux/amd64
2025/03/14 22:1813.5 GBsha256:148278518d7e…
docker.io/datajuicer/data-juicer
:v1.2.1
linux/amd64
2025/03/01 03:2713.5 GBsha256:ad16e1ec358f…
docker.io/datajuicer/data-juicer
:v1.2.0
linux/amd64
2025/02/17 17:2915.9 GBsha256:150de244cb05…
docker.io/datajuicer/data-juicer
:v1.1.0
linux/amd64
2025/01/18 04:1313.6 GBsha256:88e2dc81b4e2…
docker.io/datajuicer/data-juicer
:v1.0.3
linux/amd64
2025/01/06 20:3913.6 GBsha256:e33f463ee21d…
docker.io/datajuicer/data-juicer
:v1.0.2
linux/amd64
2024/12/21 00:4513.9 GBsha256:29a89c1b0010…