xTag

镜像概览

完整引用
docker.io/s1mplecc/spark-hadoop
Registry
docker.io
命名空间
s1mplecc
仓库
spark-hadoop
已缓存 Tag 数
1
最近同步
07/05/2026, 09:30 PM

简介

Spark + Hadoop 一体化开发镜像，预装 PySpark 与 HDFS 客户端，CI 或本地 `--rm` 批处理数据分析 Job 使用。

详细介绍

s1mplecc/spark-hadoop 集成 Apache Spark 与 Hadoop 客户端，供数据工程师挂载脚本执行 PySpark batch job。定位为 --rm 数据分析批处理基础镜像，挂载数据目录后 spark-submit；非常驻 Web/API 服务。

快速启动

docker run --rm \
  -v $(pwd)/data:/data \
  docker.io/s1mplecc/spark-hadoop:latest \
  spark-submit --version

推荐实践

docker run --rm \
  -v /projects/etl:/work \
  -w /work \
  docker.io/s1mplecc/spark-hadoop:3.5.0 \
  spark-submit --master local[*] analyze.py

核心参数说明

  • 定位 — --rm Spark 批处理 CLI
  • -v .../data:... — 输入数据挂载
  • spark-submit — 提交分析 Job
  • 生产 — K8s Spark Operator 替代

最新 Tag（20 条）

查看全部 1 个 Tag →
Tag架构推送时间大小Digest同步期望操作
docker.io/s1mplecc/spark-hadoop
:3
linux/amd64
2021/12/24 18:531.8 GBsha256:abe419489019…