xTag

概要

フル名
docker.io/s1mplecc/spark-hadoop
Registry
docker.io
名前空間
s1mplecc
リポジトリ
spark-hadoop
キャッシュ Tag 数
1
最終同期
07/05/2026, 09:30 PM

概要

Spark + Hadoop 一体化开发镜像，预装 PySpark 与 HDFS 客户端，CI 或本地 `--rm` 批处理数据分析 Job 使用。

詳細

s1mplecc/spark-hadoop 集成 Apache Spark 与 Hadoop 客户端，供数据工程师挂载脚本执行 PySpark batch job。定位为 --rm 数据分析批处理基础镜像，挂载数据目录后 spark-submit；非常驻 Web/API 服务。

快速启动

docker run --rm \
  -v $(pwd)/data:/data \
  docker.io/s1mplecc/spark-hadoop:latest \
  spark-submit --version

推荐实践

docker run --rm \
  -v /projects/etl:/work \
  -w /work \
  docker.io/s1mplecc/spark-hadoop:3.5.0 \
  spark-submit --master local[*] analyze.py

核心参数说明

  • 定位 — --rm Spark 批处理 CLI
  • -v .../data:... — 输入数据挂载
  • spark-submit — 提交分析 Job
  • 生产 — K8s Spark Operator 替代

最新 Tag（20 件）

すべての 1 件の Tag を見る →
Tagアーキテクチャプッシュ日時サイズDigest同期期望操作
docker.io/s1mplecc/spark-hadoop
:3
linux/amd64
2021/12/24 18:531.8 GBsha256:abe419489019…