xTag

Overview

Full name
docker.io/s1mplecc/spark-hadoop
Registry
docker.io
Namespace
s1mplecc
Repository
spark-hadoop
Cached tags
1
Last synced
07/05/2026, 09:30 PM

Introduction

Spark + Hadoop 一体化开发镜像，预装 PySpark 与 HDFS 客户端，CI 或本地 `--rm` 批处理数据分析 Job 使用。

Details

s1mplecc/spark-hadoop 集成 Apache Spark 与 Hadoop 客户端，供数据工程师挂载脚本执行 PySpark batch job。定位为 --rm 数据分析批处理基础镜像，挂载数据目录后 spark-submit；非常驻 Web/API 服务。

快速启动

docker run --rm \
  -v $(pwd)/data:/data \
  docker.io/s1mplecc/spark-hadoop:latest \
  spark-submit --version

推荐实践

docker run --rm \
  -v /projects/etl:/work \
  -w /work \
  docker.io/s1mplecc/spark-hadoop:3.5.0 \
  spark-submit --master local[*] analyze.py

核心参数说明

  • 定位 — --rm Spark 批处理 CLI
  • -v .../data:... — 输入数据挂载
  • spark-submit — 提交分析 Job
  • 生产 — K8s Spark Operator 替代

Latest tags (20)

View all 1 tags →
TagArchPushed AtSizeDigestSyncWishAction
docker.io/s1mplecc/spark-hadoop
:3
linux/amd64
2021/12/24 18:531.8 GBsha256:abe419489019…