Prise en main de Spark

Prérequis

Assurez-vous d’avoir installé Docker + Docker Compose et Python 3.9.

Accéder au répertoire de l’application Spark

cd apps/analytics/spark

Démarrer le cluster

docker-compose up -d

Cette commande démarre le master Spark, les workers et le serveur Livy.

Vérifier l’interface Spark

Rendez-vous sur http://localhost:8080  pour confirmer que le cluster fonctionne.

Vérifier l’API Livy

curl http://localhost:8998/sessions

Une réponse réussie renvoie une liste de sessions vide.

Accéder au répertoire apps

cd apps

Installer les dépendances

pipenv install