Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Uruchomienie zadania Spark wykorzystującego 36 rdzeni na 3 węzłach 4 rdzenie na 1 węźle w trybie klastra Spark (Spark Standalone cluster in client deploy mode)

$ qsub -l nodes=31:ppn=12 4 -I

$ > module load test/spark

...

$ > stop-multinode-spark-cluster.sh


Podgląd klastra oraz przetwarzanych na nim zadań dostępny jest przez przeglądarkę (na Zeus to aktualnie arora) na porcie 8080 węzła master.

Image Added


Image Added

Zaawansowane użycie


Przykłady działań na RDD w języku Python

...