Page History

...

Uruchomienie zadania Spark wykorzystującego 4 rdzenie na 1 węźle w trybie klastra Spark (Spark Standalone cluster in client deploy mode)

(Prometheus)

$ srun -N1 --ntasks-per-node=4 --pty /bin/bash

(Zeus)

$ qsub -l nodes=1:ppn=4 -I

Wykorzystanie zostanie zaliczone na konto grantu osobistego PLGrid. W przypadku potrzeby podania innego grantu należy wykorzystać opcję -A specyfikując identyfikator aktywnego grantu PLGrid.

$ module load plgrid/apps/spark

(Prometheus)

$ start-spark-cluster.sh

(Zeus)

...

_spark_cluster

Obliczenia:

$ $SPARK_HOME/bin/spark-submit $SPARK_HOME/examples/src/main/python/wordcount.py /etc/passwd

Zatrzymywanie klastra

(Prometheus)

$ stop-_spark-_cluster.sh

(Zeus)

$ stop-multinode-spark-cluster.sh

Uwagi

1. Instalacja w ACK CYFRONET nie udostępnia systemu plików HDFS, z tego powodu korzystanie z komend 'hdfs' oraz 'hadoop fs/dfs' jest niemożliwe.
2. Na wybranym węźle może być uruchomiony tylko jeden Master program w tym samym czasie. W przypadku próby uruchomienia kolejnego klastra BigData na tym samym węźle, zostanie wyświetlony komunikat, aby spróbować na innym węźle.

...

Oficjalny Spark Programming Guide