Spark install Command Line history

테스트는 Bash on Ubuntu on Windows 에서 진행했다.

참고링크 : https://blogs.msdn.microsoft.com/eva/?p=7633

설치

wget http://apache.mirror.cdnetworks.com/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
tar -xzvf spark-2.2.0-bin-hadoop2.7.tgz
ln -s spark-2.2.0-bin-hadoop2.7 spark
export SPARK_HOME=~/spark
export PATH=${SPARK_HOME}/bin:$PATH
cd ${SPARK_HOME}
ls
./bin/run-example JavaWordCount README.md
java
sudo apt-get install java
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
java
echo $JAVA_HOME
which java

Word Count 테스트

./bin/run-example JavaWordCount README.md
./bin/run-example JavaWordCount README.md >test
cat test

쉘 구동

./bin/spark-shell

병렬처리 과정에서 실수가 발생하지 않도록 단일 스래드가 아닌 멀티스래드로 테스트를 해야 한다.