[Mac]요세미티에 스파크 설치하기

1. JAVA 설치하기

오라클 JDK 다운로드 페이지에서 Oracle Java SE Development Kit 7 혹은 8을 설치한다. -> JAVA jdk 8 설치 링크 

<< 스크린샷은 JDK7이지만, 나는 JDK8을 설치했다. >>

참고 :  MAC에 JDK 설치하기

---

2. JAVA HOME 설정하기

터미널에 JAVA HOME을 설정하는 아래의 명령어를 입력한다.

export JAVA_HOME=$(/usr/libexec/java_home)

그리고 터미널에 아래 명령문을 입력하여 정상적으로 설정되었는지 확인한다.

echo $JAVA_HOME

요렇게! 

---

3. Homebrew 설치하기

터미널에 아래의 명령어를 쳐서 Homebrew를 설치한다.

 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 

난 Homebrew를 이미 설치했었어서, 추가 설치를 하지는 않았다. 설치를 했었나.. 안했었나.. 확인해보려고 brew help를 쳐봤는데, 잘 깔려있었다.

---

4. Scala 설치하기

터미널에 아래의 명령어를 쳐서 scala를 설치한다.

 brew install scala

그러면 /usr/local/bin/ 폴더에 scala가 추가되어 있는 것을 확인할 수 있다.

---

4. Scala PATH 설정하기 

터미널에 아래의 명령어를 쳐서 scala path를 설정한다.

export SCALA_HOME=/usr/local/bin/scala 

export PATH=$PATH:$SCALA_HOME/bin

아래의 명령어를 쳐보면 PATH 설정이 된 것을 확인할 수 있다.

echo $SCALA_HOME

echo $PATH

---

4. Spark 설치하기

스파크 아파치 사이트에서 스파크를 다운로드 받고, 압축을 해제한다. 스파크 다운로드 페이지 

나는 1.6.0 버전을 설치하였다.

---

4. Apache Spark build / Install 

스파크를 설치 / 빌드를 추가적으로 해줘야하나 보다. 그래서 스파크를 설치한 경로에 들어가서 아래의 명령어를 쳐줬다.

sbt/sbt clean assembly

다운받은 스파크를 압축해제한 곳에 한번 들어가서, sbt 폴더가 있나 한번 확인해보았다.  그리고 위의 명령어를 치니, 오른쪽 터미널 스크린샷처럼 로그들이 쫘르르륵 뜬다.  로그를 보니 제티도 깔고, 메이븐을 통해서 주키퍼도 설치한다. 하둡도 설치한다. sbt cleam assembly 명령어를 치면 스파크에 의존적인 여러 프로그램들을 함께 설치해주는 듯 싶다.  때문에 인터넷 연결이 잘되어있어야한다! 나는 중간에 와이파이 연결이 중단되거나, 느려서 그런지 설치하는 데에 시간이 꽤 걸렸다.

---

하...설치되는데 엄청 오래걸렸다. 저 로그대로라면.. 5시 사십분에 내가 시작했단건가... 

Done packaging 로그가 뜨면 거의 다 설치했다는 말이다.

---

4. 스파크 쉘 / 스파크 파이썬 쉘 실행시키기

설치가 정상적으로 되었으니, 한번 아래의 명령어를 쳐서 쉘을 실행시켜보자.

Scala shell 실행 명령어 -> ./bin/spark-shell 

Python shell 실행 명령어 -> ./bin/pyspark

---

끝!

열심히 썼으니 누군가 이글을 본다면 댓글을 달아준다면 참 기쁠거같습니다!  

참고 : http://genomegeek.blogspot.kr/2014/11/how-to-install-apache-spark-on-mac-os-x.html