Apaceh Spark2 Cloudera 배포판 설치

Apaceh Spark2 Cloudera 배포판 설치

---

⊙ Spark 2  요구 사항

• CDH 버전
  
  다음과 같이 각 Spark2 릴리즈에 따라 지원하는 CDH가 다르다. 또한 클라우데라의 권고사항에 따르면 Hive와의 호환성 문제로 인해
  Hive 기능을 사용하는 경우에는 Spark2.0 Release2 이후 릴리즈를 사용하는 것이 좋다.
  
  

출처 : https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

• CM 버전
  
  Cloudera Manager 버전의 경우 5.8.3 이상의 버전을 사용한다면 어떤 spark2 릴리즈를 설치하더라도 무관하다.
  
  
  
• Scala 2.11 Requirement
  
  Spark2에서는 오직 Scala 2.11 만을 사용해야 한다.
  
  
  
• JDK 8 Requirement
  
  Spark 2.2 클라우데라 배포판에서는 JDK 8 이 요구 된다.
  
  

---

1.  Apache Spark 2 클라우데라 배포판을 설치하기 위해서는 CSD(Custom Service Descriptors)를 사용하면 된다.
   
   
2. Spark2 CSD 를 다운로드 받는다.
   
   
3. Add-on 서비스를 이용해서 Spark2 CSD를 클라우데라 매니저에 설치한다.
   
   
4. 클라우데라 매니저 Admin 콘솔에서 원격 레파지토리 URLs에 Spark2 parcel repository를 추가해 준다.
   
   
5. Spark2 parcel을 모든 클러스터에 배포하고 활성화 해준다. Managing Parcels 를 보면 된다.
   
   
6. 클러스터에 Spark 2 서비스를 추가한다. 역할 인스턴스를 호스트에 할당하도록 구성 할 때 모든 호스트에 게이트웨이 역할을 추가한다. 
   History Server port는 일반적인 18088 대신 18089이다.
   
   
7. 클라우데라 매니저 로고를 클릭하여 홈페이지로 돌아간다.
   
   
8. 클러스터 restart 버트를 눌러서 재시작 해준다.