[SPARK] spark-shell 실행시 발생할 수 있는 경고

Spark 를 사용하면서 Jupyter Notebook에 연동해서 사용하기도 하지만, Cli 환경에서 바로 Spark-shell에 붙어서 사용하는 경우 많다. 

 

이때, 발생할 수 있는 Warning 중 두가지 사례에 대해 정리하려고 한다.

 

현재 화면은 Spark 1.6 버전이지만, Spark 2.X 버전에서도 동일하게 발생할 수 있다.

---

1)

경고 메세지	Failed to created SparkJLineReader
원인	spark-shell을 실행시키는 유저의 OS 홈 디렉터리 문제로 Permission denied의 경우 유저 홈 디렉터리에 접근권한이 없는 경우 발생.  아예 홈디렉터리 없는 경우에는 No such file or directory 라는 메시지 발생.
해결	spark-shell 유저의 OS 홈 디렉터리 접근 권한 추가 또는 홈 디렉터리 생성.

 

2)

경고 메세지	Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
원인	Default로  spark.driver.appUIAddress의 포트는 4040으로 시작된다. 따라서 클러스터에서 가장 첫번째로 실행되는 spark-shell에 4040 포트가 맵핑되는데, 4040으로 맵핑된 spark-shell 실행중인데 두번째로 spark-shell이 실행될 경우에 1증가한 4041포트로 접근하겠다는 경고이다. 4040과 4041이 맵핑되어 있는 상태에서 또 shell이 실행되면 그 다음으로 4043, 4044, 4045 순으로 증가하면 포트가 맵핑 된다.
해결	에러가 발생한 것이 아니기 때문에 무시해도 무관하다.