Pyspark Shell과 Jupyter notebook 연동하기 환경 변수 설정 Pyspark Shell과 Jupyter notebook을 연동하기 위해서는 당연하지만 우선 Spark와 Jupyter notebook이 설치 되어 있어야 한다. 이를 위해 spark는 cloudera 배포판을 이용하여 Spark2.2 버전을 설치하였고, Jupyter notebook은 Anaconda로 환경을 구성 하였다. Pyspark shell과 Jupyter notebook을 연동하기 위해서는 환경변수 설정을 해주면 간단하게 가능하다.그리고 나와 같이 Cloudera 배포판을 이용하여 spark를 설치한 경우에는 Hue의 default 포트가 8888로 Jupyter notebook default 포트와 겹치므로 J..
아나콘다(Anaconda) 설치 및 사용법 for Centos7 아나콘다 다운로드 및 설치 아나콘다는 https://www.continuum.io/downloads 에 접속해서 다운로드 받을 수 있다. Centos7에 설치할 것이기 때문에 Linux Installer를 다운로드할 것이다. 따로 FTP프로그램을 사용해서 설치파일을 옮겨줘도 좋으나 여기서는 wget을 이용하여 다운로드 할 것이다. 1wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.shcs 그리고 설치를 위해서는 bzip2 가 설치되어 있어야하는데 만약 설치중에 bzip2가 없다는 에러가 뜬다면 bzip2를 설치해주면 된다.다음과 같이 간단히 설치할 수 있다. 12wge..
Cloudera 배포판 HUE Admin 계정 생성 및 비밀번호 변경 Cloudera 배포판에서 HUE Admin 계정 패스워드를 잊어버렸을 경우 HUE WEB UI에서 사용자 관리를 할 수 없다. 따라서 shell에 접속해서 새로운 HUE Admin 계정을 생성해 준 뒤에 패스워드를 잊어버린 계정에 대한 패스워드도 재설정 가능하다. 이를 위해 HUE 명령어를 사용해야 하는데 Cloudera 배포판 경우에는 /opt/cloudera/parcels/CDH/lib/hue/build/env/bin 위치에서 사용가능하다. 단, 명령어는 root 계정으로 실행해야한다. ■ Admin 계정 생성 ( Superuser 생성 ) Cloudera 배포판에서는 CM이 관리하고 있기 때문에 --cm-managed라는 옵션을..
Apaceh Spark2 Cloudera 배포판 설치 ⊙ Spark 2 요구 사항 CDH 버전 다음과 같이 각 Spark2 릴리즈에 따라 지원하는 CDH가 다르다. 또한 클라우데라의 권고사항에 따르면 Hive와의 호환성 문제로 인해 Hive 기능을 사용하는 경우에는 Spark2.0 Release2 이후 릴리즈를 사용하는 것이 좋다. 출처 : https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html CM 버전 Cloudera Manager 버전의 경우 5.8.3 이상의 버전을 사용한다면 어떤 spark2 릴리즈를 설치하더라도 무관하다. Scala 2.11 Requirement Spark2에서는 오직 Scala 2..
출처 : www.machbase.com 인피니플럭스(대표 김성진)의 마크베이스 제품 교육에 다녀왔습니다! 마크베이스는 기존에는 사명과 동일한 인피니플럭스 였던 제품명을 새롭게 리브랜딩한 이름입니다. 마크베이스에 대해 설명 드리자면 서버, 장비, 어플리케이션으로 부터 대량으로 발생하는 로그성 시계열 데이터를 실시간으로 저장하고 분석하는 혁신적인 기술의 DBMS 입니다. 주요 기능으로는 출처 : Machbase 교육 교안 다음과 같이 수집부터 저장, 분석, 시각화, 관리까지 전반적인 영역에 걸쳐서 다양한 기능을 제공하고 있습니다. 성능적인 측면에서는 Intel i7 3.6 Ghz 4 core CPU, 32GB Memory, 7200 SATA HDD, CentOS 6.6 환경에서 130 bytes, 1억 건,..
Ionic2Ionic2는 타입스크립트로 작성되며 Angular2를 기반으로 한다. Ionic2 프로젝트 폴더 구조src 폴더의 내용이 www 폴더로 변환되는 과정모든 프로그래밍 작업은 src 폴더에서 진행한다.ionic serve로 앱을 실행하면 src폴더의 내용이 컴파일되고 합쳐져서 www 폴더로 저장된다.ionic serve로 앱 실행 전에는 www 폴더가 비어있다가, 첫 실행시 assets, build 폴더가 생성되고 index.html 파일등이 생성된다.src 폴더 내의 모든 scss 파일들이 css로 컴파일 되고 함쳐져서 www/build/main.css로 저장된다.src 폴더 내의 모든 ts 파일들은 js로 컴파일되고 합쳐져서 www/build/main.js로 저장된다.scss 파일을 추가하고..
아나콘다(Anaconda) 설치 및 사용법 아나콘다가 무엇일까?컨티눔(Continuum)사가 제작한 파이썬 배포판이 바로 '아나콘다' 입니다. 여러가지 배포판 중 가장 후발주자이지만 가장 뛰어난 완성도로 현재는 사실상의 표준(de facto standard) 이 되었습니다. 아나콘다는 패키지 의존성을 관리해주므로 가상환경에 따라 독립적으로 패키지를 관리할 수 있습니다. 아나콘다 설치 아나콘다는 https://www.continuum.io/downloads 다음과 같은 페이지에 접속해서 다운로드 받을 수 있습니다. 사용하시는 OS 환경에 따라 윈도우, OSX, 리눅스 중에 선택해서 받으시면 됩니다. 파이썬 3버전이나 파이썬2.7 버전 어느 것을 받으셔도 크게 상관없습니다. 왜냐하면 저희는 필요하다면 가상환..
생성자(Constructor) 역할 객체를 생성할 때 항상 실행되는 것으로, 객체를 초기화해주기 위해 맨 처음 실행되는 메소드이다. 특징 반환값이 없는 메소드는 생성자가 유일하다. 생성자는 인스턴스를 생성해주는 역할을 하는 특수한 메소드라고 할 수 있다. 반환값이 없기 때문에 return도 사용하지 않고, 반환 값 타입을 메소드 정의 포함시키지도 않는다. 클래스에는 반드시 생성자가 존재해야 한다. 인스턴스 생성시 딱 한번 호출 된다. 인스턴스 변수의 초기화가 목적이다. 클래 이름과 동일한 이름을 가진 메소드이다. 반환형이 존재하지 않는다. 즉 return이 없다. 사용방법 클래스명 참조변수=new 클래스명(초기화 변수) 예제 1234567891011121314151617181920212223public ..
은 하나의 안에 시작과 끝이 있거나, 테이블 전체를 둘러쌓아야 한다. ex) ............ 당신에게 추천하는 콘텐츠
MAC에서 JAVA, MAVEN, Gradle 환경변수(PATH) 설정 #경로는 /Users/사용자/.bash_profile $ vi .bash profile---------------------------- #JAVAexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/homeexport PATH=$PATH:$JAVA_HOME/bin #MAVENexport M2_HOME = /Users/user1/Documents/maven-3.2.3export PATH=$PATH:$M2_HOME/bin #GRADLEexport GRADLE_HOME=/Users/user1/Documents/gradle-2.8export PATH=$PAT..
이클립스에서 JSP나 html 파일을 생성하면 기본적으로 EUC-KR로 되어 있는데, UTF-8로 변경해주기 위한 설정 [ 설 명 ] 이클립스를 실행 한 뒤, Window > Preferences 클릭합니다. [ 설 명 ] 좌측에서 General > Content Types 선택합니다. 우측에서 Java Class File, Text 선택하고 아래에 UTF-8 입력하고 Update 클릭합니다. [ 설 명 ] 좌측에서 General >Workspace 선택합니다. 빨간박스 부분을 선택하고 UTF-8 선택합니다. [ 설 명 ] 좌측에서 General >Editors > Spelling 선택합니다. 빨간박스 부분을 선택합니다. [ 설명 ] 좌측에 검색에 "encoding" 을 치고 CSS Files 선택합니다..
1. 가장 최근의 자바 아카이브를 다운 받는다. wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz" wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=a..