다음 내용은 charsyam 님께서 블로그에 올려주신 내용을 토대로하여 하였습니다. (https://charsyam.wordpress.com/2019/04/26/%EC%9E%85-%EA%B0%9C%EB%B0%9C-hive-metastore-%EC%97%90%EC%84%9C-location%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%EA%B4%80%EB%A6%AC%EB%90%A0%EA%B9%8C/?fbclid=IwAR12jAsZA4CxAKD6dVulsj9WCxdclcr4sY38DcfZ0tU2xXNroSwklyuHZR4) CREATE TABLE `test1`( `id` bigint PARTITIONED BY ( `datestamp` date) ROW FORMAT SERDE 'org...
~/.prestoadmin/coordinator와 workers에 있는 properties.config에서 수정 및 추가할 수 있는 설정값에 대한 설명 General Properties join-disribution-type Type : String Allowed values : AUTOMATIC / PARTITIONED / BROADCAST Default value : PARTITIONED 사용할 분산 조인의 유형 입니다. PARTITIONED로 설정하면, 프레스토는 해시 분산 조인을 사용합니다. BROADCAST로 설정하면, 왼쪽 테이블의 데이터가 있는 클러스터의 모든 노드에 오른쪽 테이블을 브로드 캐스팅 합니다. PARTITIONED JOIN은 조인 키의 해시를 사용하여 두 테이블을 모두 재배포해야..
다음 설정을 추가하여 GC 문제를 진단하는데 필요한 로그를 확인한다. /root/.prestoadmin/coordinator와 workers 디렉터리의 jvm.config 파일에서 수정 -XX : + PrintGCApplicationConcurrentTime -XX : + PrintGCApplicationStoppedTime -XX : + PrintGCCause -XX : + PrintGCDateStamps -XX : + PrintGCTimeStamps -XX : + PrintGCDetails -XX : + PrintReferenceGC -XX : + PrintClassHistogramAfterFullGC -XX : + PrintClassHistogramBeforeFullGC -XX : PrintFLSS..
1. Presto와 Hive를 연동하기 위해서는 hive.properties 라는 hive 설정 정보가 담긴 파일이 필요합니다. # vi /root/.prestoadmin/catalog/hive.properties connector.name=hive-hadoop2 hive.metastore.uri=thrift://:9083(metastore-port) HA구성 시에는 다음 정보를 추가로 입력하여 준다. hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml 2. 위에서 설정한 catalog 정보를 presto server에 추가해주고 Presto 서버를 재시작해준다. #presto-admin catalog ad..
Presto 란? Presto는 기가 바이트에서 페타 바이트까지의 모든 크기의 데이터 소스에 대해 대화 형 분석 쿼리를 실행하기위한 오픈 소스 분산 SQL 쿼리 엔진입니다. Presto는 대화식 분석을 위해 처음부터 설계되고 작성되었으며 상용 데이터웨어 하우스의 속도에 접근하면서 Facebook과 같은 조직 규모로 확장되었습니다. Presto는 Hive, Cassandra, 관계형 데이터베이스 또는 독점적인 데이터 스토어에 있는 데이터를 쿼리 할 수 있게 합니다. Facebook은 Presto를 사용하여 300PB 데이터 웨어 하우스를 비롯한 여러 내부 데이터 저장소에 대한 대화형 쿼리를 제공합니다. 1,000명이 넘는 페이스북 직원들은 Presto를 매일 사용하여 매일 30,000개 이상의 쿼리를 실행..
사용자 패스워드 속성 변경 # chage -l username : 해당 user의 현재 설정이 나열된다. # chage -d 0 username : 다음 로그인 시 강제로 암호 업데이트를 실행하도록 한다.# chage -E YYYY-MM-DD username : 특정 날짜에 계정을 만료한다. ※ date 명령을 사용하여 향후 날짜를 계산할 수 있다.$ date -d "+90 days" Sun Feb 10 11:19:30 KST 2019 ☞ 이 글이 도움이 되셨다면 광고 클릭을 부탁드립니다 :) ☜
어느덧 Hadoop 3.1 까지 릴리즈가 되었고, Cloudera도 Hadoop3.0 버전이 들어가 CDH6.x 버전이 릴리즈 되었습니다. 이 시점에서 Hadoop 3 버전은 Hadoop 2 버전에 비해 무엇이 달라졌을지 한번 정리해 보려고 합니다. 1. Java Version Hadoop 2버전에서는 Java7 이상이라면 모두 지원을 하였습니다. 하지만 Hadoop 3 버전부터는 반드시 Java 8 이상의 버전을 사용하셔야 합니다. 참고로 Cloudera에서는 현재까지는 반드시 Oracle JDK8 이상을 사용하길 권고하고 있습니다. 2. Erasure Coding 도입 Hadoop 2까지 Hadoop은 HDFS에서 Fault tolerance를 위해 Replication factor 3의 3배수 블럭..
[CentOS7] LVM /home 크기 대신 /(root) 크기 늘리기 서버 구성시 /home 영역이 필요 없는데 기본 값으로 설정했을 경우 /home 대신 /(root) 크기를 늘려줘야 하는 경우가 있다.이럴 경우 /home LVM을 삭제하고 /(root) LVM을 늘린 후 적용하는 방법이다. 1. 우선 현재 mount 되어 있는 영역을 확인한다.12345678910111213# df -Th Filesystem Type Size Used Avail Use% Mounted on/dev/mapper/centos-root xfs 50G 9.4G 45G 18% /devtmpfs devtmpfs 17G 0 17G 0% /devtmpfs tmpfs 17G 0 17G 0% /dev/shmtmpfs tmpfs 17..
[Linux]GPT와 MBR 차이 이번에 2T 이상 파티션을 잡아보면서 GPT와 MBR의 차이를 간단히 정리하고자 한다. 가장 흔히 linux OS에서 파티션을 잡는 방법은 fdisk 명령어를 사용하는 것이다. 그런데 2T 이상 파티션을 잡으려면 이 fdisk로는 불가능하다. fdisk는 MBR(Master Boot Record) 방식을 사용하는 파티셔닝 명령어이기 때문이다. 이 MBR 방식은 파티션당 최대 2TB까지 밖에 크기를 설정할 수 없다. 따라서 2TB 이상 파티션을 잡고 싶다면 GPT(GUID Partition Table) 방식으로 파티셔닝을 해야한다. GPT 방식을 사용한다면 18EB(엑사바이트)까지 파티션을 잡을 수 있다. GPT 방식을 사용하기 위해서는 parted 라는 명령어를 사용하면..
[Linux]2T 이상 파티션 잡기 그 전까지는 fdisk를 통해서만 파티션을 잡아오다가 8T를 파티션해야하는데 fdisk로는 2T가 한계라 당황한 일이 있었다. 그리고 구글링 결과 2T 이상 파티션을 잡기 위해서는 GNU에서 제공하는 parted를 사용하면 된다는 것을 확인. parted를 이용하여 8T 파티션에 성공하였다. 1. 파티션 잡을 디스크 선택# parted /dev/sdb 2. 디스크에 라벨링(parted)mklabel gpt*기본적으로 linux partition은 MBR(Master boot Record) 방식이다. 그런데 이 MBR의 파티션당 최대 크기는 2TB이다. 따라서 18EB(엑사바이트)까지 파티션 크기를 잡을 수 있는 GPT(GUID partition Table) 방식을 써야..
MySQL DB를 사용하다 보면 간간히 DB 백업이 필요할 때가 발생합니다. Test 용도에서의 사용 뿐 아니라 Production으로 사용중인 DB라면 더욱 더 자주 백업이 필요하게 됩니다. 이때를 위해 MySQL DB 백업 방법을 간단히 정리하였습니다. 1. 명령어 mysqldump [옵션] DB명(Table명) > /디렉터리/덤프파일명 - 전체 DB 덤프 $ mysqldump -h localhost -u root -p패스워드 --all-databases > /디렉터리/덤프파일명 - 특정 DB 덤프 $ mysqldump -h localhost -u root -p패스워드 --databases DB명 > /디렉터리/덤프파일명 2. 옵션 옵션 의미 Default 비고 -n, --no-create-db CR..
1. 사전구성 1) 호스트네임이 FQDN 형식을 갖고 있는지 확인한다. $ hostname test01.ldaptest.com 2) /etc/hosts 파일에 IP와 FQDN 형식의 호스트네임을 정의해준다. $ echo "192.168.75.100test01.ldaptest.comtest01" | tee -a /etc/hosts 2. OpenLDAP 설치 1) apt 레파지토리 업데이트를 진행한 뒤, slapd와 ldap-utils 패키지를 설치해 준다. $ sudo apt update $ sudo apt install -y slapd ldap-utils slapd 설치 중 패스워드를 묻게 되면 admin 계정의 패스워드이므로 꼭 기억하자. 2) slapcat 명령어를 통해 정의된 dn 정보를 확인한다...