AWS를 처음 접하면서 가장 헷갈렸던 부분이 인터넷 망에서 EC2에 접근 하기 위한 VPC를 설정하는 부분이었습니다. 따라서 까먹지 않기 위해 기록하려고 합니다. VPC 생성하기 1. 먼저 VPC 대쉬보드에 접근해서 VPC 생성을 눌러 줍니다. 2. 다음과 같이 VPC 이름 태그와 IPv4 CIDR 블록을 설정해 줍니다. 3. 다음과 같이 VPC가 생성완료 되었습니다. 4. VPC가 정상적으로 생성되고 나면 다음과 같이 목록에서 확인할 수 있습니다. 서브넷 생성하기 1. VPC를 생성하였다면 이번에는 서브넷을 생성합니다. 2. 서브넷 이름 태그와 앞서 만들었던 VPC를 선택하고, VPC의 IPv4 CIDR 범위 내에서 해당 서브넷이 가질 IPv4CIDR을 구성하여 줍니다. 3. 서브넷 생성이 완료되면 다..
AWS EC2에 접근하기 위해서는 PEM File을 이용하게 되는데, 이 때문에 EC2 끼리 패스워드 없이 접속하기 위해서 ssh-keygen 후 public key를 배포하는데 ssh-copy-id 를 이용 할 수가 없다. 이러한 문제를 해결하기 위해 방법을 찾아보니 다음과 같이 해주면 된다. cat ~/.ssh/id_rsa.pub | ssh -i "JOON-KEY-PAIR.pem" root@10.0.0.1 "cat - >> ~/.ssh/authorized_keys"
AWS 공부를 시작하면서 가장 먼저 접하는 어려움이 AWS EC2에 SSH로 접근하기 위해 pem 파일을 이용해야 한다는 점이다. 일반적으로 아래와 같이 접근할 수 있지만 굉장히 번거롭다. ssh -i ~/JOON-KEY-PAIR.pem root@10.0.0.1 물론 pem 파일을 ~/.ssh 디렉터리에 옮겨놓으면 조금 더 간단히 경로 없이 pem파일 이름만 치고도 접근가능하지만, 여전히 번거롭다. 이에 정말 간단히 접근할 수 있도록 ~/.ssh/config 파일을 만들어서 사용하려고 한다. vi ~/.ssh/config Host joon-ec2-01 HostName 10.0.0.1 User root IdentityFile ~/.ssh/JOON-KEY-PAIR.pem Host joon-ec2-02 Hos..
다음 내용은 charsyam 님께서 블로그에 올려주신 내용을 토대로하여 하였습니다. (https://charsyam.wordpress.com/2019/04/26/%EC%9E%85-%EA%B0%9C%EB%B0%9C-hive-metastore-%EC%97%90%EC%84%9C-location%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%EA%B4%80%EB%A6%AC%EB%90%A0%EA%B9%8C/?fbclid=IwAR12jAsZA4CxAKD6dVulsj9WCxdclcr4sY38DcfZ0tU2xXNroSwklyuHZR4) CREATE TABLE `test1`( `id` bigint PARTITIONED BY ( `datestamp` date) ROW FORMAT SERDE 'org...
~/.prestoadmin/coordinator와 workers에 있는 properties.config에서 수정 및 추가할 수 있는 설정값에 대한 설명 General Properties join-disribution-type Type : String Allowed values : AUTOMATIC / PARTITIONED / BROADCAST Default value : PARTITIONED 사용할 분산 조인의 유형 입니다. PARTITIONED로 설정하면, 프레스토는 해시 분산 조인을 사용합니다. BROADCAST로 설정하면, 왼쪽 테이블의 데이터가 있는 클러스터의 모든 노드에 오른쪽 테이블을 브로드 캐스팅 합니다. PARTITIONED JOIN은 조인 키의 해시를 사용하여 두 테이블을 모두 재배포해야..
다음 설정을 추가하여 GC 문제를 진단하는데 필요한 로그를 확인한다. /root/.prestoadmin/coordinator와 workers 디렉터리의 jvm.config 파일에서 수정 -XX : + PrintGCApplicationConcurrentTime -XX : + PrintGCApplicationStoppedTime -XX : + PrintGCCause -XX : + PrintGCDateStamps -XX : + PrintGCTimeStamps -XX : + PrintGCDetails -XX : + PrintReferenceGC -XX : + PrintClassHistogramAfterFullGC -XX : + PrintClassHistogramBeforeFullGC -XX : PrintFLSS..
1. Presto와 Hive를 연동하기 위해서는 hive.properties 라는 hive 설정 정보가 담긴 파일이 필요합니다. # vi /root/.prestoadmin/catalog/hive.properties connector.name=hive-hadoop2 hive.metastore.uri=thrift://:9083(metastore-port) HA구성 시에는 다음 정보를 추가로 입력하여 준다. hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml 2. 위에서 설정한 catalog 정보를 presto server에 추가해주고 Presto 서버를 재시작해준다. #presto-admin catalog ad..
Presto 란? Presto는 기가 바이트에서 페타 바이트까지의 모든 크기의 데이터 소스에 대해 대화 형 분석 쿼리를 실행하기위한 오픈 소스 분산 SQL 쿼리 엔진입니다. Presto는 대화식 분석을 위해 처음부터 설계되고 작성되었으며 상용 데이터웨어 하우스의 속도에 접근하면서 Facebook과 같은 조직 규모로 확장되었습니다. Presto는 Hive, Cassandra, 관계형 데이터베이스 또는 독점적인 데이터 스토어에 있는 데이터를 쿼리 할 수 있게 합니다. Facebook은 Presto를 사용하여 300PB 데이터 웨어 하우스를 비롯한 여러 내부 데이터 저장소에 대한 대화형 쿼리를 제공합니다. 1,000명이 넘는 페이스북 직원들은 Presto를 매일 사용하여 매일 30,000개 이상의 쿼리를 실행..
처음 18년 5월쯤 처음 8PERCENT에 투자를 시작하고 어느덧 1년이라는 시간이 지났습니다. 1년의 기간 동안 단 한차례도 부실채권이 발생하지 않았고, 약 9%의 수익률을 꾸준히 유지하고 있습니다. 적금에 비하면 아주 좋은 수익률로 꾸준히 투자해도 괜찮을 것 같다는 판단이 생기고 앞으로는 좀더 8PERCENT에 대한 투자를 늘릴 예정입니다. 최소 투자금액 5000원으로 오늘 마실 커피값으로 8PERCENT에 투자하는 재미가 쏠쏠할 것 같습니다. 만약 8PERCENT를 처음 이용하실 예정이라면 추천인에 4ZVSDC 를 입력하고 추가로 2000원을 받아가지면 더욱 좋을 것 같습니다. 8PERCENT는 다음 링크 http://8per.kr/s/H8IMpY/ 를 통해 바로 이동하실 수 있습니다.
사용자 패스워드 속성 변경 # chage -l username : 해당 user의 현재 설정이 나열된다. # chage -d 0 username : 다음 로그인 시 강제로 암호 업데이트를 실행하도록 한다.# chage -E YYYY-MM-DD username : 특정 날짜에 계정을 만료한다. ※ date 명령을 사용하여 향후 날짜를 계산할 수 있다.$ date -d "+90 days" Sun Feb 10 11:19:30 KST 2019 ☞ 이 글이 도움이 되셨다면 광고 클릭을 부탁드립니다 :) ☜
어느덧 Hadoop 3.1 까지 릴리즈가 되었고, Cloudera도 Hadoop3.0 버전이 들어가 CDH6.x 버전이 릴리즈 되었습니다. 이 시점에서 Hadoop 3 버전은 Hadoop 2 버전에 비해 무엇이 달라졌을지 한번 정리해 보려고 합니다. 1. Java Version Hadoop 2버전에서는 Java7 이상이라면 모두 지원을 하였습니다. 하지만 Hadoop 3 버전부터는 반드시 Java 8 이상의 버전을 사용하셔야 합니다. 참고로 Cloudera에서는 현재까지는 반드시 Oracle JDK8 이상을 사용하길 권고하고 있습니다. 2. Erasure Coding 도입 Hadoop 2까지 Hadoop은 HDFS에서 Fault tolerance를 위해 Replication factor 3의 3배수 블럭..
[CentOS7] LVM /home 크기 대신 /(root) 크기 늘리기 서버 구성시 /home 영역이 필요 없는데 기본 값으로 설정했을 경우 /home 대신 /(root) 크기를 늘려줘야 하는 경우가 있다.이럴 경우 /home LVM을 삭제하고 /(root) LVM을 늘린 후 적용하는 방법이다. 1. 우선 현재 mount 되어 있는 영역을 확인한다.12345678910111213# df -Th Filesystem Type Size Used Avail Use% Mounted on/dev/mapper/centos-root xfs 50G 9.4G 45G 18% /devtmpfs devtmpfs 17G 0 17G 0% /devtmpfs tmpfs 17G 0 17G 0% /dev/shmtmpfs tmpfs 17..