[Linux]GPT와 MBR 차이 이번에 2T 이상 파티션을 잡아보면서 GPT와 MBR의 차이를 간단히 정리하고자 한다. 가장 흔히 linux OS에서 파티션을 잡는 방법은 fdisk 명령어를 사용하는 것이다. 그런데 2T 이상 파티션을 잡으려면 이 fdisk로는 불가능하다. fdisk는 MBR(Master Boot Record) 방식을 사용하는 파티셔닝 명령어이기 때문이다. 이 MBR 방식은 파티션당 최대 2TB까지 밖에 크기를 설정할 수 없다. 따라서 2TB 이상 파티션을 잡고 싶다면 GPT(GUID Partition Table) 방식으로 파티셔닝을 해야한다. GPT 방식을 사용한다면 18EB(엑사바이트)까지 파티션을 잡을 수 있다. GPT 방식을 사용하기 위해서는 parted 라는 명령어를 사용하면..
[Linux]2T 이상 파티션 잡기 그 전까지는 fdisk를 통해서만 파티션을 잡아오다가 8T를 파티션해야하는데 fdisk로는 2T가 한계라 당황한 일이 있었다. 그리고 구글링 결과 2T 이상 파티션을 잡기 위해서는 GNU에서 제공하는 parted를 사용하면 된다는 것을 확인. parted를 이용하여 8T 파티션에 성공하였다. 1. 파티션 잡을 디스크 선택# parted /dev/sdb 2. 디스크에 라벨링(parted)mklabel gpt*기본적으로 linux partition은 MBR(Master boot Record) 방식이다. 그런데 이 MBR의 파티션당 최대 크기는 2TB이다. 따라서 18EB(엑사바이트)까지 파티션 크기를 잡을 수 있는 GPT(GUID partition Table) 방식을 써야..
8PERCENT 9월 투자 후기 시범삼아 18년 05월에 처음 8PERCENT에 투자를 시작하고 어느덧 4개월이라는 시간이 지났습니다. 처음 11개 상품에 투자한뒤 4개의 상환완료된 상품이 있었고, 현재는 남은 7개의 상품과 추가로 7개의 상품에 투자하여 총 13개의 상품이 상환 중이며 1개의 상품이 모집중에 있습니다. 현재까지 제 경험으로 단 한건의 연체도 발생하지 않았고 현재는 8PERCENT에 대한 믿음이 생겨 점차 투자금액을 늘려갈 예정입니다. 또한 투자가능 최소 금액이 단돈 5000원으로 커피 한잔 마시지 않으면 투자를 할 수 있다는 점이 매우 매력적입니다!!! 만약 8PERCENT를 처음 이용하실 예정이라면 추천인에 4ZVSDC 를 입력하고 추가로 +2000원을 받아가시면 더욱 좋을 것 같습니..
MySQL DB를 사용하다 보면 간간히 DB 백업이 필요할 때가 발생합니다. Test 용도에서의 사용 뿐 아니라 Production으로 사용중인 DB라면 더욱 더 자주 백업이 필요하게 됩니다. 이때를 위해 MySQL DB 백업 방법을 간단히 정리하였습니다. 1. 명령어 mysqldump [옵션] DB명(Table명) > /디렉터리/덤프파일명 - 전체 DB 덤프 $ mysqldump -h localhost -u root -p패스워드 --all-databases > /디렉터리/덤프파일명 - 특정 DB 덤프 $ mysqldump -h localhost -u root -p패스워드 --databases DB명 > /디렉터리/덤프파일명 2. 옵션 옵션 의미 Default 비고 -n, --no-create-db CR..
1. 사전구성 1) 호스트네임이 FQDN 형식을 갖고 있는지 확인한다. $ hostname test01.ldaptest.com 2) /etc/hosts 파일에 IP와 FQDN 형식의 호스트네임을 정의해준다. $ echo "192.168.75.100test01.ldaptest.comtest01" | tee -a /etc/hosts 2. OpenLDAP 설치 1) apt 레파지토리 업데이트를 진행한 뒤, slapd와 ldap-utils 패키지를 설치해 준다. $ sudo apt update $ sudo apt install -y slapd ldap-utils slapd 설치 중 패스워드를 묻게 되면 admin 계정의 패스워드이므로 꼭 기억하자. 2) slapcat 명령어를 통해 정의된 dn 정보를 확인한다...
와일드카드 서브도메인(*.domain.com) *.domain.com 처럼 앞에 붙은 와일드카드 문자인 *가 서브도메인 역할을 합니다. 실제 주소로 와일드카드를 사용하여 접속을 하려고 하면 일반적인 경우에는 접속을 할 수 없습니다.서브도메인이지만 실제로 접속할 수 없는 이유는 도메인 레코드 설정상의 주소이기 때문에 어디까지나 뒷세계에서만 존재하는 아주 특별한 도메인이기 때문입니다. *.domain.com은 지정되지 않은 임의의 서브 도메인에 대해서 모든 연결을 domain.com (또는 따로 지정한 주소)로 연결을 하게끔 합니다. 예를 들어, domain.com의 서브 도메인을 aaa와 bbb, ccc만 설정하였다면 abc.domain.com의 경우는 서브도메인으로 등록되지 않았기 때문에페이지를 불러올 ..
Docker Container 다루기 - 볼륨 공유 ▶ 호스트 볼륨 공유# docker run -d \--name wordpressdb_hostvolume \-e MYSQL_ROOT_PASSWORD=password \-e MYYSQL_DATABASE=wordpress \-v /home/wordpress_db:/var/lib/mysql \mysql:5.7*볼륨 공유에는 -v 옵션을 사용한다. 위의 예제에는 호스트의 /home/wordpress_db 디렉터리와 컨테이너의 /var/lib/mysql 디렉터리를 공유한다는 뜻이다. 즉 호스트 볼륨 공유는 [호스트의 공유 디렉터리]:[컨테이너의 공유 디렉터리] 형태이다. *미리 /home/wordpress_db를 미리 생성하지 않아도 도커는 자동으로 이를 생성한다..
▶ 버전 확인 # docker -v ▶ 이미지 내려 받기 # docker pull [이미지 이름] ex) docker pull centos:7 ▶ 이미지 목록 확인 # docker images ▶ 이미지 삭제 # docker rmi [이미지 이름] ▶ 컨테이너 생성 # docker create -i -t --name mycentos centos:7 ▶ 컨테이너 실행 # docker start mycentos ▶ 컨테이너 내부 접근 # docker attach mycentos ▶ 컨테이너 생성 및 내부접근 # docker run -i -t --name centos7 centos:7 ▶ 컨테이너 정지 # docker stop centos7 ▶ 컨테이너 정지 후 빠져나오기 # exit or Ctrl + D ▶..
Transforming Data Using RDDs1.weblog 데이터를 RDD로 만든다logRDD = sc.textFile("/loudacre/weblogs/")2.logRDD 에서 JPG 파일에 대한 요청만 필터링한다. jpglogsRDD = logRDD.filter(lambda line: ".jpg" in line)3.take action을 이용해서 jpglogsRDD에서 데이터 다섯줄만 반환한다. jpgLines = jpglogsRDD.take(5)4.반복문으로 jpgLines를 출력한다. for line in jpgLines: print line 217.150.149.167 - 4712 [15/Sep/2013:23:56:06 +0100] "GET /ronin_s4.jpg HTTP/1.0" 20..
Read and Display Data from a Text File 1.frostroad.txt 파일을 RDD로 정의한다. myRDD = sc.textFile("/loudacre/frostroad.txt") 2.Spark는 아직 file을 읽는 않았다. spark는 RDD에서 action을 수행하기 전까지 file을 읽지 않을 것이다.count action을 사용해서 RDD에 몇개의 요소가 들어있는지 세어보아라. myRDD.count() 23 3.collect를 호출하여 RDD에 있는 모든 데이터를 Spark driver로 반환해라. 파이썬의 경우 list of strings 데이터 타입을 반환할 것이다. lines = myRDD.collect() 4.lines에 담겨있는 collection을 출력한다..
Working with DataFrames and SchemasdevDF = spark.read.json("/loudacre/devices.json").show(3) +--------+------+--------+-----+--------------------+ |dev_type|devnum| make|model| release_dt| +--------+------+--------+-----+--------------------+ | phone| 1|Sorrento| F00L|2008-10-21T00:00:...| | phone| 2| Titanic| 2100|2010-04-19T00:00:...| | phone| 3| MeeToo| 3.0|2011-02-18T00:00:...| +--------+---..
Exploring DataFrames Using the Apache Spark Shell devDF = spark.read.json("/loudacre/devices.json") Spark shell에서 다음과 같이 DataFrame으로 HDFS에 있는 JSON 파일을 읽어올 수 있습니다. devDF.printSchema() root |-- dev_type: string (nullable = true) |-- devnum: long (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- release_dt: string (nullable = true) Spark는 Lazy하기 때문에 앞서 rea..