서버에서 여러 윈도우 서버로 부터 cifs 마운트를 사용해야하는 경우가 있습니다. 그런데 윈도우 서버 문제로 인해 이 cifs 마운트가 해제되는 경우가 간혹 발생하게 됩니다. 이럴 경우 사전에 마운트에 발생한 장애를 알기 쉽지 않기 때문에, 적절한 간격으로 마운트를 확인할 필요가 생겼습니다. 이때 아래와 같이 mountponit 명령어를 이용해서 mount가 정상적으로 유지되고 있는지 확인할 수 있습니다. 또한 다음과 같은 스크립트를 이용하여 쉡스크립트를 작성하여 crontab에 등록하게 되면, 원하는 간격으로 mount에 대한 상태 체크 또한 가능합니다. 사용 명령어 : mountpoint -q #!/bin/bash # 마운트가 되어있지 않으면 "Not mounted" 출력 if ! mountpoint..
1. vmware 설정하기 VMware workstation 15.5 PRO 기준으로 설명하도록 하겠습니다. 네트워크 변경에 앞서 Ubuntu 18.04 Bionic Beaver의 VMware 가상이미지는 모두 생성하셨을 거라 생각듭니다. 1)VMware Workstaion의 Edit 탭에서 Virtual Network Editor 클릭 2) Virtual Network 목록에서 VMnet8 NAT Type의 Network가 있는지 확인 2-1) VMnet8 NAT Type의 Network가 있을 경우 수정을 위해 Change Settings를 클릭 2-2) VMnet8 NAT Type의 Network가 없을 경우 Change Settings를 먼저 누른 후 Add Network를 눌러 NAT Type의..
Ubuntu 18.04 Bionic Beaver 에서는 기존 하위 버전인 Ubuntu16.04, Ubuntu14.04 등과 달리 네트워크 설정에서 달라진 부분들이 생겼습니다. 저도 처음 이부분을 접했을 때는 뭐지..? 싶으면서 당황했었지만, Ubuntu 18.04의 업데이트 Release 노트만 잘 봤어도 충분히 알 수 있었을텐데 저의 안일함에 민망해졌습니다. 우선 Ubuntu 18.04 에서는 기존에 /etc/network/interface 파일을 더 이상 사용하지 않습니다. 그리고 /etc/netplan/77-cloud-init.yaml 파일을 사용하여 네트워크를 정의하게 됩니다. yaml 파일을 사용하다보니 개인적으로 여러개의 IP를 사용하게 될 경우 기존 보다 가독성 측면에서 좀더 나아지지 않았나..
1. 파일의 존재 여부 확인하기 test 명령어 -e 옵션 사용 /// test 명령어를 대괄호[] 로 대체 가능 확인할 파일 : /tmp/my_test_file.txt #!/bin/bash file_path='my_test_file.txt' #파일이 있을 경우 메시지 출력 if test -e $file_path; then echo "$file_path : Found the file." fi ------------------------------- #파일이 없을 경우 메시지 출력 if ! test -e $file_path; then echo "$file_path : Not found the file." fi ------------------------------- #대괄호[] 사용 if [ -e $fil..
맥북은 기본적으로 OS 초기화 프로그램이 내장되어 있기 때문에 간편하게 초기화/포맷을 진행 할 수 있습니다. 1. 우선 맥북을 종료 후 시작 또는 재시작을 해주어 초기에 지구가 도는 화면에서 커맨드⌘(Command) + R 을 길게 눌러 줍니다. 2. 아래와 같은 macOS 유틸리티 화면이 나오면 정상적으로 복구 모드로 시동된 것입니다. 3. macOS 유틸리티 화면에서 네번째에 디스크 유틸리티를 선택합니다. 4. 디스크 유틸리티에서 왼쪽에서 내장 디스크를 선택해주고, 상단에 지우기를 클릭해 줍니다. 5. 디스크를 지우고 나면, 다시 macOS를 설치해줍니다. 아래 사진과 같이 두번째 macOS 다시 설치를 선택합니다. 6. 아래와 같이 설치될 macOS 버전과 계속 버튼이 나오면, 계속을 선택해 줍니다..
인터넷을 사용할 수 없는 우분투(Ubuntu) 폐쇄망(Offline) 환경에서 도커를 설치하는 방법 1. 사전 확인 사항 및 설치 프로그램 64-bit 설치 3.10 버전 이상의 리눅스 커널. 사용하고 있는 리눅스의 가장 최신 버전 커널을 사용할 것을 권고 iptables 버전 1.4 이상 $sudo apt-get install iptables git 버전 1.7 이상 $sudo apt-get install git 일반적으로 procps 또는 유사한 패키지에서 제공하는 ps 실행파일 $sudo apt-get install procps Xz Utils 4.9 이상 $sudo apt-get install xz-utils 2. Static binary archive 다운로드(https://download.do..
1. Apache Zeppline 다운로드 및 압축 풀기 https://zeppelin.apache.org/download.html Download Note: From Zeppelin version 0.6.2, Spark interpreter in binary package is compatible with Spark 2.0 & Scala 2.11 and Spark 1.6(or previous) & Scala 2.10. You can use even different version of Spark at the same time if you set different SPARK_HOME in interp zeppelin.apache.org wget http://apache.mirror.cdnetworks.c..
*Cloudera Engineering Blog에 기재된 내용 입니다. 출처 : https://blog.cloudera.com/blog/2019/06/hdfs-erasure-coding-in-production/?fbclid=IwAR1agLV-T50SV2MtWyKTDzFIBPoonR-NTR5CWdl7szJ9BAvcaME1QGR80vg Apache Hadoop 3.0에서 제공되는 주요 기능인 HDFS Erasure coding(EC)는 CDH 6.1.x 이상의 버전에서도 사용할 수 있으며, Spakr 및 MapReduce와 같은 특정 응용 프로그램에서 사용할 수 있습니다. 이전 버전의 HDFS는 여러 데이터 복사본(기존 스토리지 array의 RAID1과 유사)을 복제함으로써 Fault tolerance를 ..
Third Party 애플리케이션을 이용하여 JDBC로 Impala에 쿼리를 던지다 보니 특정 Impala Daemon에 커넥션이 집중되는 문제가 발생하였습니다. 이를 해결하기 위하여 HAProxy를 이용하여 Impala에 대한 커넥션을 Load Balancing 해주었습니다. 이를 통해 얻게된 이점으로는 1. Impala를 이용하는 애플리케이션들이 특정 Impala Daemon에 접근하지 않고 공통적인 Proxy 서버를 통해서 접근하게 됩니다. 2. Coordinator Only로 지정된 Impala Daemon들에게만 Least connection 또는 Round robin 방식으로 커넥션을 분배할 수 있습니다. 3. 특정 Impala Daemon에게 과도하게 부하가 걸리는 것을 방지할 수 있습니다...
AWS를 처음 접하면서 가장 헷갈렸던 부분이 인터넷 망에서 EC2에 접근 하기 위한 VPC를 설정하는 부분이었습니다. 따라서 까먹지 않기 위해 기록하려고 합니다. VPC 생성하기 1. 먼저 VPC 대쉬보드에 접근해서 VPC 생성을 눌러 줍니다. 2. 다음과 같이 VPC 이름 태그와 IPv4 CIDR 블록을 설정해 줍니다. 3. 다음과 같이 VPC가 생성완료 되었습니다. 4. VPC가 정상적으로 생성되고 나면 다음과 같이 목록에서 확인할 수 있습니다. 서브넷 생성하기 1. VPC를 생성하였다면 이번에는 서브넷을 생성합니다. 2. 서브넷 이름 태그와 앞서 만들었던 VPC를 선택하고, VPC의 IPv4 CIDR 범위 내에서 해당 서브넷이 가질 IPv4CIDR을 구성하여 줍니다. 3. 서브넷 생성이 완료되면 다..
AWS EC2에 접근하기 위해서는 PEM File을 이용하게 되는데, 이 때문에 EC2 끼리 패스워드 없이 접속하기 위해서 ssh-keygen 후 public key를 배포하는데 ssh-copy-id 를 이용 할 수가 없다. 이러한 문제를 해결하기 위해 방법을 찾아보니 다음과 같이 해주면 된다. cat ~/.ssh/id_rsa.pub | ssh -i "JOON-KEY-PAIR.pem" root@10.0.0.1 "cat - >> ~/.ssh/authorized_keys"
AWS 공부를 시작하면서 가장 먼저 접하는 어려움이 AWS EC2에 SSH로 접근하기 위해 pem 파일을 이용해야 한다는 점이다. 일반적으로 아래와 같이 접근할 수 있지만 굉장히 번거롭다. ssh -i ~/JOON-KEY-PAIR.pem root@10.0.0.1 물론 pem 파일을 ~/.ssh 디렉터리에 옮겨놓으면 조금 더 간단히 경로 없이 pem파일 이름만 치고도 접근가능하지만, 여전히 번거롭다. 이에 정말 간단히 접근할 수 있도록 ~/.ssh/config 파일을 만들어서 사용하려고 한다. vi ~/.ssh/config Host joon-ec2-01 HostName 10.0.0.1 User root IdentityFile ~/.ssh/JOON-KEY-PAIR.pem Host joon-ec2-02 Hos..