지난 글에서는 Erasure Coding(EC)란 무엇이고 EC의 알고리즘과 정책은 어떤 것이 있는지에 대해 이야기해 보았습니다. 2020/11/26 - [IT 정보/Hadoop Eco System] - Hadoop 3에서 Erasure Coding이란 - 1 Hadoop 3에서 Erasure Coding이란 - 1 앞선 글에서는 하둡 3버전을 도입해야하는 3가지 이유에 대해서 이야기 해보았습니다. 2020/11/15 - [IT 정보/Hadoop Eco System] - Hadoop 3 버전을 도입해야하는 3가지 이유 Hadoop 3 버전을 도입해야하는 3가 joonyon.tistory.com 이어서 이번 글에서는 그렇다면 우리는 EC를 사용하는 것이 정말 기존의 3 copy 복제 정책보다 좋기만 한 것..
앞선 글에서는 하둡 3버전을 도입해야하는 3가지 이유에 대해서 이야기 해보았습니다. 2020/11/15 - [IT 정보/Hadoop Eco System] - Hadoop 3 버전을 도입해야하는 3가지 이유 Hadoop 3 버전을 도입해야하는 3가지 이유 하둡은 1.0을 시작으로 2.0버전을 넘어 현재는 3.3버전까지 릴리즈가 되어 있습니다. 이렇게 많은 버전업이 진행되는 기간 동안 더 이상 하둡은 새로운 것이 아닌 빅데이터의 기반으로 자리 잡았 joonyon.tistory.com 이어서 이번에는 Erasure Coding에 대해 알아보도록 하겠습니다. 이번 Erasure Coding에 대한 글은 한번에 담기에는 부담이 있어 두 개의 포스팅으로 나눠서 이야기하려 합니다. 이번 글에서는 Erasure Cod..
하둡은 1.0을 시작으로 2.0버전을 넘어 현재는 3.3버전까지 릴리즈가 되어 있습니다. 이렇게 많은 버전업이 진행되는 기간 동안 더 이상 하둡은 새로운 것이 아닌 빅데이터의 기반으로 자리 잡았습니다. 그리고 아직까지는 많은 곳에서 하둡 3 버전보다는 2버전을 많이 사용하고 계시리라 예상됩니다. 그래서 이제는 하둡 2버전에서 3버전으로 넘어가야하는 이유에 대해 이야기해보려 합니다. Erasure Coding 하둡이 3버전으로 업그레이드 되면서 가장 눈에 띄었던 특징 중에 하나는 Erasure coding(EC)이 도입되었다는 것입니다. 기존 2버전의 하둡은 Hot data든, Cold data든 모두 같은 복제 정책(기본 3copy)을 가지고 보관해야만 했습니다. 이런 3copy 데이터 보관은 Fault..
안녕하세요. 린아저씨 입니다. 최근 코로나 이후 제로금리, 마이너스 금리에 가까워지면서 적금, 예금의 이율 역시 물가 상승률 조차 따라가지 못하게 되었습니다. 저 역시 과거에 들어두었던 최소 3% 이상 최대 5%의 예적금을 제외하면 최근 1년간 신규로 예적금을 든적이 없습니다. 이제는 예적금으로 최소한 자본 유지라도 할 수 있던 시대는 끝났다고 보는게 맞을 지도 모르겠습니다. 그래서 오늘은 신흥국 장기 투자, 그 중에서도 인도에 투자할 수 있는 방법에 대해 이야기 해보려고 합니다. 투자 방법에 대해 이야기 하기 전에 왜 인도인가에 대해 먼저 살펴보도록 하겠습니다. 인도의 인구 수 및 인구 피라미드 인도의 인구수는 2020년 통계청 기준으로 13억 8천만명에 육박합니다. 동일 기준 중국의 인구 수가 14억..
안녕하세요. 린아저씨 입니다. 블로그를 운영하면서 발생하게 되는 구글 애드센스 광고 CPC는 광고가 게시되는 페이지 검색 키워드와 유관하다고 합니다. 따라서 광고가 게시된 페이지 키워드에 따라 높은 CPC가 책정되기도 하고 0.1 달러의 아주 적은 CPC가 책정되기도 합니다. 그렇다면 우리는 어떻게 해야 가능한 높은 CPC를 책정받을 수 있는 키워드를 찾을 수 있을까요? 키워드를 찾는 방법으로는 다양한 방법이 있겠지만 우리는 구글 애드센스에서 수익을 얻기 때문에 가장 좋은 방법은 구글에서 제공하는 키워드 정보를 이용하는게 가장 좋은 방법일 것이라 생각합니다. 그리고 이러한 키워드 정보는 구글 Ads 에서 제공하는 키워드 플래너 기능을 통해서 확인할 수 있습니다. 지금부터 높은 CPC 키워들 찾기 위한 구..
안녕하세요. 린아저씨 입니다. 제가 처음 접한 하둡은 아파치 바닐라 하둡 버전이었지만, 실제 프로덕트 환경에서는 주로 Cloudera 배포판 하둡을 구축하고 운영해 왔습니다. 현 직장으로 이직을 하면서 이미 구축해 놓은 Cloudera 클러스터를 운영하게되면서 설치를 꽤 오래 안하게 되었습니다. 그래서 오늘은 오랜만에 설치 과정을 리마인드 할겸 Cloudera Manger를 이용해서 하둡 설치과정을 상세하게 포스팅하려고 합니다. 기존에 CDH5 버전을 설치해보신 분이라면 더욱 쉽게 하실 수 있으실 것입니다. 단 CDH6로 오면서 CM 스키마 생성 스크립트 위치등 소소한 몇가지가 변경된 부분이 있어 이 부분만 주의해 주시면 됩니다. 1. 설치 전 준비사항 모든 작업은 root 계정으로 진행 모든 노드의 r..
안녕하세요. 린아저씨 입니다. 이번에는 파이썬 dictionary 자료형에 대해 알아보려고 합니다. dictionary 기본 사용법 dictionary 자료형은 key-value가 쌍을 이루어 데이터를 입력할 수 있으며, 중괄호{ }로 선언하며, key:value 형태로 컴마 , 를 이용해서 다수의 데이터를 저장할 수 있습니다. dictionary에서는 string, int, boolean 등 여러가지 타입의 데이터를 넣을 수 있으며, value에는 리스트 자료형도 가능합니다. # dictinary 선언 stirng_dict = { 'a':1, 'b':2, 'c':3 } int_dict = { 1:'a', 2:'b', 3:'c' } list_dic = { 'a':[1, 2, 3], 'b':[2, True..
안녕하세요. 린아저씨 입니다. 이번에는 python 함수 중 for문과 자주 쓰는 range() 함수에 대해 알아보려 합니다. range() 함수는 이름처럼 일정 범위의 정수를 순차적으로 생성해 주는 함수 입니다. 그리고 파라미터 개수에 따라 세가지 방법으로 사용 할 수 있습니다. range( ) 파라미터 두개를 쓰는 경우 range() 함수에 파라미터 두개를 쓰는 경우는 range(start, stop) 의 경우 입니다. 단 주의할 점은 원하는 정수 범위를 정할 때 start 이상 stop 미만으로 생각하셔야 합니다. 즉 늘 원하는 마지막 수에 +1을 해주셔야 합니다. # 파라미터 2개를 쓰는 경우 for i in range(0,11): print(i) 이런 코드를 실행하면 0, 1, 2, 3, 4, ..
안녕하세요. 린아저씨 입니다. 이번 포스팅에서 파이썬 반복문 문법 중 while에 대해 알아보려 합니다. while 반복문 while 반목문의 기본 구조 입니다. while : 수행 코드1 수행 코드2 부분에는 Boolen 값이 들어가야합니다. 즉 True 또는 False로 계산되는 값이 들어가야합니다. 예를 들어 아래와 같이 나타낼 수 있습니다. x = 0 while x < 10: x += 1 print('x='+x) 예제의 경우 변수 x의 초기 값은 0이고 x가 10보다 작다면 True가 되어서 x에 1씩 증가하면서 현재 x의 값을 출력하며 while 문이 실행 됩니다. 그리고 x에 1씩 증가하다가 x가 10이 되는 순간 while 조건문이 False가 되면서 while 문에서 탈출하게 됩니다. wh..
안녕하세요. 린아저씨 입니다. 오늘은 파이썬 코드를 작성하는 여러가지 스타일 중 가장 일반적으로 쓰이는 PEP8 스타일에 대해 포스팅하려 합니다. PEP8 스타일의 모든 것을 쓸 수는 없지만 개인적으로 이건 꼭 지키는게 좋겠다하는 부분 입니다. 이름 정하기 변수 및 함수 모든 변수 및 함수의 이름 스네이크(snake) 표기법으로 써줍니다. 즉, 한단어일 경우에는 소문자로만 써주시고 여러 단어일 경우에는 언더바( _ )를 이용해서 소문자로만 써서 연결해 줍니다. # 나쁜 예시(카멜 명명법) myHouseName = 'xi' def myPhoneNumber(): print('010-1234-5678') # 좋은 예시 (스네이크 명명법) my_house_name = 'xi' def my_phone_number..
안녕하세요. 린아저씨 입니다. 코로나로 인해 헬스장에 못가면서 집앞 공원에서라도 런닝을 하기 위해 새로운 런닝화를 구매 하였습니다. 비쌀 필요는 없을 것 같아서 가성비 좋은 녀석으로 찾다가 발견하게 되었는데, 오늘에서야 처음 신게되서 후기를 들려드리고자 합니다. 외형은 제 기준에서 런닝화가 이정도면 예쁘다고 생각합니다! 전체적으로 블랙 느낌이고 바닥쪽에 흰색이 살짝 들어가 있습니다. 신발 옆면을 찍는 다는 것을.. 빼먹어서 전체적인 사진은 링크로 대체합니다! MW880NA3 - Google 검색 뉴발란스 여성 운동화 MW880NA3 트래킹화 -... itempage3.auction.co.kr www.google.com 밑창은 딱봐도 미끄럽지 않을 구조로 이루어져 있습니다. 그리고 사진에 잘 표현 되지는 ..
안녕하세요. 린아저씨 입니다. 최근 코로나 이후 늘어난 몸무게를 다시 빼보겠다며 집에서 홈트도 하고 마스크를 끼고 더 힘든 런닝도 하며 고군분투하고 있습니다! 그래서 점심은 반식을 하고, 저녁은 샐러드를 만들어 먹고 있는데요 최근 대량 구매해서 먹고 있는 닭가슴살을 추천드리려 합니다. 제가 쿠팡에서 구매해서 먹고 있는 닭가슴살은 닭하면 대표 기업인 하림의 닭가슴살 훈제 제품 입니다. 제품 하나에 100g의 닭가슴살이 있고 프로틴 함량은 23g 이나 된다고 합니다! 일단 너무 허여멀건한 닭가슴살이 아니여서 좋았습니다! 안그래도 야채만 먹는데 닭가슴살까지 허여멀건하는건 너무하니까요! 조리방법은 아주 아주 간단합니다! 전자레인지가 편하시다면 닭가슴살만 따로 용기에 담아 40초 ~ 1분가량 데우시면 되고, 끓는..