로그데이터에 특화된 실시간 시계열 DB, Machbase !!!
출처 : www.machbase.com
인피니플럭스(대표 김성진)의 마크베이스 제품 교육에 다녀왔습니다!
마크베이스는 기존에는 사명과 동일한 인피니플럭스 였던 제품명을 새롭게 리브랜딩한 이름입니다.
마크베이스에 대해 설명 드리자면 서버, 장비, 어플리케이션으로 부터 대량으로 발생하는 로그성 시계열 데이터를
실시간으로 저장하고 분석하는 혁신적인 기술의 DBMS 입니다.
주요 기능으로는
출처 : Machbase 교육 교안
다음과 같이 수집부터 저장, 분석, 시각화, 관리까지 전반적인 영역에 걸쳐서 다양한 기능을 제공하고 있습니다.
성능적인 측면에서는 Intel i7 3.6 Ghz 4 core CPU, 32GB Memory, 7200 SATA HDD, CentOS 6.6 환경에서
130 bytes, 1억 건, 13GB csv 파일을 로딩하고 조회하는 테스트 결과 다음 그림과 같이
출처 : Machbase 교육 교안
초당 입력 건수는 20만건 이상, 압축력 역시 60% 이상의 압축력으로, 기존 데이터베이스와 비교하여
마크베이스가 뛰어난 성능을 가지고 있음을 알 수 있습니다.
이상 간단히 마크베이스 교육에서 배운 내용에 대하여 교안을 참고하여 이야기 해보았습니다!
지금부터는 실습과정에 대해 이야기 해보겠습니다.
실습은 윈도우 환경에서 간단하게 진행해 보기 위해 도커를 이용하여 가상환경을 구축하고
예제 데이터를 이용해서 진행하였습니다.
요렇게 귀여운 고래가 나오는 도커 쉘에서 진행을 하였습니다.
위의 화면은 도커를 이용하였기 때문에 일련의 과정을 거쳐 마크베이스 가상환경까지 접속한 상태입니다.
참고로 도커환경의 마크베이스는 이미 DB가 생성되어서 가동중인 상태이기 때문에
별도로 DB를 생성해 주거나 가동시켜 주지 않아도 바로 사용 가능합니다.
그리고 쿼리문을 이용하여 DB 테이블과 인덱스를 다음과 같이 생성해 주었습니다.
이번에는 방금 만든 테이블에 100만건의 로그데이터를 input해 보았습니다.
그 결과 성능이 높지 않은 제 노트북에서도 겨우 9초 남짓 밖에 걸리지 않는 뛰어난 성능을 보여주었습니다.
이번엔 특정 문자열 검색 결과 입니다.
view 라는 특정 문자를 포함하고 있는 로그를 검색해 보았는데 10건은 0.012초가 걸렸고,
100건은 0.014초 / 10,000건은 0.365초 / 100,000건도 3초가 채 걸리지 않았습니다.
마지막으로 다음과 같이 마크베이스에서만 가능한 쿼리인 duration을 이용하여 원하는 시간대에 대한 검색이 가능합니다!
이렇게 경험해본 마크베이스는 노트북의 가상환경이었지만 성능적으로 매우 빠르다는 것만은 변함없이 느낄 수 있었습니다.
또한 다른 DB에는 없는 duration 쿼리는 실제 로그 데이터를 다루고 분석하는데 있어서 최적화된 쿼리일 것입니다.
앞으로 참여하게될 프로젝트에서 대용량 로그데이터 적재 및 분석에 마크베이스를 사용할 날을 기대하며!!!
이상으로 제가 교육 받았던 인피니플럭스의 마크베이스에 대하여 간단히 포스팅 해보았습니다.
※ 포스팅 내용 중 잘못되거나 문제가 있는 내용이 있다면 hyunjoon0312@gmail.com 으로 연락 부탁드리겠습니다.
