Hive와 Impala를 함께 사용하다 보면 Hive에서 만든 데이터베이스와 테이블을 Impala에서 사용하는 경우가 자주 발생하게 됩니다. 이때 아주 사소하면서도 자주 볼 수 있는 에러가 있습니다. 더보기 1. 에러메시지 2. 원인 3. 조치 1) 모든 테이블의 메타데이터를 갱신 2) 이미 추가되어 있는 테이블에 대한 메타데이터 갱신 1. 에러 메시지 ERROR : AnalysisException : Could not resolve table reference : 'test_db.test_table' Cloud not execute command : SELECT * FROM test_db.test_table 2. 원인 Impala에서 Meta data를 갱신해주지 않아, Hive에서 생성한 데이터베이스..
Third Party 애플리케이션을 이용하여 JDBC로 Impala에 쿼리를 던지다 보니 특정 Impala Daemon에 커넥션이 집중되는 문제가 발생하였습니다. 이를 해결하기 위하여 HAProxy를 이용하여 Impala에 대한 커넥션을 Load Balancing 해주었습니다. 이를 통해 얻게된 이점으로는 1. Impala를 이용하는 애플리케이션들이 특정 Impala Daemon에 접근하지 않고 공통적인 Proxy 서버를 통해서 접근하게 됩니다. 2. Coordinator Only로 지정된 Impala Daemon들에게만 Least connection 또는 Round robin 방식으로 커넥션을 분배할 수 있습니다. 3. 특정 Impala Daemon에게 과도하게 부하가 걸리는 것을 방지할 수 있습니다...