[MariaDB] ColumnStore Engine 회고

이력서 업데이트하는 과정에서 과거의 경험을 회고하고자 게시글을 쓴다.

2019년 첫 SI회사에서 KBS 시청률 통계 관리자 사이트를 개발할 당시, 기존 MariaDB 통계 테이블 InnoDB Engine에서 억단위의 데이터를 통계내다보니 속도가 너무 느려 ColumnStore Engine 으로 마이그레이션 했던 프로젝트가 있었다.

얼떨결에 신입으로 혼자 삽질을 해가며 서버구축(ColumnStore 설치도 포함)부터 프로젝트 마무리까지 했었는데, 그 당시에는 별 생각이 없었지만 지금 돌이켜보면 좋은 경험이었다.

결론부터 말하면 월 단위 통계쿼리가 16초 -> 0.1초로 개선되었다. 같은 날짜에 여러 플랫폼에서 들으어오는 시청률, 시청자 수 데이터를 집계하는 쿼리였었다.

예를들어 10월 1일에 시청률, 시청자 수를 들고있는 행이 적게는 몇만, 많게는 몇십만개가 있었는데 InnoDB에서 Index만 잡아가지고는 한계가 있었던 듯 하다.

우리가 필요했던 것은 행 전체가 아닌 시청률, 시청자 수의 집계였으므로 행단위가 아닌 열단위로 쿼리를 처리하는 ColumnStore Engine는 적합했었다. 더군다나 기존에 DB도 Mysql이기도 해 익숙하고 통계관련 테이블 엔진만 ColumnStore Engine으로 바꾸었기 때문에 리스크도 좀 낮았던듯 하다.

2019년 당시 작성한 MariaDB ColumnStore Single Server 설치 가이드 가 있어서 첨부해 놓았다.

MariaDB ColumnStore Single Server 설치-0.3v.pdf

16.42MB