데이터 웨어하우스 (Data Warehouse)
쉽게 풀면
데이터 웨어하우스는 회사나 조직의 여러 시스템에서 나온 데이터를 한곳에 모아 정리해 두는 대형 저장소이다. 매일 발생하는 실시간 거래 처리용 데이터베이스와 달리, 데이터 웨어하우스는 이미 정제된 과거 데이터를 오랫동안 쌓아두고 대규모 통계 분석이나 보고서 작성을 빠르게 할 수 있도록 최적화되어 있다. 연구에서는 여러 출처의 로그나 실험 결과를 통합 분석할 때 이런 데이터 웨어하우스를 구축해 활용하기도 한다.
왜 중요한가
여러 시스템에서 흩어져 생성되는 데이터를 각각 따로 분석하면 전체적인 추세나 시스템 간 관계를 파악하기 어렵습니다. 데이터 웨어하우스는 이런 데이터를 하나의 일관된 구조로 통합해 대규모 통계 분석과 장기 추세 파악을 가능하게 하므로, 경영정보시스템, 헬스케어 데이터 분석, 대규모 로그 분석을 다루는 논문에서 데이터 인프라를 설명할 때 자주 등장합니다. 또한 데이터 웨어하우스를 어떻게 설계했는지는 이후 분석의 재현성과 확장성에도 직접적인 영향을 미칩니다.
논문에서는 이렇게 쓰입니다
여러 곳에서 흩어져 생성된 실험 데이터를 하나의 데이터 웨어하우스로 모아, 통합적으로 분석할 수 있도록 했다는 뜻이다.
여러 병원의 서로 다른 형식의 의료 기록을 하나의 공통된 구조로 통합해, 기관 간 비교가 가능한 형태로 만들었다는 의미이다.
경영학·유통 분야 연구에서 여러 매장의 판매 데이터를 통합 저장소에 모아 시간에 따른 추세 분석에 활용했다는 뜻이다.
조금 더 깊게 보면
데이터 웨어하우스는 흔히 여러 원천 시스템에서 데이터를 추출·변환·적재하는 ETL 과정을 거쳐 구축되며, 분석 목적에 맞게 사실(수치)과 차원(속성)을 구분해 저장하는 스타 스키마와 같은 구조가 널리 쓰입니다. 실시간 거래를 빠르게 처리하는 데 최적화된 운영 데이터베이스(OLTP)와 달리, 데이터 웨어하우스는 대량의 데이터를 빠르게 집계·조회하는 분석 처리(OLAP)에 최적화되어 있다는 점이 핵심적인 차이입니다. 최근에는 정형 데이터 중심의 데이터 웨어하우스와 비정형 데이터를 함께 다루는 데이터 레이크의 장점을 결합한 형태도 함께 논의됩니다.
주의할 점
데이터 웨어하우스는 정제된 정형 데이터를 다루는 데 최적화되어 있어, 원본 그대로의 비정형 데이터를 대량으로 쌓아두는 오브젝트 스토리지 기반의 데이터 레이크와는 목적이 다르다.