데이터마이닝 (Data Mining)
쉽게 풀면
많은 데이터 속에서 사람 눈으로는 찾기 힘든 패턴이나 규칙을 컴퓨터 알고리즘으로 찾아내는 작업이다.
왜 중요한가
대규모 데이터에서 패턴과 규칙을 찾는 기법군으로, 마케팅에서는 장바구니 분석과 고객 세분화, 재무에서는 부정거래 탐지, 운영에서는 품질 이상 감지에 적용되어 실증연구의 분석 도구로 자리잡았습니다. 실무에서는 기계학습 확산 이전부터 CRM과 리스크 관리의 분석 엔진이었습니다.
논문에서는 이렇게 쓰입니다
장바구니분석을 통해 '기저귀를 구매한 고객이 맥주도 함께 구매하는 경향' 같은 연관규칙을 발견해 상품진열과 프로모션에 활용한다.
과거 행동 이력에서 패턴을 찾아 미래의 이탈 가능성을 예측하는 데 데이터마이닝 기법이 쓰인다는 것을 보여준다.
조금 더 깊게 보면
데이터를 충분히 파헤치면 무엇이든 유의한 결과가 나온다는 다중비교 문제가 있어, 탐색으로 찾은 패턴은 별도 데이터에서 검증해야 합니다. 상관 패턴을 인과로 해석하는 오류가 흔하며, 이론 없는 탐색이라는 비판과 이론 형성의 출발점이라는 옹호가 방법론 논쟁으로 이어집니다. 데이터마이닝의 표준 절차인 CRISP-DM은 업무이해, 데이터이해, 데이터준비, 모델링, 평가, 배포의 여섯 단계로 구성되어 실무 프로젝트의 공통 참조 모델로 쓰인다. 분류(classification)와 군집(clustering)은 정답 유무에 따라 지도학습과 비지도학습으로 구분되며, 이 구분이 어떤 알고리즘을 적용할지 결정하는 출발점이 된다. 데이터마이닝은 통계학의 가설검정 전통과 달리 사전 가설 없이 데이터에서 패턴을 탐색한다는 점에서 이론 주도 분석과 자료 주도 분석이라는 방법론적 대비로 논의되기도 한다.
주의할 점
데이터마이닝으로 발견된 상관관계가 곧바로 인과관계를 의미하지 않으므로 실제 경영 적용 전에 통계적 검증이 필요하다.
탐색적으로 발견한 패턴을 검증 없이 그대로 의사결정에 반영하면 과적합된 우연한 규칙을 실제 현상으로 오인할 위험이 있어, 별도의 검증용 데이터로 재확인하는 절차가 반드시 필요하다. 데이터마이닝 결과를 해석할 때는 표본 수가 충분한지, 변수 간 다중공선성은 없는지 함께 점검해야 신뢰할 수 있는 규칙을 얻을 수 있다.