탐색적 자료분석 (Exploratory Data Analysis)
쉽게 풀면
요리를 시작하기 전에 레시피부터 따라 재료를 볶는 사람은 드뭅니다. 보통은 냉장고를 열어 재료가 신선한지, 상한 것은 없는지, 양은 충분한지부터 확인합니다. 탐색적 자료분석도 이와 비슷합니다. 수집한 데이터를 곧바로 복잡한 통계 검정에 넣기 전에, 먼저 히스토그램이나 산점도 같은 그래프를 그려보고 평균·중앙값·분산 같은 기초 통계량을 계산해보면서 "이 데이터가 대체로 어떤 모양인지, 이상하게 튀는 값은 없는지, 변수들 사이에 눈에 띄는 관계는 없는지"를 눈으로 먼저 확인하는 것입니다. 이 과정에서 발견한 특징들이 이후 어떤 통계 기법을 선택할지 결정하는 데 중요한 단서가 됩니다.
왜 중요한가
탐색적 자료분석은 이후 모든 통계적 의사결정(어떤 검정을 쓸지, 어떤 변수를 변환하거나 제외할지)의 근거가 되기 때문에, 부실하게 수행되면 뒤이은 확증적 분석 전체의 신뢰도가 흔들릴 수 있습니다. 데이터 품질 문제(입력 오류, 결측, 이상치)를 조기에 발견해 분석 오류를 예방하고, 예상치 못한 패턴을 발견함으로써 새로운 연구가설을 세우는 계기가 되기도 합니다. 이 때문에 통계학뿐 아니라 데이터 기반 실증연구 전반에서 표준적인 첫 단계로 자리잡았습니다.
논문에서는 이렇게 쓰입니다
이 문장은 본격적인 가설 검정에 들어가기 전 연구자가 박스플롯, 히스토그램, 산점도 등을 활용해 데이터가 정규분포를 따르는지, 극단적으로 튀는 값이 있는지 등을 미리 점검했다는 뜻입니다. 이렇게 파악한 데이터 특성에 따라 이후 모수적 검정을 쓸지 비모수적 검정을 쓸지, 어떤 변수를 통제할지 등이 정해지므로 대부분의 정량 연구 논문에서 분석 절차의 첫 단계로 언급됩니다.
생물정보학 연구에서는 고차원 데이터의 전반적인 구조를 파악하기 위해 시각화와 차원축소 기법을 결합한 탐색적 분석을 흔히 사용합니다.
사회과학 설문연구에서는 탐색적 자료분석을 통해 측정 도구 자체의 문제를 사전에 발견하는 경우가 많습니다.
조금 더 깊게 보면
탐색적 자료분석은 통계학자 존 튜키(John Tukey)가 체계화한 접근으로, 박스플롯이나 줄기잎그림(stem-and-leaf plot) 같은 시각화 도구가 이 전통에서 널리 알려졌습니다. 최근에는 단순 시각화를 넘어 주성분분석(PCA), 군집분석, 결측치 패턴 분석 등을 포함해 데이터의 구조를 다각도로 파악하는 과정 전체를 지칭하는 경우가 많습니다. 다만 탐색 과정에서 여러 패턴을 살펴보다 우연히 눈에 띈 결과를 사후에 마치 사전 계획된 가설처럼 보고하는 것(이른바 데이터 준설, data dredging)은 통계적으로 문제가 될 수 있어 주의가 필요합니다.
주의할 점
탐색적 자료분석은 어디까지나 데이터를 미리 살펴보고 가설을 세우기 위한 예비 단계이지, 그 자체로 최종 결론을 증명하는 확증적 분석이 아닙니다. 탐색 단계에서 우연히 발견한 패턴을 유의확률 계산 등 사전에 계획된 검정 없이 곧바로 사실인 것처럼 보고하면 안 되며, 특히 하위 집단을 나눠 보다가 심슨의 역설처럼 전체 경향과 반대되는 패턴을 발견했다면 그 원인을 별도로 검증해야 합니다.