혼동행렬 (Confusion Matrix)
쉽게 풀면
병원에서 질병 검사를 했다고 해봅시다. 결과는 네 가지로 나뉩니다. 아픈 사람을 "아프다"고 맞게 진단한 경우, 안 아픈 사람을 "안 아프다"고 맞게 진단한 경우, 안 아픈데 "아프다"고 잘못 진단한 경우(거짓양성), 아픈데 "안 아프다"고 놓친 경우(거짓음성)입니다. 혼동행렬은 이 네 가지 경우의 개수를 표로 정리한 것입니다. 단순히 "몇 % 맞췄다"는 정확도 하나만 보는 것보다, 어떤 종류의 실수를 얼마나 했는지를 한눈에 볼 수 있어서 모델의 약점을 파악하는 데 유용합니다.
왜 중요한가
분류 모델을 다루는 논문에서는 단일 정확도 수치만으로는 모델이 실제로 어떤 실수를 하는지 알기 어렵기 때문에, 혼동행렬이 실험 결과를 검증하는 기본 도구로 자주 등장합니다. 특히 의료 진단, 이상 탐지, 스팸 필터링처럼 놓치는 경우와 잘못 잡아내는 경우의 대가가 서로 다른 문제에서는, 혼동행렬을 통해 어느 쪽 오류가 더 심각한지 구체적으로 논의할 수 있습니다. 이 때문에 새로운 모델을 제안하는 논문에서는 정확도 외에 혼동행렬이나 이로부터 파생된 지표를 함께 제시하는 것이 관례처럼 자리 잡고 있습니다.
계산과 범위
이진 분류의 혼동행렬은 실제 상태(행)와 예측(열)을 교차한 2×2 표입니다. 오차행렬(error matrix)이라고도 부릅니다.
| 예측 양성 | 예측 음성 | |
|---|---|---|
| 실제 양성 (P) | TP (참양성) | FN (거짓음성) |
| 실제 음성 (N) | FP (거짓양성) | TN (참음성) |
- 실제 양성 수 P = TP + FN, 실제 음성 수 N = FP + TN입니다. 맞게 분류된 사례는 모두 대각선(TP, TN)에 모입니다.
- 정확도 = (TP + TN) / 전체, 정밀도 = TP / (TP + FP), 재현율(민감도) = TP / (TP + FN), 특이도 = TN / (TN + FP), F1 = 2 × 정밀도 × 재현율 / (정밀도 + 재현율)입니다. 모두 0에서 1 사이의 값입니다.
- 범주가 K개이면 K×K 정방행렬이 됩니다. 범주별 지표는 그 범주를 ‘양성’, 나머지를 ‘음성’으로 묶어 계산하고, 하나로 요약할 때는 범주별 값을 단순 평균하는 매크로 평균이나 모든 범주의 TP·FP·FN을 합쳐 계산하는 마이크로 평균을 씁니다. F1의 매크로 평균에는 계산식이 두 가지 쓰여 왔으므로 어느 쪽인지 밝혀야 합니다.
해석 기준
혼동행렬에는 ‘이 정도면 좋다’는 보편적 기준값이 없습니다. 어느 오류가 더 치명적인지에 따라 볼 지표가 달라집니다. 가상의 예로 1,000명 가운데 실제 양성이 60명인 선별검사 모형을 봅시다.
| 예측 양성 | 예측 음성 | |
|---|---|---|
| 실제 양성 (60) | TP = 40 | FN = 20 |
| 실제 음성 (940) | FP = 10 | TN = 930 |
- 정확도 = (40 + 930) / 1,000 = 0.97
- 정밀도 = 40 / 50 = 0.80, 재현율 = 40 / 60 ≈ 0.667, 특이도 = 930 / 940 ≈ 0.989, F1 ≈ 0.727
- 만약 모든 사람을 음성으로 판정하는 모형이라면 TP = 0, FN = 60, FP = 0, TN = 940이어서 정확도가 0.94나 되지만 재현율은 0입니다. 양성이 드문 불균형 자료에서는 정확도가 높아도 양성을 하나도 찾지 못할 수 있습니다.
세 범주의 가상 예(행은 실제, 열은 예측)도 봅시다.
| 예측 A | 예측 B | 예측 C | |
|---|---|---|---|
| 실제 A | 50 | 5 | 5 |
| 실제 B | 10 | 30 | 10 |
| 실제 C | 0 | 5 | 45 |
범주별 정밀도는 A 0.833, B 0.750, C 0.750이고 재현율은 A 0.833, B 0.600, C 0.900입니다. 매크로 평균 정밀도와 재현율은 둘 다 약 0.778이고, 전체 160건 중 125건이 맞아 정확도와 마이크로 평균이 0.781입니다(단일 라벨 다중분류에서는 마이크로 평균 정밀도·재현율이 정확도와 같습니다). 대각선에서 벗어난 값을 보면 B가 A와 C로 자주 새는 것을 알 수 있습니다.
보고 방법
- 표본 수와 표의 방향(어느 쪽이 실제이고 어느 쪽이 예측인지)을 밝힙니다.
- 양성으로 둔 범주와 분류 임계값(확률을 클래스로 바꾼 기준)을 적습니다.
- 정확도만 제시하지 말고, 양성이 드문 자료에서는 정밀도·재현율·F1이나 민감도·특이도를 함께 적습니다.
- 다중분류에서는 매크로 평균인지 마이크로 평균인지, F1의 계산식이 무엇인지 적습니다.
- 혼동행렬은 학습에 쓰지 않은 검증·시험 자료로 계산한 것인지 밝힙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“홍수취약지구 선정 기법을 대상지역인 서울시에 적용하여 2×2 혼동행렬과 ROC(Receiver Operation Characteristic) 곡선을 활용하여 검증함으로써 선정된 취약지구 인근에서 침수피해가 발생하기 쉽다는 것을 확인할 수 있었다.”
지표유출메커니즘을 활용한 홍수취약지구 표출 기법, 한국지리정보학회지, 2019 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 모델이 실제로는 양성인 사례를 음성으로 잘못 판단하는 경우가 많았다는 것을 혼동행렬을 통해 확인했다는 뜻입니다.
모델이 모든 범주에서 고르게 틀리는 것이 아니라, 특정 범주끼리 혼동하는 경향이 있다는 것을 혼동행렬로 확인했다는 의미입니다. 여러 범주를 구분하는 다중 분류 문제에서 자주 나오는 서술입니다.
이상 탐지처럼 정상과 비정상을 구분하는 과제에서, 혼동행렬을 이용해 잘못된 경보(오탐)가 얼마나 발생했는지 다른 방법과 비교했다는 뜻입니다.
조금 더 깊게 보면
혼동행렬을 실제로 읽을 때는 단순히 표 안의 숫자를 보는 것을 넘어, 여기서 계산되는 정밀도(precision), 재현율(recall), F1 점수 같은 파생 지표를 함께 살펴보는 경우가 많습니다. 범주가 셋 이상인 다중 분류 문제에서는 혼동행렬이 2x2가 아니라 더 큰 정방행렬 형태가 되며, 대각선에서 벗어난 값들이 어느 범주와 어느 범주가 자주 혼동되는지를 보여줍니다. 또한 여러 범주에 걸친 지표를 하나로 요약할 때는 범주별 지표를 단순 평균하는 매크로 평균과, 데이터 개수 비중을 반영하는 마이크로 평균 등 서로 다른 집계 방식이 쓰이므로, 논문에서 어떤 방식을 사용했는지 확인하는 것이 결과를 정확히 해석하는 데 도움이 됩니다.
주의할 점
혼동행렬 자체는 숫자를 정리한 표일 뿐이며, 여기서 계산되는 정밀도와 재현율 같은 지표를 함께 봐야 모델 성능을 제대로 판단할 수 있습니다. 특히 한 범주의 데이터가 다른 범주보다 훨씬 많은 불균형 데이터에서는 정확도만으로 판단하면 오해가 생기기 쉽습니다.
헷갈리기 쉬운 용어
| 용어 | 한 줄 설명 | 혼동행렬과의 관계 |
|---|---|---|
| 혼동행렬 | 실제와 예측을 교차해 네 가지 결과의 개수를 센 표 | 모든 지표의 재료 |
| 정밀도·재현율 | 맞다고 한 것 중 진짜 맞은 비율, 진짜 맞는 것 중 찾아낸 비율 | 혼동행렬의 열과 행에서 각각 계산 |
| F1 점수 | 정밀도와 재현율을 하나로 합친 지표 | 혼동행렬에서 정밀도·재현율을 구한 뒤 계산 |
| ROC 곡선 | 분류 기준을 바꿔 가며 구분 성능을 보여 주는 그래프 | 임계값마다 하나의 혼동행렬이 나옴 |
| 민감도·특이도 | 병이 있는 사람을 찾아내는 정도와 병이 없는 사람을 걸러내는 정도 | 재현율은 민감도와 같은 식 |
참고 문헌
- Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874.
- Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing & Management, 45(4), 427–437.
- Stehman, S. V. (1997). Selecting and interpreting measures of thematic classification accuracy. Remote Sensing of Environment, 62(1), 77–89.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.