교집합 대 합집합 비율 (Intersection over Union, IoU)
쉽게 풀면
친구와 각자 종이에 같은 그림을 보고 강아지가 있는 위치를 사각형으로 표시했다고 해봅시다. 두 사각형을 겹쳐 보면 완전히 딱 맞을 수도 있고, 살짝 어긋날 수도 있습니다. IoU는 이때 "두 사각형이 겹치는 부분의 넓이"를 "두 사각형을 합친 전체 넓이"로 나눈 값입니다. 두 사각형이 완벽히 겹치면 1(100%)이 되고, 전혀 안 겹치면 0이 됩니다. 즉 값이 1에 가까울수록 예측이 정답과 잘 일치한다는 뜻이죠. 이 간단한 비율 하나로 객체 탐지 모델이 물체의 위치를 얼마나 정확히 찾아냈는지를 숫자로 비교할 수 있습니다.
왜 중요한가
IoU는 물체의 위치를 얼마나 정확히 찾았는지를 하나의 숫자로 요약해주기 때문에 객체 탐지, 이미지 분할, 자율주행 인지 모델의 성능을 비교·평가하는 표준 지표로 널리 쓰입니다. mAP(mean Average Precision) 같은 상위 평가지표를 계산할 때도 IoU 임계값이 기준으로 사용되기 때문에, 컴퓨터비전 논문에서 모델 성능을 보고할 때 빠지지 않고 등장하는 개념입니다. 또한 손실 함수를 설계할 때도 IoU 개념을 직접 활용하는 방식들이 연구되고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 예측된 위치가 정답과 절반 이상 겹쳐야만 "제대로 찾았다"고 인정하는 판정 기준을 IoU 값으로 정했다는 뜻입니다.
이미지 분할 분야에서는 픽셀 단위로 예측한 영역과 실제 영역이 얼마나 겹치는지를 IoU로 나타낸다는 뜻입니다.
기준을 얼마나 엄격하게 잡느냐(임계값)에 따라 모델 성능 평가가 달라질 수 있어, 여러 IoU 기준값에서의 결과를 함께 제시한다는 의미입니다.
조금 더 깊게 보면
IoU 임계값을 어디에 두느냐에 따라 모델을 얼마나 엄격하게 평가할지가 달라지는데, 임계값이 낮으면 대략적인 위치만 맞아도 정답으로 인정되고, 높으면 매우 정밀하게 겹쳐야만 정답으로 인정됩니다. 이런 특성 때문에 하나의 IoU 값만 보고하기보다 여러 임계값에서의 성능을 함께 제시하거나, 이를 종합한 mAP 지표를 사용하는 경우가 많습니다. 또한 기본 IoU는 두 박스가 전혀 겹치지 않을 때 항상 0이 되어 위치가 얼마나 떨어져 있는지 구분하지 못한다는 한계가 있어, 이를 보완한 GIoU, DIoU 같은 변형 지표들도 함께 사용됩니다.
주의할 점
IoU는 박스의 위치가 얼마나 정확한지를 재는 지표일 뿐, 물체의 종류를 올바르게 분류했는지는 별도로 평가해야 합니다. 또한 한 물체 주변에 겹치는 후보 박스가 여러 개 나오는 문제는 IoU 값을 기준으로 비최대 억제를 적용해 정리하는 것이 일반적이며, IoU 자체는 이 후처리에 쓰이는 기준값 중 하나로 이해하면 됩니다.