인스턴스분할 (Instance Segmentation)

한 줄 정의: 같은 클래스에 속하더라도 개별 객체를 서로 구분하여 픽셀 단위로 분할하는 컴퓨터 비전 기법.

쉽게 풀면

사람이 여러 명 있으면 '사람'이라는 것뿐 아니라 '1번 사람', '2번 사람'처럼 각각을 따로 구분해 색칠하는 기술입니다.

왜 중요한가

영상에서 물체 종류뿐 아니라 개체 하나하나의 픽셀 영역을 구분하므로, 겹쳐 쌓인 부품을 하나씩 집는 빈피킹이나 과실 개별 인식에서 파지 위치를 정하는 근거가 됩니다. 의미론적 분할로는 같은 종류 물체가 붙어 있을 때 개체를 나눌 수 없다는 한계를 해결합니다.

어떤 절차인가

인스턴스분할은 영상의 각 개체마다 클래스 이름과 개체 하나하나의 픽셀 마스크를 함께 내놓는 과제입니다. 같은 영상에 사람이 세 명 있으면 마스크도 세 장이 나옵니다. 흔히 쓰는 계열은 둘로 나뉩니다.

검출 기반(2단계): 먼저 개체의 경계상자를 찾고, 그 상자 안에서 마스크를 예측합니다. 대표 모델이 Mask R-CNN(He 등, 2017)으로, Faster R-CNN에 마스크를 예측하는 가지를 덧붙인 구조입니다.
직접 예측(1단계) 계열: 경계상자를 거치지 않고 개체별 마스크를 곧바로 만들어 내는 모델들입니다.

학습에는 개체마다 따로 그린 픽셀 단위 주석이 필요합니다. 공개 자료 가운데 가장 널리 쓰이는 것이 MS COCO(Lin 등, 2014)입니다.

언제 쓰고 무엇을 얻나

같은 종류의 물체가 붙어 있거나 겹쳐 있어 “몇 개인지, 각각 어디까지인지”가 필요할 때 씁니다. 종류만 구분하는 이미지 분할(의미론적 분할)은 붙어 있는 두 사람을 하나의 ‘사람’ 영역으로 묶지만, 인스턴스분할은 둘을 따로 가릅니다. 반대로 하늘·도로처럼 개수를 셀 수 없는 배경 영역(stuff)은 인스턴스분할의 대상이 아니고, 이를 함께 다루는 확장이 판옵틱 분할(Kirillov 등, 2019)입니다.

과제	출력	같은 종류가 붙어 있을 때
객체 검출	클래스 + 경계상자	상자는 나뉘지만 윤곽은 없음
의미론적 분할	픽셀마다 클래스	하나의 영역으로 합쳐짐
인스턴스분할	개체마다 클래스 + 마스크	개체별로 분리됨

평가는 보통 마스크 단위의 평균정밀도(AP)로 합니다. 예측 마스크 A와 정답 마스크 B의 겹침 정도를 IoU(교집합÷합집합)로 재고, IoU가 기준(예: 0.5)을 넘으면 맞힌 것으로 셉니다. COCO 방식은 IoU 기준을 0.50에서 0.95까지 0.05 간격으로 바꿔 가며 구한 AP를 평균합니다.

가상의 예: 마스크 IoU 계산 6×6 격자에서 정답 마스크가 3×4 = 12칸, 예측 마스크가 같은 크기로 한 칸씩 어긋나 있다고 합시다(코드로 계산).

정답 칸 수	예측 칸 수	교집합	합집합	IoU
12	12	6	18	6 ÷ 18 ≈ 0.33

크기가 같은 두 마스크가 가로·세로로 한 칸씩만 어긋나도 IoU는 약 0.33으로 떨어져, 기준이 0.5이면 맞힌 것으로 세지 못합니다. 이처럼 작은 물체일수록 몇 픽셀의 오차가 IoU를 크게 흔듭니다.

논문에는 이렇게 적는다

데이터셋과 분할 방식(훈련·검증·시험 개수), 클래스 수, 주석 방식(다각형인지 픽셀 마스크인지)을 적습니다.
모델 이름과 사전학습 가중치, 입력 해상도, 학습 설정을 적습니다.
지표는 “마스크 AP, AP₅₀, AP₇₅”처럼 마스크 기준인지 경계상자 기준인지를 구분해 적습니다. 두 값은 서로 다릅니다.
반사·투명 물체, 심한 겹침처럼 약한 조건은 오류 사례로 따로 보여 줍니다.

문장 예(가상): “마스크 AP는 IoU 0.50:0.95 평균이며, 경계상자 AP와 구분하여 보고하였다.”

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

인스턴스 분할은 의미론적 분할과 객체 검출을 결합하여 각 객체 인스턴스마다 독립적인 픽셀 마스크와 클래스 레이블을 동시에 예측한다.

화면 속 물체의 종류를 아는 것에 더해, 같은 종류라도 개체별로 서로 다른 영역임을 구분해 각각의 윤곽을 따로 그려준다는 의미입니다.

"박스 안에 무작위로 쌓인 동일 부품을 대상으로 한 실험에서 인스턴스 분할 기반 파지 계획은 의미론적 분할만 사용한 방식보다 개별 부품을 정확히 집어내는 성공률이 유의하게 높았다."

이 문장은 부품 하나하나를 따로 구분해 주는 기술이, 그냥 종류만 아는 기술보다 실제로 물건을 집을 때 훨씬 더 도움이 된다는 것을 보여 준다는 뜻입니다.

조금 더 깊게 보면

학습 데이터에 개체별 마스크 주석이 필요해 데이터 구축 비용이 높고, 학습에 없던 물체는 인식하지 못하므로 미지 물체가 많은 창고 환경에서는 종류 무관 분할 모델이 대안으로 쓰입니다.

2D 마스크가 정확해도 물체의 3D 자세는 별도로 추정해야 하며, 반사 재질이나 투명 물체에서는 마스크 경계가 깊이 데이터와 맞지 않아 파지가 실패하는 경우가 많습니다.

대표적인 구조는 먼저 물체 검출로 각 개체의 대략적인 위치(경계상자)를 찾은 뒤 그 영역 안에서만 픽셀 마스크를 예측하는 2단계 방식으로, 검출 단계의 정확도가 이후 마스크 품질의 상한을 사실상 결정한다.

개체별 마스크에는 픽셀 단위 주석이 필요해 데이터 구축 비용이 의미론적분할 보다 훨씬 크고, 이 때문에 미지 물체가 섞인 창고 환경에서는 특정 범주에 국한되지 않는 범주 무관 분할 모델을 대신 쓰는 경우가 있다.

주의할 점

객체 간 겹침이 심한 장면에서는 개별 개체의 경계를 정확히 구분하기가 특히 어렵습니다. 투명하거나 반사가 심한 물체는 색상 정보만으로 경계를 구분하기 어려워, 깊이 정보와 결합해도 마스크 경계가 실제 형상과 어긋나는 경우가 흔하다.

헷갈리기 쉬운 용어

영상을 ‘잘게 나누는’ 과제가 여럿이라 이름이 쉽게 섞입니다.

용어	무엇을 내놓나	개체 구분
객체 검출	개체마다 클래스와 경계상자	된다(윤곽은 없음)
이미지 분할(의미론적 분할)	모든 픽셀의 클래스	안 된다
인스턴스분할	개체마다 클래스와 픽셀 마스크	된다
판옵틱 분할	셀 수 있는 개체는 개체별로, 배경 영역은 클래스별로 한 장에	개체는 된다

참고 문헌

He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask R-CNN. Proceedings of the IEEE International Conference on Computer Vision.
Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., & Zitnick, C. L. (2014). Microsoft COCO: Common objects in context. European Conference on Computer Vision.
Kirillov, A., He, K., Girshick, R., Rother, C., & Dollár, P. (2019). Panoptic segmentation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.