정규화할인누적이득 (Normalized Discounted Cumulative Gain (NDCG))
쉽게 풀면
관련성이 높은 자료일수록, 그리고 검색결과 상단에 나올수록 더 높은 점수를 주는 방식으로, '완벽한 순서'와 비교해 몇 점인지 계산하는 지표이다.
왜 중요한가
nDCG는 상위 순위의 적합 문헌에 더 큰 가중치를 주고 등급형 적합성(매우 적합/조금 적합)을 반영할 수 있어, 웹 검색과 추천시스템처럼 이용자가 상위 몇 개만 보는 환경의 평가 표준이 되었습니다. 학습 기반 순위화 연구에서 최적화 목표로도 쓰입니다. 전자상거래 추천이나 웹 검색 순위 평가에서도 등급형 관련성을 반영할 수 있어 널리 채택된다. 추천시스템 연구에서도 순위 품질을 평가하는 표준 지표로 폭넓게 차용되고 있다.
논문에서는 이렇게 쓰입니다
이진 관련성이 아닌 다단계 관련성 척도를 사용할 때 NDCG가 적합한 평가지표로 채택된 사례를 설명하는 문장이다.
NDCG는 계산에 포함하는 순위 구간(@k)에 따라 값이 달라지므로, 논문에서는 절단 위치를 명시해 비교하는 경우가 많습니다.
조금 더 깊게 보면
이상적 순위로 정규화하므로 질의 간 비교가 가능하지만, 할인 함수(로그 등)와 이득 함수의 선택이 임의적이어서 다른 설정의 nDCG 값을 직접 비교할 수 없습니다. 판정되지 않은 문헌을 비적합으로 간주하는 문제는 MAP와 마찬가지로 남아 있습니다. NDCG는 관련성을 이진값이 아니라 여러 단계의 등급으로 다루며, 순위가 낮을수록 로그함수로 이득을 할인해 상위 결과의 관련성을 더 중요하게 반영한다. 이상적인 순서로 정렬했을 때의 누적이득값으로 정규화해, 서로 다른 질의 간에도 점수를 비교할 수 있게 한다. 특정 순위(top-k)까지만 계산하는 방식이 실무에서는 더 흔히 쓰이며, 이는 이용자가 실제로 확인하는 결과 범위를 반영한다.
주의할 점
NDCG는 관련성 등급을 여러 단계로 부여해야 하므로 관련성판단 비용이 이진 판단 방식보다 높다는 점에 유의해야 한다.