공평임계성공지수 (equitable threat score)

한 줄 정의: 우연히 맞힌 몫을 제거하고 계산한, 사건 예보의 적중도 평가 지표입니다.

쉽게 풀면

비가 올지 안 올지를 예보하고 맞았는지 세어 볼 때, 아무렇게나 찍어도 어느 정도는 맞습니다. 공평임계성공지수는 그렇게 우연히 맞았을 몫을 미리 빼고, 실제 실력으로 맞힌 정도만 남겨 계산한 점수입니다. 1이면 완벽, 0이면 무작위 수준과 다를 바 없다는 뜻입니다.

왜 중요한가

강수처럼 드물게 일어나는 사건의 예보 성능을 비교할 때 표준적으로 쓰이며, 모델 개선 여부를 판단하는 대표 지표입니다. 임계값을 바꿔 가며 계산하면 약한 비와 강한 비에서의 성능 차이를 함께 볼 수 있습니다.

논문에서는 이렇게 쓰입니다

"개선된 미물리 모수화를 적용한 실험에서 10mm 임계값 강수의 공평임계성공지수가 유의하게 상승하였다."

정량적 검증 점수로 모델 개선 효과를 제시하는, 예보검증의 표준적인 결과 문장입니다.

조금 더 깊게 보면

계산은 적중, 헛경보, 미탐지 사례 수로 만드는 분할표에서, 무작위 예보로 기대되는 적중 수를 적중 수에서 빼는 방식으로 이루어집니다. 값의 범위는 -1/3에서 1까지이며, 사건 발생 빈도가 매우 낮으면 값이 작게 나오는 경향이 있어 서로 다른 기후 조건의 지역을 직접 비교하기는 어렵습니다. 예보 빈도가 실제보다 많거나 적은 편향을 함께 제시하는 편의지수와 짝지어 보고하는 것이 관행입니다.

주의할 점

보정 없이 계산하는 임계성공지수와 이름이 비슷하지만, 우연 적중을 제거했는지에서 차이가 납니다. 확률예보를 평가하는 브라이어 점수나 연속순위확률점수와 달리, 이 지표는 예 또는 아니오로 판정된 결정론적 예보를 대상으로 합니다.