과업성공률 (task success rate)
쉽게 풀면
사람들이 주어진 일을 도움 없이 얼마나 성공적으로 끝냈는지를 퍼센트로 나타낸 지표예요. 이 숫자가 낮게 나오면 화면이나 절차 어딘가에 문제가 있다는 신호예요. 예를 들어 열 명 중 여덟 명이 성공했다면 성공률은 80퍼센트예요. 그래서 중간에 도움을 받아 겨우 끝낸 것과 완전히 혼자 끝낸 것을 구분해서 세기도 해요. 그래서 사람들이 실제로 원하는 작업을 끝까지 해냈는지를 백분율로 재는 거예요.
왜 중요한가
과업성공률은 사용성테스트에서 참가자가 주어진 과업을 성공적으로 완료한 비율을 정량화한 지표로, 인터페이스의 사용성을 객관적 수치로 비교하고 개선 전후 효과를 검증하는 핵심 사용성지표로 널리 쓰인다. 벤치마킹을 통해 경쟁 제품과의 상대적 사용성 수준을 비교하는 데도 활용된다. 사용자가 목표를 실제로 달성했는지를 가늠하는 가장 직접적인 사용성 지표다.
논문에서는 이렇게 쓰입니다
특정 과업 완료 비율을 정량적으로 측정하여 인터페이스 개선 효과를 확인한 결과를 설명한다.
과업성공률 계산에서 부분 성공 처리 방식에 따라 값이 달라질 수 있다는 점을 보여 줍니다.
조금 더 깊게 보면
성공률만으로는 사용자가 얼마나 헤맸는지, 얼마나 만족했는지를 알 수 없어 완료 시간이나 오류 횟수 같은 다른 사용성지표와 함께 해석해야 한다. 사용성테스트가 그 지표를 얻기 위한 조사 방법론 전체를 가리킨다면 과업성공률은 그 결과로 산출되는 구체적 수치 지표 중 하나다. 과업 성공률은 완전 성공과 도움을 받아 완료한 부분 성공을 구분해 집계하는 경우가 많아, 단순 성공/실패 이분법보다 세분화된 기준이 실제 문제 지점을 더 잘 드러낸다. 성공률만으로는 사용자가 얼마나 헤맸는지 알 수 없어, 소요 시간이나 오류 횟수 같은 다른 지표와 함께 봐야 한다.
주의할 점
과업성공률은 완료 여부만 측정하므로, 성공했더라도 소요 시간이 길거나 사용자가 불만족스러워한 과정은 별도로 파악해야 한다.
성공 기준을 지나치게 관대하게 잡으면 실제로는 불편했던 경험도 성공으로 집계되는 왜곡이 생길 수 있다. 성공률만 보고 소요 시간이나 오류 횟수를 함께 보지 않으면 사용자가 얼마나 헤맸는지 놓칠 수 있다.