휴리스틱평가 (heuristic evaluation)
쉽게 풀면
전문가 몇 명이 정해진 규칙표를 가지고 제품을 살펴보면서 사용하기 불편한 부분을 미리 찾아내는 방법이에요.
왜 중요한가
휴리스틱 평가는 소수의 평가자가 확립된 사용성 원칙 목록(닐슨의 10가지 휴리스틱 등)에 인터페이스를 비추어 문제를 찾아내는 검사법으로, 사용자 모집 없이 며칠 안에 결과를 낼 수 있어 실무에서 가장 자주 쓰이는 사용성 평가 방법입니다. 사용자 테스트 전에 명백한 문제를 걸러 테스트 자원을 더 어려운 문제에 쓰게 하는 역할을 합니다. 사용성 테스트보다 시간과 비용이 적게 들지만, 실제 사용자의 행동 패턴을 완전히 대체하지는 못한다는 한계가 있어 보완적으로 함께 활용된다.
논문에서는 이렇게 쓰입니다
복수의 전문가가 각자 독립적으로 평가하는 표준 절차를 따라 문제 목록을 도출한 결과를 보고한다.
휴리스틱평가의 효율이 평가자 수에 비례해서 무한정 증가하지 않으며, 적정 인원 설정이 비용 대비 효과 측면에서 중요함을 보여준다.
조금 더 깊게 보면
Nielsen과 Molich(1990)가 제안했으며, 평가자 한 명은 문제의 약 35%만 찾고 3~5명이 합치면 대부분을 찾는다는 결과가 평가자 수의 근거입니다. 이 방법은 평가자의 전문성에 크게 의존하고, 실제 사용자가 겪지 않을 문제를 보고하는 거짓 양성이 많다는 점이 사용성 테스트와의 비교 연구에서 확인되었습니다. 원칙 위반을 찾는 것이라 원칙 목록에 없는 문제(도메인 특유의 워크플로 문제)는 놓치며, 심각도 판정이 평가자 간에 크게 갈린다는 신뢰도 한계도 있습니다. 3~5명의 평가자가 독립적으로 검토한 뒤 결과를 취합하는 방식이 권장되며, 단일 평가자보다 다수 평가자의 발견 문제 합집합이 훨씬 크다는 점이 실증적으로 확인되어 있다. 평가자는 발견한 문제에 심각도 등급을 매겨 우선순위를 정하며, 이는 제한된 개발 자원을 어디에 먼저 투입할지 결정하는 근거로 활용된다.
주의할 점
평가자의 전문성과 경험에 따라 발견되는 문제의 종류와 수가 크게 달라질 수 있어 평가자 수와 자격을 명시하는 것이 중요하다.