신뢰도 (Reliability)
한 줄 정의: 언어 평가 도구가 반복 시행되거나 다른 채점자가 채점하더라도 일관된 결과를 산출하는 정도.
쉽게 풀면
같은 시험을 여러 번 보거나 다른 사람이 채점해도 결과가 비슷하게 나오는 정도를 말해요.
논문에서는 이렇게 쓰입니다
"쓰기 시험의 채점자 간 신뢰도를 높이기 위해 명확한 채점 기준표를 활용하는 것이 일반적이다."
채점자에 따라 결과가 달라질 수 있는 주관식 평가에서 신뢰도를 확보하기 위한 실제적 방안을 제시하고 있다.
주의할 점
신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니며, 일관되게 측정하더라도 애초에 측정하려던 능력을 재고 있지 않다면 좋은 평가 도구라 할 수 없다.