논술형평가 (Essay Assessment)
쉽게 풀면
예를 들어 '민주주의의 발전 과정과 그 의의를 서술하시오'처럼 학생이 자신의 생각을 문단과 논리적 흐름을 갖춘 글로 길게 작성하게 하여 평가하는 방식이다. 단순한 사실 나열이 아니라 논리적 구성력과 표현력까지 함께 평가한다는 점이 특징이다.
왜 중요한가
고차적 사고력 및 표현력 평가 연구에서 논술형 평가의 대표 형태로 다뤄지며, 대학입시 논술전형이나 서술형·논술형 평가 확대 정책 연구에서 자주 인용된다.
평가방법론 연구에서 객관식 평가의 한계를 보완하는 수단으로 다뤄지며, 논술전형 등 선발 제도와 연계되어 타당도와 채점자간 신뢰도 문제를 다루는 연구가 이루어진다. 논술형 평가는 채점 기준이 세밀하더라도 채점자 간 점수 편차가 상대적으로 크게 나타나는 경향이 실증적으로 보고되어, 복수 채점과 채점자 훈련의 필요성을 뒷받침하는 근거로 자주 인용된다.
어떤 절차인가
논술형평가는 학습자가 논제에 대해 완결된 글을 쓰게 하고 그 글을 채점해 평가하는 방식입니다. 절차는 보통 다음과 같습니다.
- 논제 설계: 무엇을 평가할지(논증, 분석, 종합)를 정하고, 제시문·요구 사항·분량·시간을 명시합니다.
- 채점 기준 마련: 내용의 타당성, 논리 구성, 근거의 적절성, 표현의 명료성 같은 준거와 수준별 기술을 담은 루브릭을 만듭니다.
- 채점자 준비: 기준을 설명하고 예시 답안으로 연습해 채점자 간 해석을 맞춥니다.
- 채점: 요소별로 점수를 매기는 분석적 채점(분석적채점기준)이나 글 전체의 인상으로 판정하는 총체적 채점을 씁니다. 중요한 시험이면 복수의 채점자가 독립적으로 채점하고, 차이가 크면 제3 채점자가 조정합니다.
- 환류: 점수와 함께 근거를 알려 줍니다.
언제 쓰고 무엇을 얻나
답을 짧게 쓰는 서술형평가나 선택형 문항으로는 보기 어려운 능력, 곧 주장을 세우고 근거로 뒷받침하며 글로 조직하는 능력을 볼 수 있다는 것이 가장 큰 이유입니다. 반면 약점도 알려져 있습니다.
| 비교 | 분석적 채점 | 총체적 채점 |
|---|---|---|
| 방식 | 준거별로 점수를 매겨 합산 | 글 전체를 하나의 점수나 등급으로 판정 |
| 장점 | 어디가 부족한지 알려 주기 쉽고 채점자 간 일치를 높이기 쉬움 | 채점이 빠르고 글의 전체 완성도를 반영 |
| 단점 | 시간이 더 들고 준거를 나누기 어려운 경우가 있음 | 이유를 설명하기 어렵고 첫인상·분량의 영향을 받기 쉬움 |
채점자 일관성은 오래된 문제입니다. Starch와 Elliott(1912)은 같은 영어 답안에 대해 교사마다 점수가 크게 다르다고 보고했습니다. 이후 Jonsson과 Svingby(2007)가 정리한 연구들은, 루브릭이 채점의 신뢰도를 높일 수 있으며 특히 분석적이고 과제에 맞춘 루브릭에 예시 답안이나 채점자 훈련이 더해질 때 효과가 있다고 결론지었습니다.
논문에는 이렇게 적는다
- 논제와 채점 기준(전체 또는 요약)을 부록이나 표로 제시합니다.
- 채점자 수, 자격, 훈련 방법, 독립 채점 여부, 불일치 조정 절차를 적습니다.
- 채점자 간 일치도를 보고합니다. 연속 점수에는 급내상관계수, 범주 판정에는 Cohen의 카파 등 자료 유형에 맞는 지표를 쓰고, 어떤 형태를 썼는지 밝힙니다. 보편적으로 합격선이 되는 값은 없으므로 문헌의 관례를 인용하고 그것이 관례임을 서술합니다.
- 고부담 시험 연구라면 이의 신청과 재검토 절차, 채점 시간과 비용도 함께 다루면 타당성 논의가 풍부해집니다.
예: 두 명의 훈련된 채점자가 분석적 루브릭으로 독립 채점하였고, 채점자 간 일치도는 급내상관계수로 산출하였다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
고차적 사고력 측정의 대표 유형으로 논의되며, 대입 논술전형 및 서술형평가 확대 정책 연구에서 자주 인용된다.
견해를 논리적으로 전개하고 근거로 정당화하는 능력을 본다는 논술형 평가의 목적을 설명하는 문장이다.
조금 더 깊게 보면
논술형 평가는 답을 짧게 적는 서술형 평가와 달리 완결된 글의 형태로 응답을 요구하며, 내용의 타당성뿐 아니라 논리적 구성, 근거의 적절성, 표현의 명료성 등 여러 채점 준거를 종합적으로 반영해야 한다는 점에서 채점 기준의 정교함이 특히 강조된다. 논술형 평가는 채점 방식에 따라 요소별로 점수를 부여하는 분석적 채점과 전체 글을 하나의 인상으로 판정하는 총체적 채점으로 나뉘며, 두 방식은 신뢰도와 채점 효율성 사이에서 서로 다른 장단점을 갖는다는 점이 비교 연구된다.
주의할 점
논술형 평가는 채점자의 문체 선호나 분량에 대한 인상이 점수에 영향을 줄 수 있어, 내용과 논리를 중심으로 한 명확한 채점 기준표를 갖추고 복수 채점을 병행해야 한다는 점에 유의해야 한다.
채점자 간 일관성 확보가 어렵고 채점 시간이 많이 소요되므로 대규모 시행 시 채점 기준의 표준화가 필수적이다.
대학 논술전형처럼 고부담 시험에 활용될 경우, 채점 결과에 대한 이의제기 절차와 답안 재검토 과정을 마련해 두는 것이 공정성 시비를 줄이는 실무적 장치로 함께 논의된다.
헷갈리기 쉬운 용어
서술형, 논술형, 논술전형은 이름이 비슷하지만 층위가 다릅니다.
| 용어 | 무엇인가 | 논술형평가와의 차이 |
|---|---|---|
| 서술형평가 | 학습자가 답을 직접 구성해 쓰는 평가 전반(짧은 답 포함) | 논술형평가는 그 중 완결된 글과 논증을 요구하는 유형 |
| 논술전형 | 논술 고사를 반영하는 대학 입학 전형 | 평가 방식이 아니라 선발 제도 |
| 루브릭 | 수행을 준거와 수준으로 기술한 채점 기준표 | 논술형평가에서 채점 일관성을 위해 쓰는 도구 |
| 분석적채점기준 | 준거별로 점수를 매기는 채점 기준 | 논술형평가의 채점 방식 중 하나 |
참고 문헌
- Starch, D., & Elliott, E. C. (1912). Reliability of grading high-school work in English. The School Review, 20(7), 442–457.
- Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144.
- Brown, G., Bull, J., & Pendlebury, M. (1997). Assessing Student Learning in Higher Education. Routledge.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.