실기평가 (Practical Skill Assessment)
쉽게 풀면
예를 들어 요리 실습 수업에서 필기시험 대신 학생이 실제로 칼질을 하고 조리하는 모습을 직접 보고 평가하는 것처럼, 이론 지식이 아니라 실제로 손과 몸을 움직여 수행하는 기능적 능력을 직접 관찰하여 평가하는 방식이다. 말이나 글로 설명하는 능력이 아니라 실제 행동으로 옮기는 능력을 확인한다는 점이 핵심이다.
왜 중요한가
직업교육 및 실기 교과 평가 연구에서 지식과 기능의 통합적 수행을 확인하는 대표적 평가로 다뤄지며, 체육·미술·기술가정 교과나 직업계고 자격 평가 설계 연구에서 자주 인용된다. 실기평가는 지식 재인이 아니라 수행 그 자체를 관찰 대상으로 삼기 때문에 타당도 논의에서 흔히 '수행 표본(performance sample)'의 대표성 문제, 즉 한두 번의 관찰로 전체 능력을 일반화할 수 있는지가 핵심 쟁점으로 다뤄진다.
어떤 절차인가
실기평가는 대체로 다음 순서로 설계됩니다.
- 평가할 수행을 정의합니다. 어떤 기능(예: 칼질, 투척 동작, 소독 절차)을 어느 조건에서 보일지 정합니다.
- 채점 기준을 만듭니다. 보통 루브릭으로 성취 수준별 특징을 적고, 과정을 볼지 결과물을 볼지 정합니다.
- 조건을 표준화합니다. 같은 도구·재료·시간·안내문으로 모든 학생을 평가합니다.
- 관찰하고 채점합니다. 현장 관찰, 영상 촬영 후 재채점 등을 씁니다.
- 채점자를 훈련하고 일치도를 확인합니다. 복수 채점이 흔합니다.
언제 쓰고 무엇을 얻나
- 얻는 것: 지식 재인이 아니라 실제 수행을 직접 보기 때문에, 기능 교과와 자격·직무 평가에서 수행의 타당도를 확보하기 좋습니다.
- 대표 사례: 의학교육의 객관구조화임상시험(OSCE)은 여러 ‘스테이션’에서 표준화된 과제를 같은 기준으로 평가하는 방식으로, Harden과 Gleeson(1979)이 소개했습니다.
- 일반화의 한계: Shavelson, Baxter, Gao(1993)는 수행평가에서 어떤 과제를 뽑느냐에 따른 점수 변동이 크다는 점을 보였습니다. 한두 번의 수행으로 전체 능력을 말하기 어렵다는 이 쟁점이 이 페이지가 말하는 ‘수행 표본’ 문제와 이어집니다.
- 타당화 기준: Linn, Baker, Dunbar(1991)는 수행 기반 평가를 판단할 기준으로 결과(consequences), 공정성, 전이·일반화 가능성, 인지적 복잡성, 내용의 질, 내용 포괄성, 의미 있음, 비용·효율을 제시했습니다.
- 채점 신뢰도: Jonsson과 Svingby(2007)의 고찰은 루브릭이 채점 신뢰도를 높이는 데 도움이 되며, 분석적이고 과제에 맞게 작성하고 예시와 채점자 훈련이 곁들여질 때 효과가 크다고 정리합니다.
논문에는 이렇게 적는다
| 보고 항목 | 적는 내용 |
|---|---|
| 과제와 조건 | 평가한 기능, 도구·재료, 제한 시간, 안내문 |
| 채점 기준 | 루브릭의 출처(직접 개발/기존 도구), 분석적·총체적 여부, 과정과 결과의 배점 |
| 채점자 | 인원, 자격, 훈련 방법, 복수 채점 여부 |
| 신뢰도 | 채점자 간 일치도(급내상관계수, Cohen의 카파 등)와 계산 방법 |
| 관찰 횟수 | 수행을 몇 번, 언제 관찰했는지. 일회성 시연이면 한계로 명시 |
| 윤리와 안전 | 영상 촬영 동의, 안전 수칙 준수 여부 확인 방법 |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
수행평가의 하위 유형으로서 예체능 교과 평가 연구에서 채점 객관성 확보 방안이 주로 논의된다.
도구나 재료를 활용한 실제 수행 과정과 결과를 직접 관찰한다는 실기평가의 방법을 설명하는 문장이다.
조금 더 깊게 보면
실기평가는 최종 결과물만 채점하는 방식과 수행 과정 전체를 단계별로 채점하는 방식으로 나뉘며, 안전 수칙 준수나 도구 사용의 정확성처럼 결과물만으로는 드러나지 않는 요소를 확인하기 위해 과정 관찰과 결과물 평가를 함께 병행하는 것이 일반적으로 논의된다.
실기평가는 채점 기준이 상세하지 않으면 채점자의 주관에 따라 결과가 크게 달라질 수 있어, 명확한 채점기준표의 사전 마련이 특히 중요하다. 실기평가는 수행평가의 여러 하위 유형 가운데 신체적 조작이나 도구 사용의 정확성을 직접 관찰한다는 점에서, 산출물만 놓고 채점하는 포트폴리오평가나 글로 답을 구성하는 서술형평가와 구분된다. 채점자 간 신뢰도를 높이기 위해 동일 수행 장면을 영상으로 촬영해 복수의 채점자가 시차를 두고 재채점하는 방식이 함께 논의되기도 한다.
주의할 점
실기 수행은 상황과 재료의 미세한 차이에 따라 결과가 달라질 수 있어, 동일한 조건에서 여러 학생을 평가할 수 있도록 표준화된 절차를 마련해야 한다는 점에 유의해야 한다.
일회성 실기 시연은 컨디션이나 긴장 등 외적 변수의 영향을 크게 받을 수 있어 여러 차례 관찰을 종합하는 것이 바람직하다.
헷갈리기 쉬운 용어
| 용어 | 무엇을 보나 | 실기평가와의 관계 |
|---|---|---|
| 수행평가 | 실제 과제를 수행하는 과정이나 산출물 | 실기평가의 상위 개념 |
| 포트폴리오평가 | 일정 기간 모은 산출물과 성장 과정 | 산출물 중심이어서 수행 자체를 직접 보는 실기평가와 구분 |
| 서술형평가 | 글로 구성한 답 | 글쓰기 능력이 대상이며 신체적 조작을 직접 보지 않음 |
| 루브릭 | 채점 기준표(도구) | 실기평가를 채점할 때 쓰는 도구 |
참고 문헌
- Harden, R. M., & Gleeson, F. A. (1979). Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education, 13(1), 41–54.
- Linn, R. L., Baker, E. L., & Dunbar, S. B. (1991). Complex, performance-based assessment: Expectations and validation criteria. Educational Researcher, 20(8), 15–21.
- Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30(3), 215–232.
- Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.