처치충실도 (treatment fidelity)

한 줄 정의: 연구자가 계획한 개입(처치)이 실제 현장에서 설계된 내용과 절차 그대로 정확하고 일관되게 실행되었는지를 나타내는 정도입니다.

쉽게 풀면

새로운 교육 프로그램의 효과를 검증하는 실험을 한다고 해봅시다. 그런데 교사마다 프로그램을 다르게 진행하거나, 일부 회기를 건너뛰거나, 원래 매뉴얼에 없는 내용을 섞어서 가르쳤다면 어떨까요? 이 경우 실험 결과에 차이가 없더라도, 그것이 "프로그램 자체가 효과가 없어서"인지 "프로그램이 제대로 실행되지 않아서"인지 구분할 수 없게 됩니다. 처치충실도는 바로 이 문제, 즉 처치가 원래 설계된 그대로 충실하게 전달되었는지를 확인하고 기록하는 것입니다. 보통 실행 체크리스트, 관찰 평가, 회기 녹화 검토 등을 통해 수치화합니다.

왜 중요한가

처치충실도는 개입 연구의 결과를 올바르게 해석하기 위한 전제 조건입니다. 교육학, 임상심리, 보건 프로그램 평가 등 사람이 직접 개입을 전달하는 연구에서는 실행자마다 실행 방식이 달라질 수 있기 때문에, 충실도를 보고하지 않으면 "효과가 없다"는 결과가 프로그램 자체의 한계인지 실행상의 문제인지 구분할 수 없습니다. 이 때문에 개입 연구의 재현성과 결과 해석의 신뢰성을 담보하는 핵심 지표로 다루어집니다.

논문에서는 이렇게 쓰입니다

"독립된 관찰자가 전체 회기의 20%를 무작위로 선정해 체크리스트로 평가한 결과, 처치충실도는 평균 92%로 나타나 프로그램이 매뉴얼대로 충실히 시행되었음을 확인하였다."

이 문장은 "개입이 계획서에 적힌 대로 실제 현장에서 잘 지켜졌는지를 별도로 점검했고, 그 결과 대부분 계획대로 진행되었다"는 뜻입니다. 처치충실도가 낮으면 프로그램 효과에 대한 해석 자체가 흔들리므로, 개입 연구에서는 결과와 함께 반드시 보고해야 하는 지표로 다뤄집니다.

"치료자 간 처치충실도 편차가 크게 나타난 회기에서는 개입 효과가 상대적으로 낮게 관찰되어, 치료자 훈련의 표준화 필요성이 제기되었다."

임상심리 개입 연구에서 치료자마다 실행 수준이 다르면 결과에도 차이가 생길 수 있음을 보여준 사례입니다.

"디지털 헬스 프로그램에서는 앱 사용 로그를 통해 참가자의 처치충실도를 자동으로 산출하여, 자기보고식 평가의 한계를 보완하였다."

디지털 중재 연구에서 사람이 직접 관찰하지 않고도 사용 기록으로 충실도를 객관적으로 측정한 방식을 설명한 것입니다.

조금 더 깊게 보면

처치충실도는 보통 단일 지표가 아니라 여러 하위 차원으로 나뉘어 평가됩니다. 대표적으로 매뉴얼에 명시된 요소를 빠짐없이 수행했는지를 보는 '실행 준수도(adherence)', 프로그램 고유의 특성이 다른 조건과 얼마나 구별되게 전달되었는지를 보는 '차별성(differentiation)', 그리고 단순히 절차를 따랐는지를 넘어 얼마나 능숙하고 질 높게 전달했는지를 보는 '전달 역량(competence)'으로 구분하는 틀이 자주 쓰입니다. 논문에서 충실도를 보고할 때는 이 중 어떤 차원을 측정했는지, 그리고 관찰자 간 평가 일치도를 함께 제시하는 경우가 많습니다.

주의할 점

처치충실도가 낮은 상태에서 나온 "효과 없음"이라는 결과는 프로그램 자체의 실패가 아니라 실행 부실 때문일 수 있으므로, 내적타당도를 해치는 요인으로 다뤄야 합니다. 충실도를 측정하지 않은 채 결과만 보고하면 원인을 제대로 구분할 수 없습니다.