용어 목록 > 파일럿 연구 (Pilot Study)

파일럿 연구 (Pilot Study)

측정·도구
한 줄 정의: 본 연구를 시작하기 전에 연구 설계나 측정도구, 진행 절차에 문제가 없는지 작은 규모로 미리 시행해보는 예비 연구입니다.

쉽게 풀면

새로운 레시피로 100인분 요리를 대접해야 한다면, 그 전에 소량으로 먼저 만들어 맛을 보지 않을까요? 간이 맞는지, 조리 시간이 적당한지 미리 확인해두면 본 요리에서 실수를 줄일 수 있습니다. 파일럿 연구는 바로 이런 "맛보기 요리"에 해당합니다.

본 조사를 대규모로 실시하기 전에, 소수의 참가자를 대상으로 설문 문항이 이해하기 쉬운지, 실험 절차에 무리가 없는지, 소요 시간은 적절한지 등을 미리 점검해보는 것입니다. 이 과정에서 발견된 문제점을 고쳐서 본 연구의 완성도를 높일 수 있습니다.

왜 중요한가

파일럿 연구는 본 연구의 실패 위험을 크게 줄여주는 사전 점검 단계이기 때문에, 설문·실험·임상시험 등 방법론을 다루는 거의 모든 학문 분야의 논문에서 연구 설계의 신뢰성을 뒷받침하는 근거로 언급됩니다.

특히 측정도구를 새로 개발하거나 번안한 경우, 대상자에게 실제로 잘 이해되고 작동하는지 확인하는 절차로서 연구의 타당성 확보에 직접 기여합니다. 연구비나 시간이 제한된 상황에서 본 연구의 시행착오를 줄여준다는 점에서도 실무적으로 중요하게 다뤄집니다.

어떤 절차인가

  1. 목표 정하기: 무엇을 확인할지 정합니다. 흔한 목표는 모집이 되는지, 참가자가 중도 탈락하지 않는지, 절차를 지킬 수 있는지, 소요 시간, 문항을 이해하는지입니다(Lancaster 외, 2004; Thabane 외, 2010).
  2. 작은 규모로 시행: 본 연구와 같은 대상에서 소수를 모아 본 연구와 같은 절차로 진행합니다.
  3. 문제 기록과 수정: 어려웠던 지점을 기록해 도구와 절차를 고칩니다.
  4. 다음 단계 판단: 미리 정한 기준(예: 모집률, 완료율)에 따라 본 연구를 그대로 진행할지, 고칠지, 중단할지 결정합니다.

본 연구에 자료를 포함하지 않는 외부 파일럿과, 본 연구의 첫 부분을 파일럿으로 삼고 자료를 이어 쓰는 내부 파일럿이 있습니다. 어느 쪽인지 밝혀야 합니다.

언제 쓰고 무엇을 얻나

작은 계산 예(가상의 값). 파일럿 12명에서 표준편차 10을 얻었다고 합시다. 모집단 표준편차의 95% 신뢰구간은 대략 표본 표준편차의 0.71배~1.70배, 즉 7.1~17.0입니다. 본 연구에서 차이 5를 α = .05, 검정력 .80의 두 집단 비교로 검출하려면(정규근사) 집단당 표본 수는 SD 10일 때 약 63명이지만, SD가 하한이면 약 32명, 상한이면 약 182명이 됩니다. 파일럿의 작은 표본에서 얻은 값을 그대로 쓰면 표본 수가 크게 어긋날 수 있다는 뜻입니다.

논문에는 이렇게 적는다

보고 예. “본 조사에 앞서 대상자와 같은 조건의 N명에게 예비조사를 실시하여 문항의 이해도와 소요 시간을 확인하고 문항 표현을 수정하였다.”

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"본 조사에 앞서 대학생 20명을 대상으로 파일럿 연구를 실시하여 설문 문항의 이해도와 응답 소요 시간을 점검하였다."

이 문장은 "본격적인 자료 수집에 들어가기 전에 소규모로 미리 시험해보면서 설문지에 이상이 없는지 확인했다"는 뜻입니다.

"새로 개발한 중재 프로그램의 실행 가능성을 확인하기 위해 소규모 파일럿 연구를 진행하여 참가자 모집 절차와 중재 순응도를 점검하였다."

임상·중재 연구에서 본 연구에 앞서 프로그램이 실제로 현실적으로 운영 가능한지를 미리 시험해보았다는 뜻이다.

"실험실 환경에서의 과제 난이도를 조정하기 위해 파일럿 연구를 실시하여 정답률이 지나치게 높거나 낮은 문항을 사전에 제외하였다."

인지심리학 실험에서 본 실험에 쓰일 과제의 난이도를 미리 검증해 적절한 수준으로 조정했다는 뜻이다.

조금 더 깊게 보면

파일럿 연구는 목적에 따라 실행가능성(feasibility)을 점검하는 경우와, 측정도구의 신뢰도·타당도를 예비적으로 확인하는 경우로 나뉘어 논의되기도 합니다.

다만 파일럿 연구의 표본 크기는 통계적 검정력을 확보하기에는 부족한 경우가 많아, 여기서 얻은 효과 크기나 신뢰도 값은 본 연구 결과의 예측치가 아니라 참고 지표 정도로만 다루는 것이 일반적입니다.

일부 연구에서는 파일럿 연구 결과를 본 연구의 표본크기 산정에 활용하기도 하지만, 표본이 작을수록 추정값의 불확실성이 크다는 점을 함께 고려해야 합니다.

주의할 점

파일럿 연구는 표본 수가 적어 통계적으로 일반화할 수 있는 결과를 얻으려는 목적이 아니므로, 파일럿 연구에서 나온 수치(예: 신뢰도, 효과 크기)를 본 연구의 결과인 것처럼 보고해서는 안 됩니다. 파일럿 연구의 목적 중 하나는 측정도구가 실제로 의도한 개념을 잘 담고 있는지 점검하는 것으로, 안면타당도나 내용타당도를 미리 확인하는 단계로도 흔히 활용됩니다.

헷갈리기 쉬운 용어

“예비”라는 말이 들어가지만 하는 일이 다른 것들입니다.

용어하는 일본 연구 자료로 쓰이나
파일럿 연구본 연구의 절차·도구를 작은 규모로 미리 시험보통 쓰지 않음(내부 파일럿은 예외)
실행가능성 연구연구(또는 개입)를 실제로 할 수 있는지 확인경우에 따라 다름
사전검사(pre-test)개입 전에 측정하는 점수(사전-사후 설계의 앞부분) 또는 문항 사전 시험본 연구의 일부인 경우가 많음
표본 크기 산정필요한 표본 수 계산파일럿 자료가 입력값으로 쓰일 수 있음

참고 문헌

  1. Lancaster, G. A., Dodd, S., & Williamson, P. R. (2004). Design and analysis of pilot studies: Recommendations for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307–312.
  2. Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: The what, why and how. BMC Medical Research Methodology, 10, 1.
  3. Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291.
  4. Kraemer, H. C., Mintz, J., Noda, A., Tinklenberg, J., & Yesavage, J. A. (2006). Caution regarding the use of pilot studies to guide power calculations for study proposals. Archives of General Psychiatry, 63(5), 484–489.
  5. Eldridge, S. M., Chan, C. L., Campbell, M. J., Bond, C. M., Hopewell, S., Thabane, L., & Lancaster, G. A. (2016). CONSORT 2010 statement: Extension to randomised pilot and feasibility trials. BMJ, 355, i5239.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어

안면타당도 천장효과 크론바흐 알파 요인분석 확인적 요인분석 ROC 곡선 요인적재량 문항변별도