델파이 조사 라운드 설계
쉽게 풀면
델파이 조사는 한 번의 설문으로 끝나지 않습니다. 보통 1라운드에서는 개방형 질문으로 전문가들의 다양한 의견을 폭넓게 모으고, 2라운드에서는 그 의견들을 정리한 항목에 점수를 매기게 하며, 3라운드에서는 "다른 전문가들은 이렇게 답했습니다"라는 통계 요약(평균, 사분위범위 등)을 보여준 뒤 의견을 다시 조정할 기회를 줍니다. 이렇게 몇 회차를 돌릴지, 각 회차의 질문지를 어떻게 바꿀지, 언제 조사를 끝낼지를 사전에 설계하는 것이 델파이 조사 라운드 설계입니다. 라운드 수가 너무 적으면 의견이 충분히 수렴하지 못하고, 너무 많으면 응답자가 지쳐 탈락률이 높아지므로 균형이 중요합니다.
왜 중요한가
라운드 설계는 델파이 연구의 결과가 얼마나 체계적이고 재현 가능한 방식으로 도출되었는지를 결정하는 핵심 요소이기 때문에, 진료지침이나 정책 권고안처럼 신뢰도가 중요한 연구에서 방법론 절을 평가할 때 반드시 확인되는 부분입니다. 라운드 구성과 종료 시점을 사전에 명확히 밝히지 않으면 연구자가 원하는 결과가 나올 때까지 라운드를 임의로 조정했다는 의심을 받을 수 있어, 연구 투명성과 직결되는 문제로 다뤄집니다. 또한 라운드 수와 응답 부담은 패널의 탈락률에 직접 영향을 미치기 때문에, 방법론 연구에서는 적정 라운드 수에 대한 논의도 꾸준히 이루어지고 있습니다.
어떤 절차인가
- 1라운드: 개방형 질문으로 의견을 모읍니다.
- 2라운드: 정리한 항목에 점수를 매깁니다.
- 3라운드: 통계 요약(평균·중앙값, 사분위범위)과 본인의 이전 응답을 보고 다시 판단합니다.
- 합의 판정: 사전 기준에 따라 종료하거나 라운드를 추가합니다.
Dalkey와 Helmer(1963)는 델파이를 통제된 의견 피드백을 곁들인 일련의 설문으로 전문가 집단의 가장 믿을 만한 합의를 얻으려는 방법으로 소개했습니다.
언제 쓰고 무엇을 얻나
보건의료 질 지표 선정 델파이 80편을 검토한 Boulkedid 외(2011)에서 모든 라운드의 응답률을 보고한 연구는 39%(31/80), 라운드 사이에 피드백을 주었다고 보고한 연구는 60%(48/80), 합의에 이르는 방법을 보고한 연구는 77%(62/80)였습니다. 패널 규모의 중앙값은 17명이었고, 패널 대면 회의를 곁들인 수정 델파이를 쓴 연구가 78편 중 49편(63%)이었습니다.
가상의 예: 첫 라운드에 30명이 응답하고 이후 26명, 22명이 응답했다면 응답률은 각각 86.7%(26/30)와 73.3%(22/30)입니다. 라운드가 늘수록 탈락이 쌓이므로 라운드별 응답률을 함께 보고합니다. Diamond 외(2014)에서는 100편 중 70편이 정해진 라운드 수에 도달해 종료했습니다.
논문에는 이렇게 적는다
- 라운드 수와 각 라운드의 내용(개방형 수집, 평가, 재평가), 소요 기간을 적습니다.
- 피드백으로 무엇을 돌려줬는지(통계 요약, 본인의 이전 응답, 서술 의견)를 적습니다.
- 라운드별 응답률과 종료 규칙을 적습니다. Jünger 외(2017)는 라운드와 수정 델파이를 서술하는 용어가 연구마다 달랐다고 지적했습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "전문가 패널의 의견을 세 차례에 걸쳐 점점 구체화해 나가는 방식으로 조사를 계획했다"는 뜻입니다.
이 예문은 시간과 자원이 제한적인 연구에서 개방형 라운드를 생략하고 문헌 기반의 구조화된 문항으로 라운드 설계를 단순화하는 변형된 접근을 보여줍니다.
이 문장은 라운드 설계가 고정된 계획이 아니라 합의기준 충족 여부에 따라 유연하게 조정될 수 있음을 보여주는 사례입니다.
조금 더 깊게 보면
라운드 설계에서는 각 회차마다 응답자에게 무엇을 "피드백"으로 되돌려줄지가 중요한 설계 요소입니다. 흔히 문항별 평균이나 중앙값, 사분위범위 같은 통계 요약과 함께, 응답자 본인의 이전 응답을 나란히 제시하여 스스로 비교해볼 수 있게 합니다. 일부 연구에서는 다수 의견과 크게 다른 소수 응답자에게 그 이유를 서술하도록 요청하는 절차를 추가해, 단순히 다수 쪽으로 쏠리는 것이 아니라 근거 있는 의견 변화를 유도하기도 합니다. 라운드가 진행될수록 응답자가 줄어드는 패널 손실(attrition)은 결과 해석에 영향을 줄 수 있어, 라운드별 응답률을 함께 보고하는 것이 권장됩니다.
주의할 점
라운드 설계는 델파이 합의기준 (Delphi Consensus Criteria)과 짝을 이루어야 합니다. 라운드 수를 미리 정해두더라도, 합의기준을 충족하면 조기 종료하거나 충족하지 못하면 라운드를 추가하는 등 유연하게 운영하는 경우가 많습니다. 또한 라운드가 거듭될수록 응답자 탈락(패널 손실)이 발생하기 쉬우므로, 라운드마다 응답률을 보고하는 것이 좋습니다.
헷갈리기 쉬운 용어
| 용어 | 한 줄 설명 |
|---|---|
| 라운드 설계 | 회차 구성과 피드백, 종료 시점을 계획하는 것 |
| 합의기준 | 합의로 판정하는 규칙, 라운드 설계와 짝을 이룸 |
| 델파이기법 | 전체 방법 |
| 정책델파이 | 합의보다 쟁점의 찬반을 드러내는 데 초점을 둔 변형 |
참고 문헌
- Dalkey, N., & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458–467.
- Boulkedid, R., Abdoul, H., Loustau, M., Sibony, O., & Alberti, C. (2011). Using and reporting the Delphi method for selecting healthcare quality indicators: A systematic review. PLoS ONE, 6(6), e20476.
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409.
- Jünger, S., Payne, S. A., Brine, J., Radbruch, L., & Brearley, S. G. (2017). Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliative Medicine, 31(8), 684–706.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.