델파이 조사 라운드 설계
쉽게 풀면
델파이 조사는 한 번의 설문으로 끝나지 않습니다. 보통 1라운드에서는 개방형 질문으로 전문가들의 다양한 의견을 폭넓게 모으고, 2라운드에서는 그 의견들을 정리한 항목에 점수를 매기게 하며, 3라운드에서는 "다른 전문가들은 이렇게 답했습니다"라는 통계 요약(평균, 사분위범위 등)을 보여준 뒤 의견을 다시 조정할 기회를 줍니다. 이렇게 몇 회차를 돌릴지, 각 회차의 질문지를 어떻게 바꿀지, 언제 조사를 끝낼지를 사전에 설계하는 것이 델파이 조사 라운드 설계입니다. 라운드 수가 너무 적으면 의견이 충분히 수렴하지 못하고, 너무 많으면 응답자가 지쳐 탈락률이 높아지므로 균형이 중요합니다.
왜 중요한가
라운드 설계는 델파이 연구의 결과가 얼마나 체계적이고 재현 가능한 방식으로 도출되었는지를 결정하는 핵심 요소이기 때문에, 진료지침이나 정책 권고안처럼 신뢰도가 중요한 연구에서 방법론 절을 평가할 때 반드시 확인되는 부분입니다. 라운드 구성과 종료 시점을 사전에 명확히 밝히지 않으면 연구자가 원하는 결과가 나올 때까지 라운드를 임의로 조정했다는 의심을 받을 수 있어, 연구 투명성과 직결되는 문제로 다뤄집니다. 또한 라운드 수와 응답 부담은 패널의 탈락률에 직접 영향을 미치기 때문에, 방법론 연구에서는 적정 라운드 수에 대한 논의도 꾸준히 이루어지고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 "전문가 패널의 의견을 세 차례에 걸쳐 점점 구체화해 나가는 방식으로 조사를 계획했다"는 뜻입니다.
이 예문은 시간과 자원이 제한적인 연구에서 개방형 라운드를 생략하고 문헌 기반의 구조화된 문항으로 라운드 설계를 단순화하는 변형된 접근을 보여줍니다.
이 문장은 라운드 설계가 고정된 계획이 아니라 합의기준 충족 여부에 따라 유연하게 조정될 수 있음을 보여주는 사례입니다.
조금 더 깊게 보면
라운드 설계에서는 각 회차마다 응답자에게 무엇을 "피드백"으로 되돌려줄지가 중요한 설계 요소입니다. 흔히 문항별 평균이나 중앙값, 사분위범위 같은 통계 요약과 함께, 응답자 본인의 이전 응답을 나란히 제시하여 스스로 비교해볼 수 있게 합니다. 일부 연구에서는 다수 의견과 크게 다른 소수 응답자에게 그 이유를 서술하도록 요청하는 절차를 추가해, 단순히 다수 쪽으로 쏠리는 것이 아니라 근거 있는 의견 변화를 유도하기도 합니다. 라운드가 진행될수록 응답자가 줄어드는 패널 손실(attrition)은 결과 해석에 영향을 줄 수 있어, 라운드별 응답률을 함께 보고하는 것이 권장됩니다.
주의할 점
라운드 설계는 델파이 합의기준 (Delphi Consensus Criteria)과 짝을 이루어야 합니다. 라운드 수를 미리 정해두더라도, 합의기준을 충족하면 조기 종료하거나 충족하지 못하면 라운드를 추가하는 등 유연하게 운영하는 경우가 많습니다. 또한 라운드가 거듭될수록 응답자 탈락(패널 손실)이 발생하기 쉬우므로, 라운드마다 응답률을 보고하는 것이 좋습니다.