델파이 합의기준 (Delphi Consensus Criteria)
쉽게 풀면
델파이기법은 여러 라운드에 걸쳐 익명의 전문가들에게 같은 문항을 반복해서 묻고, 이전 라운드의 응답 결과를 알려준 뒤 의견을 다시 모으는 방식입니다. 그런데 몇 라운드까지 진행해야 "이제 의견이 충분히 모였다"고 볼 수 있을까요? 이를 애매하게 판단하지 않도록 조사를 시작하기 전에 규칙을 정해둡니다. 예를 들어 "응답자의 75% 이상이 5점 척도에서 4점 이상에 동의하면 합의로 본다"거나, "연속된 두 라운드 사이에 사분위범위(IQR)가 특정 값 이하로 줄어들면 의견이 안정됐다고 본다"는 식입니다.
왜 중요한가
합의기준은 델파이 연구의 결과를 "전문가들이 정말 동의했다"고 신뢰할 수 있는지를 가늠하는 핵심 장치이기 때문에, 임상진료지침이나 정책 권고안처럼 전문가 합의를 근거로 삼는 연구에서 특히 중요하게 다뤄집니다. 기준이 사전에 명확히 정의되어 있지 않으면 같은 응답 데이터를 두고도 연구자마다 "합의됐다"는 판단이 달라질 수 있어, 연구의 재현성과 투명성을 평가하는 기준으로도 활용됩니다. 그래서 체계적 문헌고찰이나 진료지침 개발 방법론을 다루는 논문에서는 합의기준의 사전 명시 여부 자체가 연구 질을 평가하는 항목으로 포함되기도 합니다.
어떤 절차인가
- 조사 전에 합의 정의를 정합니다: 응답 비율(예: 4점 이상 비율), 중앙값, 분산도(사분위범위), 안정성 등.
- 매 라운드가 끝날 때마다 기준 충족 여부를 판정하고, 충족 시 종료하거나 항목을 정리합니다.
- 최대 라운드 수를 함께 정합니다.
가상의 예: 12명이 5점 척도로 평가해 점수가 5, 5, 4, 4, 4, 4, 4, 5, 3, 4, 2, 5입니다. 4점 이상은 10명(83.3%)이므로 기준 75%를 넘고 합의로 판정합니다. 사분위범위는 4~5로 1입니다(분위수 계산법에 따라 값이 약간 달라질 수 있어 방법을 밝힙니다).
언제 쓰고 무엇을 얻나
Diamond 외(2014)는 2000~2009년 델파이 연구 100편을 무작위로 뽑아 검토했습니다. 98편이 합의를 평가한다고 했지만, 합의의 정의가 제시된 것은 72편(사전 규정은 64편)이었습니다. 가장 흔한 정의는 일치율이었고(25편), 문턱값의 중앙값은 75%였습니다. 86편이 합의가 이루어졌다고 결론냈으나 문턱값을 사전에 정한 것은 그중 42편이었고, 합의 달성이 종료 결정과 연결된 것은 23편, 정해진 라운드 수 후 종료한 연구가 70편이었습니다. 이 연구는 합의 정의가 제각각이고 보고가 부실하다고 지적하며 보고 기준의 개선을 요구했습니다.
델파이는 통제된 의견 피드백을 곁들인 연속 설문으로 전문가 집단의 합의를 얻으려고 고안된 방법입니다(Dalkey & Helmer, 1963). 보건의료 질 지표 델파이 80편을 검토한 연구에서는 합의에 이르는 방법을 보고한 연구가 77%(62/80)였습니다(Boulkedid 외, 2011). 합의기준을 명시하면 독자가 합의 판정의 근거와 종료 이유를 확인할 수 있습니다.
논문에는 이렇게 적는다
- 합의 기준(지표, 문턱값)과 사전 규정 여부, 최대 라운드 수를 적습니다.
- 라운드 정의가 연구마다 다를 수 있어(Jünger 외, 2017은 라운드와 수정 델파이의 이해가 연구마다 다르다고 지적) 라운드를 어떻게 셌는지 밝힙니다.
- 합의 못한 항목을 어떻게 처리했는지, 라운드별 응답자 수와 응답률을 적습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이렇게 기준을 명시하면 독자는 연구자가 "합의됐다"고 판단한 근거가 무엇인지, 몇 라운드 만에 조사를 마쳤는지를 명확히 확인할 수 있습니다.
임상진료지침 개발 연구에서는 단순한 동의 비율뿐 아니라 반대 의견의 비율까지 함께 고려하는 이중 기준을 사용하는 경우가 흔합니다.
이 예문은 의학연구 설계 분야에서 합의기준이 무엇을 측정할지(연구 결과 지표)를 결정하는 실질적인 의사결정 도구로 쓰인다는 점을 보여줍니다.
조금 더 깊게 보면
합의기준은 크게 응답의 중심 경향(동의 비율, 평균 또는 중앙값)을 보는 기준과, 응답의 흩어진 정도(사분위범위, 표준편차)를 보는 안정성 기준으로 나눌 수 있습니다. 전자는 "얼마나 많은 전문가가 동의했는가"를, 후자는 "라운드를 거듭해도 의견이 더 이상 크게 변하지 않는가"를 확인하는 데 쓰입니다. 실제 연구에서는 두 기준을 함께 적용하거나, 최대 라운드 수에 도달하면 기준 충족 여부와 무관하게 조사를 종료하는 규칙을 함께 명시하는 경우가 많습니다.
주의할 점
합의기준을 조사를 시작하기 전에 정해두지 않고 라운드를 진행하다가 결과를 본 뒤에 정하면, 원하는 결론에 맞춰 기준을 끼워 맞추는 확증편향의 위험이 있습니다. 그래서 좋은 델파이 연구는 연구 프로토콜 단계에서 합의기준과 최대 라운드 수를 미리 명시해 둡니다. 이 점에서 같은 전문가 합의 방법인 명목집단기법과 비교되기도 합니다.
헷갈리기 쉬운 용어
| 용어 | 한 줄 설명 |
|---|---|
| 합의기준 | 합의로 볼 문턱을 미리 정하는 규칙 |
| 라운드 설계 | 몇 회, 어떤 순서·피드백으로 조사할지의 설계 |
| 델파이기법 | 익명 전문가에게 반복 설문하며 의견을 모으는 방법 전체 |
| 명목집단기법 | 전문가 합의를 얻는 또 다른 구조화 기법 |
| 사분위범위 | 응답 흩어짐을 보는 지표, 안정성 기준에 쓰임 |
참고 문헌
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409.
- Jünger, S., Payne, S. A., Brine, J., Radbruch, L., & Brearley, S. G. (2017). Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliative Medicine, 31(8), 684–706.
- Boulkedid, R., Abdoul, H., Loustau, M., Sibony, O., & Alberti, C. (2011). Using and reporting the Delphi method for selecting healthcare quality indicators: A systematic review. PLoS ONE, 6(6), e20476.
- Dalkey, N., & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458–467.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.