델파이 합의기준 (Delphi Consensus Criteria)
쉽게 풀면
델파이기법은 여러 라운드에 걸쳐 익명의 전문가들에게 같은 문항을 반복해서 묻고, 이전 라운드의 응답 결과를 알려준 뒤 의견을 다시 모으는 방식입니다. 그런데 몇 라운드까지 진행해야 "이제 의견이 충분히 모였다"고 볼 수 있을까요? 이를 애매하게 판단하지 않도록 조사를 시작하기 전에 규칙을 정해둡니다. 예를 들어 "응답자의 75% 이상이 5점 척도에서 4점 이상에 동의하면 합의로 본다"거나, "연속된 두 라운드 사이에 사분위범위(IQR)가 특정 값 이하로 줄어들면 의견이 안정됐다고 본다"는 식입니다.
왜 중요한가
합의기준은 델파이 연구의 결과를 "전문가들이 정말 동의했다"고 신뢰할 수 있는지를 가늠하는 핵심 장치이기 때문에, 임상진료지침이나 정책 권고안처럼 전문가 합의를 근거로 삼는 연구에서 특히 중요하게 다뤄집니다. 기준이 사전에 명확히 정의되어 있지 않으면 같은 응답 데이터를 두고도 연구자마다 "합의됐다"는 판단이 달라질 수 있어, 연구의 재현성과 투명성을 평가하는 기준으로도 활용됩니다. 그래서 체계적 문헌고찰이나 진료지침 개발 방법론을 다루는 논문에서는 합의기준의 사전 명시 여부 자체가 연구 질을 평가하는 항목으로 포함되기도 합니다.
논문에서는 이렇게 쓰입니다
이렇게 기준을 명시하면 독자는 연구자가 "합의됐다"고 판단한 근거가 무엇인지, 몇 라운드 만에 조사를 마쳤는지를 명확히 확인할 수 있습니다.
임상진료지침 개발 연구에서는 단순한 동의 비율뿐 아니라 반대 의견의 비율까지 함께 고려하는 이중 기준을 사용하는 경우가 흔합니다.
이 예문은 의학연구 설계 분야에서 합의기준이 무엇을 측정할지(연구 결과 지표)를 결정하는 실질적인 의사결정 도구로 쓰인다는 점을 보여줍니다.
조금 더 깊게 보면
합의기준은 크게 응답의 중심 경향(동의 비율, 평균 또는 중앙값)을 보는 기준과, 응답의 흩어진 정도(사분위범위, 표준편차)를 보는 안정성 기준으로 나눌 수 있습니다. 전자는 "얼마나 많은 전문가가 동의했는가"를, 후자는 "라운드를 거듭해도 의견이 더 이상 크게 변하지 않는가"를 확인하는 데 쓰입니다. 실제 연구에서는 두 기준을 함께 적용하거나, 최대 라운드 수에 도달하면 기준 충족 여부와 무관하게 조사를 종료하는 규칙을 함께 명시하는 경우가 많습니다.
주의할 점
합의기준을 조사를 시작하기 전에 정해두지 않고 라운드를 진행하다가 결과를 본 뒤에 정하면, 원하는 결론에 맞춰 기준을 끼워 맞추는 확증편향의 위험이 있습니다. 그래서 좋은 델파이 연구는 연구 프로토콜 단계에서 합의기준과 최대 라운드 수를 미리 명시해 둡니다. 이 점에서 같은 전문가 합의 방법인 명목집단기법과 비교되기도 합니다.