AGREE II 평가도구 (AGREE II)

윤리·출판 연구방법론
한 줄 정의: 임상진료지침이 얼마나 체계적이고 신뢰할 만하게 만들어졌는지를 6개 영역 23개 항목으로 평가하는 국제 표준 도구입니다.

쉽게 풀면

세상에는 수많은 임상진료지침이 있는데, 그중 일부는 소수 전문가의 의견만 반영해 급하게 만들어지고, 일부는 근거를 꼼꼼히 검토해 체계적으로 만들어집니다. 문제는 지침만 봐서는 어느 쪽인지 구분하기 어렵다는 점입니다. AGREE II는 "지침 개발 범위와 목적이 명확한가, 이해관계자가 참여했는가, 개발 과정이 엄격한가, 표현이 명확한가, 적용 가능성을 고려했는가, 편집 독립성이 있는가"라는 6개 영역을 각각 점수로 매겨, 지침의 질을 객관적으로 비교할 수 있게 해주는 평가표입니다.

왜 중요한가

임상진료지침은 의사의 처방부터 보험 급여 기준까지 실제 의료 현장의 의사결정에 직접 영향을 미치기 때문에, 그 자체의 개발 과정이 신뢰할 만한지 검증하는 일이 중요합니다. AGREE II는 이런 지침들을 서로 비교하거나 특정 진료 영역의 지침 질 수준을 종합적으로 파악하려는 체계적 문헌고찰 연구에서 표준 척도로 자리잡았습니다. 또한 지침 개발자 입장에서는 AGREE II 항목 자체가 "좋은 지침을 어떻게 만들어야 하는가"에 대한 실무 체크리스트 역할을 하기 때문에, 근거기반의학과 보건정책 분야 모두에서 자주 인용됩니다.

논문에서는 이렇게 쓰입니다

"두 명의 독립적인 평가자가 AGREE II 도구를 이용해 대상 진료지침의 방법론적 질을 평가하였으며, 평가자 간 일치도는 가중 카파값 0.82였다."

이 문장은 연구팀이 여러 임상진료지침을 수집한 뒤, 각 지침이 얼마나 엄격한 절차로 만들어졌는지를 AGREE II의 6개 영역 점수로 정량화해 비교했다는 뜻입니다. 진료지침 자체를 체계적으로 검토하는 연구(지침에 대한 메타연구)에서 자주 사용됩니다.

"국내에서 발표된 당뇨병 진료지침을 AGREE II로 평가한 결과, '이해관계자 참여' 영역과 '적용 가능성' 영역의 점수가 다른 영역에 비해 상대적으로 낮게 나타났다."

이 문장은 지침의 6개 영역 중 특정 영역만 취약할 수 있다는 점을 보여줍니다. 단일 총점이 아니라 영역별 점수를 따로 보고함으로써, 어느 부분을 보완해야 하는지 구체적으로 짚어주는 방식입니다. 만성질환 진료지침 비교 연구에서 흔히 쓰이는 서술입니다.

"본 체계적 문헌고찰에서는 재활치료 관련 진료지침 12편을 대상으로 AGREE II를 적용하였으며, 전반적 질 평가 항목에서 '권고 사용을 강력히 지지한다'고 응답한 지침은 절반 미만이었다."

AGREE II의 마지막 두 항목인 전반적 평가와 사용 권고 여부를 인용한 사례입니다. 이처럼 개별 영역 점수뿐 아니라 평가자의 종합적인 사용 권고 의견을 함께 보고하는 경우도 많으며, 재활의학이나 물리치료 등 임상진료지침이 상대적으로 최근에 정비된 분야의 논문에서 자주 등장합니다.

조금 더 깊게 보면

AGREE II의 각 영역 점수는 보통 여러 평가자의 항목별 점수를 합산한 뒤, 이론상 가능한 최고·최저 점수 대비 비율(백분율)로 환산해 보고합니다. 따라서 논문에서 "범위 및 목적 영역 85%"와 같은 표현을 보면, 이는 해당 영역에 속한 개별 항목들을 평가자들이 종합적으로 어떻게 평가했는지를 나타내는 값입니다. 평가자가 2인 이상일 때는 평가자 간 신뢰도(inter-rater reliability)를 카파값이나 급내상관계수(ICC) 같은 지표로 함께 제시하는 것이 일반적이며, 이는 평가 결과가 평가자 개인의 주관에 좌우되지 않았는지를 보여주기 위한 절차입니다. 또한 AGREE II는 원래의 AGREE 도구를 개정한 버전이고, 이후 특정 상황(예: 공중보건 지침)에 맞춘 확장판이 제안되기도 했다는 점도 관련 문헌을 읽을 때 참고할 만합니다.

주의할 점

AGREE II는 지침이 "얼마나 잘 만들어진 절차를 거쳤는가"를 평가하는 도구이지, 지침에 담긴 개별 권고사항이 임상적으로 옳은지를 판단하는 도구는 아닙니다. 권고의 근거 수준과 강도를 매기는 작업은 별도로 GRADE 접근법을 사용합니다.

관련 용어