샌프란시스코 연구평가선언 (DORA Declaration)

한 줄 정의: 저널 임팩트팩터 등 대체지표만으로 개별 연구자나 논문의 가치를 평가하지 말자고 제안한 2012년 국제 선언입니다.

쉽게 풀면

학생의 실력을 판단할 때 "어느 학원을 다녔는가"만 보고 평가하는 것과 비슷한 상황을 떠올려 보세요. 임팩트팩터가 높은 저널에 실렸다는 이유만으로 논문의 질이나 연구자의 능력을 판단하는 관행이 오랫동안 계속되어 왔는데, DORA(San Francisco Declaration on Research Assessment)는 채용, 승진, 연구비 심사에서 저널 지표 대신 논문의 실제 내용과 기여를 평가하라고 권고하는 선언입니다.

왜 중요한가

DORA는 연구평가 방식 자체를 다루는 메타적 논의이기 때문에, 과학정책·연구윤리·계량서지학(bibliometrics) 분야에서 연구자 평가 제도를 비판하거나 개선안을 제시하는 논문에서 자주 인용됩니다. 임팩트팩터 중심 평가가 연구자의 위험 회피적 태도나 논문 쪼개기 같은 부작용을 낳는다는 문제의식과 연결되어 있어, 오픈사이언스·연구재현성 논의와도 맞닿아 있습니다. 또한 대학과 연구기관의 실제 인사·연구비 심사 정책을 분석하는 실증 연구의 기준점으로도 활용됩니다.

논문에서는 이렇게 쓰입니다

"본 기관은 교원 임용 및 승진 심사에서 DORA(샌프란시스코 연구평가선언) 원칙에 따라 저널 임팩트팩터를 정량적 평가지표로 사용하지 않는다."

이 문장은 해당 기관이 논문이 실린 저널의 명성보다 논문 자체의 질적 기여를 평가 기준으로 삼겠다고 선언했다는 뜻입니다.

"DORA 서명 기관을 대상으로 한 설문 결과, 상당수 기관이 선언에 서명했음에도 실제 평가지침 개정으로 이어지지 않은 것으로 나타났다."

선언에 이름을 올린 기관들이 실제로는 평가 규정을 바꾸지 않은 경우가 많았다는 조사 결과를 보고했다는 뜻입니다.

"연구비 지원기관들은 DORA 원칙을 반영해 지원서 평가 항목에서 저널명 대신 연구의 방법론적 엄밀성을 명시적으로 기재하도록 요구하였다."

연구비 심사 과정에서 저널의 명성이 아니라 연구 방법 자체의 질을 평가 항목으로 삼도록 바꿨다는 뜻입니다.

조금 더 깊게 보면

DORA는 단일 지표가 아니라 평가 관행 전반에 대한 권고이므로, 실제 적용 여부를 살필 때는 서명 여부 자체보다 채용·승진·연구비 심사 지침에 임팩트팩터 같은 저널 단위 지표가 명시적으로 남아 있는지를 함께 확인하는 것이 중요합니다. DORA와 함께 자주 언급되는 대안으로는 개별 논문의 실제 기여도를 서술형으로 평가하는 내러티브 이력서(narrative CV)나, 논문 단위의 인용·활용 데이터를 보는 대안 계량지표(altmetrics) 등이 있으며, 이들은 저널 지표를 논문·연구자 단위 지표로 대체하려는 시도로 이해할 수 있습니다.

주의할 점

DORA에 서명한 기관이라도 실제 평가 관행에서는 여전히 임팩트팩터와 h-지수를 암묵적으로 참고하는 경우가 많아, 선언과 실제 관행 사이의 괴리가 종종 지적됩니다.