연구평가 개혁 (Research Assessment Reform)

한 줄 정의: 논문 수나 학술지 영향력지수(IF) 같은 양적 지표에 지나치게 의존해온 기존 연구 평가 방식을 개선하여, 연구의 질과 사회적 영향력을 더 폭넓게 평가하려는 움직임.

쉽게 풀면

그동안 연구자를 평가할 때는 논문을 몇 편 냈는지, 어느 학술지에 실렸는지, 그 학술지의 영향력지수는 얼마인지 같은 숫자들이 중요한 기준이었습니다. 하지만 이런 방식은 연구의 실제 질이나 사회적 가치보다 '숫자 채우기'를 부추긴다는 비판을 받아왔습니다. 연구평가 개혁은 이런 문제를 인식하고, 연구의 재현성, 데이터 공개, 사회적 영향 등을 종합적으로 평가하는 방향으로 바꾸려는 움직임입니다. 샌프란시스코 연구평가선언(DORA)이 대표적인 국제적 움직임입니다.

왜 중요한가

연구 평가 방식은 연구자가 실제로 어떤 연구를 하게 되는지에 직접 영향을 미치는 유인구조입니다. 논문 편수나 영향력지수 중심의 평가가 지속되면 재현성이 낮더라도 자극적인 결과를 빨리 많이 내는 쪽으로 유인이 쏠릴 위험이 있어, 앞서 논의된 재현성 위기와도 밀접하게 연결됩니다. 이 때문에 연구평가 개혁은 과학정책학뿐 아니라 오픈사이언스, 학술출판 윤리 논의에서도 중요한 상위 의제로 다뤄집니다.

논문에서는 이렇게 쓰입니다

"본 연구는 연구평가 개혁 논의에서 제시된 책임있는 계량서지학 원칙이 국내 대학 평가제도에 미친 영향을 분석하였다."

연구자 평가, 학술 생태계 개혁을 다루는 과학정책 연구에서 최근 활발히 논의되는 주제이다.

"채용 및 승진 심사에서 논문 수 대신 대표 연구성과 서술 방식을 도입한 기관들의 사례를 비교 분석하였다."

인사정책 맥락에서, 편수 위주 평가 대신 연구자가 직접 자신의 대표 성과를 서술하도록 하는 방식을 도입한 기관들의 변화를 살펴본 사례입니다.

"연구비 지원기관이 평가 기준에 데이터 및 코드 공개 여부를 포함시킨 이후 신청 과제의 투명성 관행이 어떻게 변화했는지 조사하였다."

연구비 지원 정책 맥락에서, 평가 기준 자체를 바꾸는 것이 연구자들의 실제 투명성 관행에 미치는 영향을 살펴본 사례입니다.

조금 더 깊게 보면

연구평가 개혁 논의에서는 흔히 양적 지표 자체를 없애기보다, 지표를 사용하는 방식을 바꾸는 데 초점을 둡니다. 예를 들어 특정 논문이 실린 학술지의 영향력지수를 그 논문 개별 연구자의 능력 평가에 직접 대입하는 관행을 지양하고, 논문 각각의 내용과 기여도를 직접 검토하도록 권고하는 식입니다. DORA 선언 외에도 라이덴 매니페스토(Leiden Manifesto)처럼 계량서지 지표를 책임 있게 사용하기 위한 원칙을 제시하는 문서들이 함께 논의되며, 이런 원칙들은 대체로 지표를 보조 수단으로만 활용하고 최종 판단은 사람의 정성적 심사에 맡길 것을 강조합니다.

주의할 점

정성적 평가로 전환하려는 시도는 평가자의 주관 개입과 평가 비용 증가라는 새로운 과제를 낳을 수 있다.