과학기술자들의 연구 성과, 제대로 평가받으려면[동아광장/이성주]

상용화 이전 과학기술 논문, 평가 쉽지 않아
논문 인용횟수 평가도 소수 분야 등에 불리
정성 평가로 보완하고 심사 전문성 확보해야

이성주 객원논설위원·서울대 산업공학과 교수

지난달 29일 한국과학기술단체총연합회(과총)가 개최한 2022년 대한민국 과학기술 연차대회에서 총 248편의 논문이 과학기술우수논문상을 수상했다. 과총 소속 학회에서 발행하는 국내 학술지 논문 중 한 편을 학회에서 추천하고 과총에서 심사하여 수상자가 선정되는데, 각 학회별로 우수논문을 선정하고자 깊은 고민을 했을 것이다. 누리호 발사나 폴더블 디스플레이와 같이 과학기술이 가시적 성과로 표현되는 경우에는 그 우수성을 평가하는 것이 비교적 쉽다. 반면 과학기술이 아직 제품이나 서비스로 구현되기 이전 단계인 논문의 평가는 쉽지 않다.

이에 논문의 가치를 평가하고자 활용되는 지표가 인용횟수이다. 논문의 참고문헌 정보를 활용하면 특정 논문이 후속연구에 얼마나 활용되었는지 분석할 수 있다. 즉, 후속연구의 참고문헌 리스트에 많이 언급된 논문일수록 그 가치가 높은 것이다. 그러나 논문이 후속연구에 인용되기 위해서는 꽤 오랜 시간이 소요된다. 따라서 논문이 아니라 논문이 발표된 학술지의 우수성을 나타내는 JIF(Journal Impact Factor)를 통해 학술지에 발표된 논문의 우수성을 추정하곤 한다.

JIF는 학술지의 영향력을 평가하고자 1955년 제안된 후 지금은 클래리베이트사에 의해 매년 발표되고 있다. 계산방법은 간단하다. 2021년 발행된 학술지에 실린 논문들이 그에 앞서 2년간(2019∼2020년) 학술지A에 실린 논문을 인용한 횟수가 1000회이고, 동일기간 학술지A에 실린 논문이 200편이라면, 학술지A의 2021년도 JIF는 5가 된다. 2021년 자료가 필요하므로 2021년 JIF는 2022년에 발표된다. 특히 작년부터는 학술지에 정식 게재되기 전 온라인상에서 공개된 Early Access 논문에 대해, 온라인 공개 시점을 기준으로 JIF를 계산함에 따라 많은 학술지들의 JIF가 크게 올라갔다. 이렇게 계산된 네이처의 2021년 JIF는 무려 69.504이다.

원래 이 지표는 도서관에서 학술지 구매에 참고하고자 만들어졌으나 지금은 학술지의 수준을 평가하고 더 나아가 학술지에 발표된 논문의 수준을 평가하는 데 적용되고 있다. 특히 연구실적에 대한 평가가 얼마나 많은 논문을 발표했는지에 초점을 맞추던 양적평가에서 얼마나 우수한 논문을 발표했는지를 강조하는 질적평가로 변화하며, JIF는 우수논문 평가에 중요한 기준으로 생각되어 왔다. 그러나 언뜻 합리적으로 보이는 이 방법은 사실 여러 문제가 있다.

첫째는 인용정보 자체가 갖는 문제이다. 후속연구에의 활용도는 분야의 규모에 따라 다르다. 예를 들어, 생명과학이나 의학 분야는 관련 연구자의 수가 많은 만큼 JIF가 높다. 이 문제를 해결하고자 분야별 JIF 값을 상대적으로 평가하여 등수를 내고 있으나 분야가 작으면 여전히 불리하다. 고교내신에서 전교생의 수가 작으면 아무리 우수한 성적으로 1등을 해도 전체의 4%까지만 주는 1등급을 받기 어려운 것처럼 말이다. 게다가 JIF 값은 인용된 횟수가 극단적으로 높은 일부 논문에 의해 결정되기도 한다. 따라서 JIF가 높은 학술지라고 해서 그 학술지에 실린 모든 논문이 동일하게 우수하다 말하기는 어렵다.

둘째는 연구의 질을 인용정보로 측정함으로써 생기는 문제이다. 예를 들어, 선행연구를 정리하는 리뷰논문의 경우 연구의 질과 무관하게 인용되는 횟수가 높다. 그 결과 리뷰논문이 많이 실리는 학술지의 JIF는 높아질 가능성이 있다. 연구의 우수성을 후속연구에의 영향력으로만 한정하는 것도 문제이다. 연구의 우수성은 과학기술적 영향뿐 아니라 사회경제적 영향을 고려해야 하는데 인용횟수만 가지고 이 모두를 고려하는 것은 한계가 있기 때문이다.

다행인 것은 JIF보다는 학술지의 전통과 철학을 더 중요하게 생각하는 연구자들이 많다. 또한 기술적으로 JIF를 높이려는 노력보다 학술지의 방향을 설정하는 데 가치 있는 노력을 기울이는 학술지도 많다. 특히 우리나라는 BK21 사업을 중심으로 연구평가 방법을 개선하려는 노력을 지속해 왔다. JIF 외에 분야별 차이를 반영한 지표 여러 개를 활용함으로써 정량평가의 공정성을 높이고, 동시에 전문가 정성평가를 통해 지표만으로는 측정되지 않는 연구의 질을 평가하려는 것이다. 다만 이러한 개선방안이 신뢰성을 얻기 위해서는 해당 분야 연구의 우수성을 객관적으로 평가할 수 있는 국내외 전문가 그룹이 확보되어야 한다. 이러한 모든 노력이 더해졌을 때 비로소 과학기술자들의 연구성과가 제대로 평가받는 학술생태계가 구축될 것이다.