[프리미엄 리포트]“유명저널 게재 목표치 내라”… 창의성보다 숫자위주 평가

[3대 과학저널 한국인 논문 분석]과학자들이 말하는 문제점

크게보기

《 “노벨상이나 그에 준하는 유명한 학술상의 경우 그 연구 결과가 ‘네이처’나 ‘사이언스’보다는 해당 분야의 전문 학술지에 게재된 경우가 더 많다.”(조길원 포스텍 화학공학과 교수)

동아일보 취재팀이 인터뷰한 국내 과학자 20명의 목소리는 한결같았다. 피인용 지수에 대한 지나친 의존도와 정량 평가라는 국내 과학계의 고질적인 병폐를 고치지 않으면 창의적인 연구는 요원하다는 것이다. 》

○ ‘피인용 지수’ 의존 심각

우선 연구자 개인을 평가하는 데 피인용 지수에 대한 가중치를 너무 많이 둔다는 지적이 가장 많이 나왔다. 저널의 영향력을 나타내는 피인용 지수는 학술 정보 서비스 기업인 톰슨로이터가 만든 것으로 당초 도서관이 저널 구입 여부를 판단할 수 있도록 가이드라인을 제공할 목적으로 개발됐다.

오세정 서울대 물리천문학부 교수는 “피인용 지수가 논문의 과학적 가치를 평가하는 잣대로 변질됐다”면서 “노벨 물리학상을 받은 연구자의 논문도 대부분 피인용 지수가 그다지 높지 않은 물리 전문 저널에 발표됐다”고 말했다. 지난해 청색 발광다이오드(LED)를 개발해 노벨 물리학상을 받은 논문은 피인용 지수가 1.057인 ‘일본 응용물리학저널’ 등에 발표됐다. 세계 3대 저널인 네이처, 사이언스, 셀의 피인용 지수는 30∼40 수준이다.

이재영 광주과학기술원(GIST) 환경공학부 교수는 “피인용 지수는 저널 편집장들이 논문의 개수를 제한하거나 좋은 리뷰 논문을 게재하는 방식 등으로 얼마든지 높일 수 있다”면서 “임상시험 결과를 반드시 인용해야 하는 의학 저널은 대체로 영향력 지수가 높다”고 말했다. 의학 분야의 최고 권위지로 꼽히는 ‘뉴 잉글랜드 저널 오브 메디신(NEJM)’의 경우 2013년 피인용 지수는 51.658이었다.

평가 지표가 피인용 지수로 쏠리는 경향은 미국 등 과학 선진국에서도 문제로 인식되고 있다. 2012년 미국 샌프란시스코에서 열린 ‘미국 세포생물학회’에서는 과학자들과 저널 편집장들이 피인용 지수 산출 과정이 투명하고 공개적으로 진행되지 않는다는 점 등을 들어 연구자나 논문을 평가할 때 피인용 지수에 의존하지 말자는 내용의 ‘샌프란시스코 연구 평가 선언문(DORA)’을 채택하기도 했다.

○ 정량화된 획일적인 평가 잣대

저널에 실린 논문 수나 논문의 피인용 지수 등 획일적인 잣대로 연구자를 평가하는 정량적인 방식에도 우려의 목소리가 높았다. 가령 중견 연구자들이 주로 지원하는 창의연구사업의 경우 연구계획서에는 ‘정량적 목표’를 쓰는 표가 있다. 표에는 매년 국내, 국외 저널에 논문을 몇 편씩 게재할 것인지 숫자를 요구하는데, 이 기준은 연구비 10억 원당 피인용 지수가 상위 10% 이내인 저널에 싣는 논문 수로 한정하고 있다.

유룡 기초과학연구원(IBS) 나노물질·화학반응연구단장(KAIST 화학과 교수)은 “연구비를 많이 지원받을수록 좋은 저널에 논문을 내는 건 당연하다”면서도 “목표를 달성하지 못하면 다음 단계에서 연구비를 지원받을 수 없기 때문에 창의적이고 도전적인 연구보다는 안전한 연구를 하게 되기 쉽다”고 말했다.

김지현 연세대 시스템생물학과 교수는 “1년에 논문 한두 편 쓰는 연구자가 10편 쓰는 연구자보다 연구 능력이 꼭 떨어진다고 볼 수 없다”면서 “‘H-지수(개별 연구자의 논문 인용 횟수를 기준으로 영향력을 나타낸 수치) 등 연구자 개인의 영향력 지수가 평가 기준에 포함될 필요가 있다”고 밝혔다.

최근에는 정량적인 지표를 기준으로 삼는 데서 그치지 않고 계량화하는 추세가 강화되고 있다. 최만수 서울대 기계항공공학부 교수는 “BK사업의 경우 ‘평가 방정식’을 하나 만들어 놓고 거기에 해당 숫자만 대입하면 자동으로 점수가 계산이 되고 평가가 끝난다”면서 “평가에서 과학자나 연구의 전문성은 전혀 고려되지 않고 있다”고 말했다.

○ 전문 저널 불용(不容) 문화

연구 분야별로 최고로 꼽히는 저널에 대한 평가가 야박하다는 지적도 많았다. 천정희 서울대 수리과학부 교수는 “수학계 최고 저널인 ‘수학연보(Annals of Mathematics)’에는 1년에 논문이 50편가량 게재되는데, 이는 매년 수학계 전체 논문의 0.2% 정도”라면서 “유능한 수학자들 중에도 이 저널에 논문을 싣지 못한 경우가 수두룩하다”고 말했다.

한정호 충북대 천체물리학과 교수는 “해당 분야의 전문 저널 100개보다 피인용 지수가 높은 저널 1개를 더 쳐주는 경우도 있다”면서 “전문 저널의 가치를 인정하는 문화가 정착돼야 한다”고 말했다.

이상엽 KAIST 교수는 “대사공학을 연구하는 입장에서는 ‘네이처 바이오테크놀로지’처럼 해당 분야에서 전 세계 학자들이 경쟁적으로 연구 성과를 싣는 저널을 ‘톱’으로 꼽는다”고 말했다.

:: 임팩트 팩터 (Impact Factor·피인용 지수) ::

저널의 영향력을 나타내는 수치. 특정 기간 중 논문이 인용된 횟수 등을 통해 계산하며, 저널의 수준을 평가하는 척도로 활용된다. 피인용 지수는 매년 값이 바뀐다. 2013년 기준 ‘네이처’의 피인용 지수는 42.351, ‘사이언스’는 31.447, ‘셀’은 33.116이었다.

▼ 美과학재단 ‘모험연구’ 집중지원… 노벨상 214명 ▼

한국과 다른 과학 선진국들
저널보다 해당 전문가 평가 우선… 동료학자 ‘피어 리뷰’ 시스템 정착

미국과학재단(NSF)은 기초과학 연구 전략을 설계하고, 연구비를 관리하며 집행하는 중추 기관이다. 미국과학재단이 자체 집계한 바에 따르면 지난해까지 재단 지원을 받거나 연구에 참여했던 과학자 가운데 214명이 노벨상을 받았다.

이 같은 분위기는 미국과학재단이 오랫동안 모험 연구 분야에 적극적으로 투자하는 전통과 무관하지 않다. 미국과학재단은 ‘소규모 탐색 연구 프로그램(SGER)’을 통해 개별 연구자들이 그간 시도되지 않았던 새로운 발상에 대한 사전 연구나 실패 가능성이 높은 고위험 모험 연구에 뛰어들 수 있도록 지원한다.

서울 소재 한 사립대 교수는 “한국의 정부 연구개발(R&D) 성공률은 세계에서 가장 높은 90% 수준”이라고 말했다. 정부로부터 연구 예산을 지원받으려면 연구계획서를 제출해야 하는데 이때 제출한 목표 가운데 열에 아홉을 달성한다는 얘기다. 하지만 이 교수는 “좋아할 일만은 아니다”라면서 “그만큼 도전적인 시도가 적다는 방증”이라고 말했다.

독일의 대표적인 기초과학 연구소인 막스플랑크연구소는 ‘노벨상 사관학교’로 불린다. 1911년 설립 이후 100여 년간 노벨상 수상자만 34명을 배출했다. 이는 단일기관으로는 세계 최대 기록이다.

막스플랑크연구소는 과학자 연구의 자율성을 보장하는 시스템으로 성공을 거둔 대표적인 사례로 꼽힌다. 연구 평가도 계획서에 있는 대로 성과를 냈는지 확인하기보다는 의미 있는 결과물을 얻었는지 정성적인 평가 위주다.

특히 과학 선진국들은 공통적으로 과학자 동료들이 연구 성과를 평가하는 ‘피어 리뷰(Peer Review·동료 평가)’ 시스템을 운영하고 있다. 미국, 독일, 영국, 프랑스, 일본, 캐나다 등이 모두 동료 평가 시스템을 채택하고 있다.

현택환 서울대 교수는 “해당 분야 전문가들에게 물어보는 게 평가가 가장 정확하다”면서 “국내에서도 동료 평가 시스템을 강화해야 한다”고 말했다.

■ 인터뷰에 응한 한국 과학자 20인

강기석 서울대 재료공학부 교수, 김광수 울산과학기술대(UNIST) 화학과 교수, 김지현 연세대 생명과학부 교수, 김태일 성균관대 화학공학과 교수, 도성재 고려대 지구환경과학과 교수, 박경찬 한국생명공학연구원 책임연구원, 백융기 연세대 의생명과학과 교수, 손기훈 고려대 의과학과 교수, 신희섭 기초과학연구원(IBS) 인지및사회성연구단장, 오세정 서울대 물리천문학부 교수, 유룡 KAIST 화학과 교수, 유범재 한국과학기술연구원(KIST) 책임연구원, 이상엽 KAIST 생명화학공학과 교수, 이재영 광주과학기술원(GIST) 환경공학부 교수, 조길원 포스텍 화학공학과 교수, 천정희 서울대 수리과학부 교수, 최만수 서울대 기계항공공학부 교수, 최춘기 한국전자통신연구원(ETRI) 책임연구원, 한정호 충북대 천체물리학과 교수, 현택환 서울대 화학생물공학부 교수

이현경 동아사이언스 기자 uneasy75@donga.com