[‘KCI 지수’로 분석한 대한민국 학계 현주소]<下>“질적 향상” 변화를 모색하다

“인용 제로 학술지마저 세금 나눠먹기… 엄격한 평가 계기로”

크게보기

“다작보다 영향력 있는 논문 한 편이 낫죠.”(조용성 고려대 대외협력처장)

“글로벌 평가 기준에 맞추려면 논문을 질적으로 평가할 인프라가 있어야죠.”(조준모 성균관대 교무처장)

학계는 한국연구재단이 공개한 한국학술지인용색인(KCI) 논문인용지수(IF·Impact Factor)에 반색했다. 양이 아닌 질로 논문을 평가할 기준이 새로 나왔다는 데 의미를 부여했다. 논문 수만을 늘려 학문 연구의 토양을 갉아먹는 일은 이제 막아야 한다는 데 공감대가 확산될 것으로 전망된다.

○ 논문 질 평가하는 추세 확산

김인세 부산대 총장은 “박수 쳐 줄 일”이라고 환영했다. 그는 “자연계는 과학기술논문인용색인(SCI)을 통해 양적 질적으로 연구 성과를 평가받았지만 인문계는 논문 수만으로 평가해야 하는 한계가 있었다. 한계를 보완할 지표가 개발됐으니 앞으로 적극 활용하겠다”고 밝혔다.

KCI 인용지수가 처음으로 동아일보에 보도되자 대학은 발 빠른 움직임을 보였다. 논문 평가 방식의 많은 문제점을 체감하면서 대안을 고심한 결과다.

중앙대가 대표적. 이 대학은 교수 연봉제를 실시해 업적 평가가 상대적으로 까다롭다. 정교수로 승진하려면 5년간 논문 점수 750점 이상을 확보해야 한다.

하지만 인용지수를 볼 수 있는 해외 학술지와 달리 국내 학술지에 실린 논문은 연구 역량을 평가할 수 없어 논문 수로만 점수를 매겼다. 그나마 KCI 등재지에 실린 논문만 인정했다. 이 학교 관계자는 “평가하는 쪽과 평가받는 쪽 모두가 인정할 만한 객관적 지표가 필요했다. 앞으로는 KCI 인용지수를 활용해 논문 영향력도 평가에 반영할 수 있게 됐다”고 전했다.

학계는 KCI 인용지수가 대학 평가와 교수 임용에 큰 영향을 미칠 것으로 본다. 조준모 성균관대 교무처장은 “KCI 인용지수를 대폭 반영하는 쪽으로 대학의 인사 관리가 변해갈 게 분명하다. 논문의 질을 반영하는 추세로의 신호탄을 마련한 것”이라고 분석했다.

○ 국내 연구는 인정 안 하는 풍토 탓

이번 조사를 계기로 대학 부설 연구소는 영향력 낮은 논문을 쏟아내는 시스템에서 탈피해야 한다는 지적을 받고 있다. 대학 부설 연구소에서 발행하는 학술지는 120여 종. 많게는 20편 이상의 논문을 매년 게재하지만 단 한 번도 인용되지 않는 논문이 대부분이다.

실제로 17종의 학술지에 실린 논문은 2008년에 한 번도 인용되지 않았다. 서울대의 경우 교육종합연구원 사회발전연구소 라틴아메리카연구소 경영대학부속경영연구소가 여기에 포함됐다. 고려대 ‘중국학연구소’, 이화여대 ‘국제통상협력연구소’, 한국외국어대 ‘국제지역연구센터’, 한양대 ‘경제연구소’ 등 유명 대학의 연구소도 마찬가지.

서울대 사회발전연구소의 장경섭 소장은 국내 학술지의 인용지수가 낮은 배경으로 국내 학문 풍토를 꼽았다. 장 소장은 “국내 연구 성과를 인정하지 않는 풍토가 있다. 논문을 참고해도 국내 논문보다는 해외 논문을 참고한다. 주제를 고를 때도 국내 학계에서 고민할 문제가 아니라 해외 학술지가 주목할 만한 주제를 택한다”고 꼬집었다. 이런 악순환이 계속되다 보니 국내 학술지의 인용도는 계속 떨어지고, 궁극적으로는 학문 공동체 전체가 침체된다는 지적이 나온다.

○ 출판비 나눠주기 비판

연구 수준을 높이기 위해서라도 부실한 학술지를 엄격히 관리해야 한다는 목소리가 높다.

정부는 1000곳이 넘는 학회의 학술지를 위해 연간 50억 원 이상을 지원했다. 2007년에는 48억4000여만 원(902개 학술지), 2008년에는 55억5000여만 원(1020개 학술지)이었다.

학술지의 영향력과 질적 수준에 대한 평가절차 없이 예산을 지원하는 실정이어서 ‘출판비 나눠주기’라는 비판이 나온다. 학술지 하나당 500만 원 정도를 지원하는 셈. 학술지가 늘어남에 따라 정부 지원액도 계속 늘어나는 추세다. 국내 학술지는 2010년에 1984종, 정부의 학술지 지원액도 71억 원으로 증가했다.

등재 및 등재후보 학술지가 신청할 수 있고 발간 계획에 큰 문제가 없으면 대부분 비용의 50% 이상을 지원받는다. 전년도 계획과 실제 발간실적에 큰 차이가 없으면 계속해서 지원을 받을 수 있다.

한 대학교수는 “지원금으로 1년에 한 번씩 학술지만 내면서 이름을 유지하는 학회도 적지 않다. 정당한 평가를 거쳐 차등으로 지원하는 방법이 필요하다”고 말했다.

강혜승 기자 fineday@donga.com@@@
남윤서 기자 baron@donga.com@@@
최예나 기자 yena@donga.com@@@
▼ ‘KCI 지수 개발’ 나는 이렇게 생각한다 ▼

○ “연구 質도 따질 수 있어 긍정적… 교수평가 활용”
박우희 세종대 총장

연구를 위한 연구가 아니라 다른 사람의 연구를 선도할 수 있는 연구를 해야 한다. KCI 인용지수는 아주 긍정적이다. 세종대는 인문사회과학 분야의 교수평가 및 임용·승진에 이 지수를 적극 활용할 계획이다.

세종대는 비전 2020의 하나로 올해부터 교수평가제(S·A·B·C 4등급)를 도입했다. 연구를 잘하는 교수에게 인센티브를 주기 위해서다. 이공계열은 이미 인센티브와 연구업적에서 SCI 인용지수에 따라 차등을 뒀다.

그러나 인문사회계열은 그럴 수 없었다. 평가 잣대인 인용지수가 없기 때문이다. 그 대신 등재 학술지는 A급, 등재후보 학술지는 B급 정도로 나눠 차등화했다.

이제는 교수의 성과를 양과 질 모두 볼 수 있게 됐다. 예를 들어 정교수 승진을 위해 논문 10편을 써야 한다면 인용지수 상위 10%에 드는 논문이 최소한 1편은 있어야 한다는 식이다.

KCI 인용지수가 낮게 나올 수밖에 없던 이유가 있었다. 아무리 좋은 논문이라도 국내 논문은 멀리하는 풍조가 있었기 때문이다. 그만큼 국내 학술지나 논문에 대한 신뢰가 없다는 말이다. 학계 전체가 발전해야 KCI 인용지수가 올라갈 수 있다.
○ “교수 서바이벌 시대? 인용 횟수로만 평가 한계”
한건수 강원대 교수

요즘 세간의 화제는 서바이벌 형식의 방송프로그램이다. 가수나 연예인 지망생뿐만 아니라 디자이너나 아나운서 같은 전문직 지망생도 서바이벌 형식을 통한 생존경쟁으로 순위를 매기는 프로그램이 인기를 얻고 있다.

최근 논란이 된 ‘나는 가수다’라는 프로그램을 보고 동료 교수들과 “이러다가는 대학의 연구 평가도 ‘나는 교수다’라는 이름의 서바이벌 형식으로 해야 하는 것 아니냐”고 농담을 한 적이 있다.

교수의 연구나 교육 내용을 평가하는 일 자체를 부정할 수는 없으나 형식과 지표에 대해서는 다양한 반론과 비판이 나온다. 분야별 특성이나 교수의 연구 주제에 따라 비교할 수 없는 대상을 계량적 통계로 무리하게 비교함으로써 논문의 양적 팽창만 초래할 뿐 연구의 진정성과 심화 수준은 오히려 퇴보시킨다는 지적도 있다.

KCI지수가 이런 문제를 보완하는 의미가 있음은 분명하나 이 역시 한계가 있음을 인정해야 한다. 시류에 따라 주목받거나 국내 학계에서 인기 있는 주제가 아니라서 관심이 적고, 따라서 다른 연구자가 잘 인용하지 않을 수도 있다.

정말 중요하고 의미 있는 연구를 묵묵히 수행하는 많은 연구자가 인용횟수와 관계없이 자신의 연구 결과만으로 제대로 된 평가를 받을 수 있어야 한다.

(인문 사회과학 분야에서 가장 많이 인용(26회)된 논문 ‘농촌 지역 결혼 이민자 여성의 가족생활과 갈등 및 적응’의 저자)
○ “논문양산 대학도 책임… 인용 남발 부작용 우려도”
김기덕 건국대 교수

이번 조사는 2006∼2007년의 논문을 대상으로 했다. 인용 횟수는 참고문헌을 기준으로 했다. 역사학에서 가장 오래된 학술지인 ‘역사학보’ ‘한국사연구’ ‘역사와현실’은 참고문헌을 달지 않았다. ‘역사와현실’은 어떤 학술지보다 먼저 등재지로 선정됐고 최우수로 평가받는데 참고문헌은 2009년부터 붙였다.

최근에는 모든 학술지가 참고문헌을 넣으므로 앞으로의 분석결과는 달라질 것이다. 논문의 양적 평가보다는 인용횟수와 연동하여 질적 평가로 가야 한다는 기본 방향에는 동의한다. 다만 분석결과를 처음으로 내놓으면서 세부적으로 문제가 있음을 지적하는 것이다.

생각해보자. 국가와 대학이 지난 10년 동안 대학교수에게 얼마나 가혹한 논문생산을 요구했는가. 교수들은 이런 방향이 대학의 발전을 가져온다고 보고, 나름의 노력을 통해 학회지와 학술논문을 양산했다. 헛된 노력 혹은 실적 늘리기 등으로 희화화해서는 안 된다.

참고문헌의 문제만이 아니다. 양적 성장은 질적 성장을 위해 학계가 거쳐야 할 과정이다. 그 과정에서 쪼개고 끼워 넣는 엉터리 논문도 있을 것이다. 이러한 부작용은 어디엔들 없을까.

나는 또 다른 부작용을 우려한다. 모든 연구자가 참고문헌을 과도하게 작성할 가능성이다. 자기 논문을 인용하는 횟수도 급증할 것이다. 좀 더 세심하게 한국적 환경과 평가방식을 고려하면서 질적 평가라는 목표를 제고하는 방안을 모색해야 한다.