Journal of Korea Technology Innovation Society (기술혁신학회지)

Korea Technology Innovation Society (한국기술혁신학회)
권호 표지

Developments of Evaluation System for Qualitative Performance Measurement in Government-Supported Research Institute by Article Citation Method

피인용 특성 분석을 통한 출연(연) 임무중심형 기관평가의 질적 성과평가 개선 방향

  • Received : 2016.10.04
  • Accepted : 2016.12.29
  • Published : 2016.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study started from the awareness of the issue if the citation index newly introduced to evaluate the quality of papers satisfies the proper timing matter, which is a component of performance indicators for the evaluation of government-funded R&D institutes. Accordingly, the study will propose improvement ways to shift the previous evaluation system to quality evaluation for mission-oriented R&D institutes by analysing and using the periodical characteristics such as citation half-life and immediacy index of papers. As a result, it turned out that the speed of academic change is getting faster in proportion to the dependency on the technological development but that the citation speed in the field of public technology is relatively slower and the speed of knowledge transfer in the fields related to industry is faster. In addition, the citation index among the R&D fields showed no differences, and the minimum period for citation index measurement with validity should be over 6 years. The problems of evaluation for mission-oriented R&D institutes were deducted based on the technical and statistical analysis results of the temporal characteristic of citation necessary for quality evaluation of performance among R&D fields. To solve the problems, policy alternatives for object and valid quality evaluation were proposed from the points of evaluation period and evaluation criteria.

본 연구는 과학기술계 정부출연 연구기관 평가에서 논문의 질적 평가를 위해 새로 도입된 피인용도 지표가 성과지표의 구성요건 중 적시성을 충족할 수 있는가라는 문제의식에서 출발하였다. 이에 피인용 반감기와 즉시성 지수 등 논문의 주기적 특성을 분석 활용하여 실질적인 질적 성과체계로 전환하기 위한 기관평가의 개선방향을 제시하고자 한다. 연구 결과는 기술의 발달과 의존성이 높아짐에 따라 학문의 변화속도 또한 빠르게 변화하고 있으나, 공공기술은 타 분야에 비해 인용속도가 느리고, 산업과 연관된 분야는 지식이전 속도가 빠른 것으로 분석되고 있다. 또한, 학문분야 특성에 따른 피인용 주기는 차이가 없었으며, 각 분야의 질적으로 우수한 논문의 평가 시 피인용 지수의 타당성을 확보하기 위해서는 6년 정도의 기간이 누적된 데이터가 필요한 것으로 분석되었다. 분야별 질적 성과평가를 위해 필요한 피인용의 시간적 특성을 기술통계적으로 도출한 결과를 반영하여 임무중심형 연구기관 평가의 문제점을 도출하였다. 이를 개선하기 위한 객관적이고 타당한 질적 평가를 위한 정책적 개선방향을 제시하였다.

Keywords

References

  1. 강대신.문성빈 (2009), "연구성과의 질적 평가를 위한 계량정보학적 분석에 관한 연구", 정보관리학회지, 26(3): 377-394.
  2. 구자영 (1975), "한국 화학자의 연구정보원 : 인용연구", 한국문화연구원논총, 22: 111-133.
  3. 국가과학기술심의회 (2014), 2015년 국가연구개발 성과평가 실시계획(안).
  4. 국가과학기술연구회 (2014), 국가과학기술연구회 소관 연구기관 임무 정립보고서.
  5. 김승태.김성진.황덕규.이기종 (2009), "국가연구개발사업 성과평가 제도개선을 위한 정책적 시사점 도출 : 평가자 및 평가대상자 대상 설문결과를 중심으로", 한국정책분석평가학회 2009년 하계학술대회 발표논문집, 109-131.
  6. 김완종 (2012), "한국 과학기술 논문의 인용속도 및 인용빈도에 영향을 미치는 서지 요인에 관한 연구", 한국문헌정보학회지, 46(4): 285-309. https://doi.org/10.4275/KSLIS.2012.46.4.285
  7. 김흥렬 (2003), "과학기술문헌의 인용분석 연구", 정보관리학회지, 20(4): 1-21. https://doi.org/10.3743/KOSIM.2003.20.4.001
  8. 김흥범.최문정 (2009), "국가연구개발사업 평가의 질적 지표 적용방안", 한국정책학회 2009년 동계학술대회 발표논문집, 63-83.
  9. 남영준.서현정.김규환 (2011), "우리나라 토목공학분야 연구자의 인용형태에 관한 연구", 정보관리학회지, 28(4): 201-220. https://doi.org/10.3743/KOSIM.2011.28.4.201
  10. 미래창조과학부 (2013), 국가연구개발사업 표준성과지표(개정안) : 성과목표.지표 설정 가이드라인, 서울.
  11. 박지영 (2012), "피인용 횟수의 가중치 부여 및 피인용 횟수의 표준편차와 논문수 적용이 KCI기반 학술지 평가에 미치는 영향에 관한 연구", 성균관대학교 대학원 석사학위 논문, 서울.
  12. 백종윤 (2009), "동료평가의 예측가능성 연구 : 학술지 게재논문 평가를 중심으로", 한국공공관리학보, 23(4): 383-399.
  13. 소민호.고성순 (2008), "과학기술분야 학술잡지의 반감기 측정에 의한 소장가치 연구", 한국도서관 정보학회지, 39(4): 377-395.
  14. 서규원.김민원.정효석 (2014), 국가연구개발사업 질적 성과지표의 세부 측정방법론, 한국과학기술기획평가원, 서울.
  15. 서은경 (1993), "구문.통계적 기법을 이용한 한국어 자동색인에 관한 연구", 정보관리학회지, 18: 97-124.
  16. 신은자 (2009), "생물학 학술지 즉시성지수(Immediacy Index)의 영향 요인에 관한 연구", 정보관리학회지, 26(4): 169-185. https://doi.org/10.3743/KOSIM.2009.26.4.169
  17. 오동훈.김영준.김용정 (2013), "상대적 순위보정지수를 활용한 주요국의 SCI 논문질적 수준 비교분석", 기술혁신연구, 21(1): 85-108.
  18. 유승준 (2011), 국가연구개발사업 평가 역량강화 및 발전방안 연구, 한국과학기술기획평가원, 서울.
  19. 유승훈.이종식.김상태 (2009), "연구개발과제의 양적, 질적 성과분석지수 개발 : IT핵심기술개발사업을 중심으로", 기술경영경제학회 2009년 동계학술대회 발표논문집, 413-433.
  20. 유재복.김재호 (2010), "논문 인용의 영향요인 분석", KSLA bulltin, 2: 16-27.
  21. 윤석경 (2007), "인용분석에 의한 행정학분야 학술지의 특성", 한국공공관리학보, 21(3): 113-139.
  22. 이가종 (1996), "인용분석과 과학적 연구업적평가의 이론적 고찰", 과학기술정책, 85: 26-35.
  23. 이가종.윤석경 (1996), "학술지 인용분석에 관한 연구", 한국행정학보, 30(2): 97-112.
  24. 이찬구 (2009), "연구기관 평가의 실증분석 : 평가 참여자의 인식차이를 중심으로", 기술혁신학회지, 12(1): 36-69.
  25. 이혁재.여운동.이상필 (2006), "연구성과의 질 제고를 위한 논문평가 모형개발", 한국기술혁신학회지, 9(3): 538-557.
  26. 이효숙 (1979), "인용 문헌 연구 : 한국 미생물학 분야를 중심으로", 이화여자대학교 대학원 석사학위 논문.
  27. 에버트 비둥(이경옥 옮김) (1995), 정책평가개론, 한울아카데미.
  28. 조현양.조현선 (2005), "주요 4개 공학분야 연구자의 문헌인용 형태 연구", 정보관리연구, 36(2): 1-24.
  29. 정우성.양현채 (2013), 과학계량학 연구동향 및 과학기술 정책분야 응용가능성, 한국과학기술기획평가원, 서울.
  30. 정진완.문수복.민상렬.이재용.최진영 (2004), "SCI : 과연 정보과학분야에서도 유효한 연구업적 평가척도인가", 정보과학회지, 22(8): 70-76.
  31. 최상기 (1996), "한국과 일본의 기계공학 분야의 인용분석 비교연구", 한국정보관리학회, 25: 121-141.
  32. 최승주 (1984), "전자계산학문헌에 대한 계량서지학적 연구", 중앙대학교 대학원 석사학위 논문, 서울.
  33. 한국연구재단 (2012), 국내 연구 환경에 적합한 KCI 기반 학술지 복합인용지표 개발 및 연구업적 평가 적용방안 연구, 대전.
  34. 한국산업기술재단 (2006), 미국의 연구개발 프로그램 평가 방법 및 체계 분석, 서울.
  35. 한복희 (1977), "원자력학분야 학술잡지(국내)의 인용분석", 도서관문화, 18(7): 2-6.
  36. 허정은.김해도.조영돈.조석민.조순로 (2008), "국가연구개발사업의 과학적 성과분석을 위한 새로운 계량지표 개발에 관한 연구", 한국기술혁신학회지, 11(3): 376-399.
  37. 사이언스온, "개인연구 평가에 저널인용지수 남용말라", http://scienceon.hani.co.kr/102455 (2013.5.).
  38. Burton, R. E. and Kebler, R. W. (1960), "The 'Half-Life' of Some Scientific and Technical Literatures", American Documentation, 11(1): 18-22. https://doi.org/10.1002/asi.5090110105
  39. Chubin, D. E. and Hackett, E. J. (1990), Peerless Science: Peer Review and US Science Policy, Suny Press.
  40. COSEPUP (The Committee on Science, Engineering, and Public Policy) (1999), "Evaluating Federal Research Programs: Research and the Government Performance and Results Act", Committee on Science, Engineering, and Public Policy, National Academy of Science, Washington, DC.
  41. Fu, L. D. and Aliferis, C. F. (2010), "Using Content-based and Bibliometric Features for Machine Learning Models to Predict Citation Counts in the Biomedical Literature", Scientometrics, 85(1): 257-270. https://doi.org/10.1007/s11192-010-0160-5
  42. Kostoff, R. N. (1995), "Federal Research Impact Assessment: Axioms, Approaches, Appliactions", Scientometric, 34: 163-205. https://doi.org/10.1007/BF02020420
  43. Kostoff, R. N. and Geisler, E. (1999), "Strategic Management and Implementation of Textual Data Mining in Government Organizations", Technology Analysis & Strategic Management, 11(4): 493-525. https://doi.org/10.1080/095373299107302
  44. Pouris, A. (1988), "Peer Review in Scientifically Small Countries", R&D Management, 18(4): 333-340. https://doi.org/10.1111/j.1467-9310.1988.tb00608.x
  45. Prewitt, K. (1982), "The Public and Science Policy", Science, Technology, and Human Values, 7(39): 5-14.
  46. Chan-goo, Y. (2003), "The National R&D Evaluation System in the UK: Meta-evaluation and Applicability to the Korean Case", The Uni of Manchester, Ph D. Thesis.
  47. Yi, H., Ao, X. and Ho, Y. S. (2008), "Use of Citation per Publication as an Indicator to Evaluate Pentachlorophenol Research", Scientometrics, 75(1): 67-80. https://doi.org/10.1007/s11192-007-1849-y
  48. Merton, R. K. and Zuckerman, H. (1973), "Institutionalized Patterns of Evaluation in Science", The Sociology of Science, 460-496.