• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• Journal of Technology Innovation
• /
• v.30 no.3
• /
• pp.35-64
• /
• 2022

Currently, The budget expenditure for national R&D has been on the rise, and the quantitative performance in national R&D programs has been increasing accordingly. However, a growth of qualitative performance can not reach to an upward trend of quantitative performance. For a poor qualitative performance such as patent grades and technologies with low efficiency of technology transfer, the performance evaluation centered on "number of cases" is necessary to improve and start to introduce various "qualitative performance indicators". This paper focuses on "Triadic Patent Families" being measurable the overseas competitiveness of patent applied in major countries(the US, Europe and Japan). It analyzes the influencing factors to evaluate the quality of qualitative performance of R&D program. The result of this analysis shows a significant effect on the creating of triadic patent families within factors of R&D scale and project characteristics. This paper is significantly meaningful to expand insufficient triadic patent families to the target of interest rather than early study relatively, and to analyze the influencing factors of the creation of triadic patent families.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2017.05a
• /
• pp.103-113
• /
• 2017

SCI(E)논문은 국가연구개발사업으로부터 도출되는 대표적 1차 산출 성과이며, R&D활동의 흐름을 파악할 수 있는 가장 중요한 지표 중 하나이다. 우리나라는 1980년대 50위권에 머물렀던 SCI(E)논문수가 1990년대를 거치면서 비약적으로 확대되었고, 최근 양적 규모 면에서는 세계 12위 수준을 유지할 만큼 괄목한 만한 성장을 이루었다. 최근 이러한 양적 확대 속에서, 논문의 질적 수준이 정체되고 있다는 문제점이 종종 거론되고 있다. 따라서 우리나라의 SCI(E)논문 성과가 가지는 질적 수준을 평가하기 위해 다양한 노력이 있어 왔다. 대표적인 SCI(E)논문의 질적 지표로 논문 피인용횟수와 저널 영향력지수가 있다. 그러나 이러한 지표는 학문 분야간 인용 특성을 반영하지 못하므로, 국내 연구자 사이에서도 다양한 순위보정영향력지수를 개발하고자 하는 시도가 있어 왔다. 본 논문에서는 그간 개발된 순위보정영향력지수를 추가적으로 보완하여, 보다 의미 있는 지표를 도출하고자 하였으며, 해당 지표를 국가연구개발사업 SCI(E)논문 성과에 적용하여 우리나라 SCI(E)논문 성과의 질적 수준을 검토하였다.

• Journal of Korea Technology Innovation Society
• /
• v.19 no.4
• /
• pp.768-798
• /
• 2016

This study started from the awareness of the issue if the citation index newly introduced to evaluate the quality of papers satisfies the proper timing matter, which is a component of performance indicators for the evaluation of government-funded R&D institutes. Accordingly, the study will propose improvement ways to shift the previous evaluation system to quality evaluation for mission-oriented R&D institutes by analysing and using the periodical characteristics such as citation half-life and immediacy index of papers. As a result, it turned out that the speed of academic change is getting faster in proportion to the dependency on the technological development but that the citation speed in the field of public technology is relatively slower and the speed of knowledge transfer in the fields related to industry is faster. In addition, the citation index among the R&D fields showed no differences, and the minimum period for citation index measurement with validity should be over 6 years. The problems of evaluation for mission-oriented R&D institutes were deducted based on the technical and statistical analysis results of the temporal characteristic of citation necessary for quality evaluation of performance among R&D fields. To solve the problems, policy alternatives for object and valid quality evaluation were proposed from the points of evaluation period and evaluation criteria.

• 대학교육
• /
• s.148
• /
• pp.53-61
• /
• 2007

지금까지 대학교육의 질적인 측면을 평가하려는 다양한 지표 개발이 있었다. 교육의 성과를 간접적으로 평가하는 지표들이 대표적인 사례다. 하지만 지표들이 질적인 측면을 제대로 평가하지 못한다는 한계점을 드러내왔다. 이를 볼 때 커리큘럼 평가는 해당 분야의 전문가들을 대상으로 한 동료평가 방식으로 진행하는 것이 타당하며 통계상의 오류를 방지하기 위한 보완이 뒤따라야 할 것이다.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2017.05a
• /
• pp.501-535
• /
• 2017

이 연구는 한국 학계가 그간 많은 성장을 일구어 왔음에도 질적 수준에 대해서 지속적인 비판을 받고 있는 현 상황에 의문을 갖고 연구를 시작하였다. 최근 연구의 질적 수준 제고를 위해 연구개발 성과평가 제도가 전면적인 변화를 겪고 있음에도 정작 한국 학술연구의 질적 수준 문제가 어떠한 양상으로 나타나고 있는지 과학적인 증거를 제시하고자 하는 노력은 지금까지 매우 미흡했다. 이에 이 연구에서는 한국 연구의 양적 성장과 질적 성장 간의 괴리가 어떠한 양상으로 나타나는지 가시적인 일면을 제시하기 위하여 한국 연구자가 포함된 모든 SCI 논문을 수집하고 이를 대학, 출연연, 기업, 해외기관, 기타 소속 저자로 구분하여 양적 추세와 피인용횟수 추세를 비교하고자 하였다. 분석결과 해외기관 소속 저자와 국내기관 소속 저자 간에 유의미한 수준의 피인용횟수 격차가 나타나고 있으며, 이러한 격차는 시간의 흐름에 따라 해소되지 않고 있는 것을 확인하였다. 또한 분야별로 격차가 다르게 나타나 생화학 분자생물학이나 신경과학 신경학 등의 분야에서 피인용횟수의 격차가 보다 높게 나타나고 있었다. 이러한 결과는 최근 한국 공공연구 영역에서 전면적으로 일어나고 있는 질적 평가체제로의 전환 움직임에 대해서 그 세부적인 설계와 차등 요건의 적절성에 대해 다시 한 번 생각해볼 수 있는 계기를 제공한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.754-757
• /
• 2008

R&D의 경제성장 기여도에 대한 인식이 높아짐에 따라 매년 국가연구개발사업의 투자규모는 큰 폭으로 증가하였으나 연구개발의 생산성은 저조하다는 비판이 제기되고 있다. 본 연구는 연구성과 평가시스템 중 논문의 자료 수집 검증 평가에 대한 범위에서 그동안의 양적위주의 평가에서 탈피하여 연구성과에 대한 체계적이고 심층적인 분석을 통하여 논문의 질적평가의 반영을 목적으로 현재 연구성과 평가기스템의 문제점 분석을 통한 개선 방안에 대해 연구하고자 한다.

• Journal of the Korea Convergence Society
• /
• v.11 no.4
• /
• pp.1-9
• /
• 2020

This study draws implications by surveying and analyzing performance evaluation cases in Korea and overseas, and analyzes qualitative and quantitative performance evaluation indexes and evaluation models that fit the national R & D performance evaluation system through analysis of patent creation performance data or company status data. Also, in order to apply this to a specific group of companies with excellent exports and technical skills, we will conduct a case study on the performance analysis of patent strategy support projects based on the results of the survey. Although this study has some limitations in developing performance evaluation indicators due to the limited scope of business or business characteristics of the patent strategy support project, the qualitative evaluation system can be reviewed through previous studies and domestic and overseas case studies. Due to the problem of accessing and collecting data related to the performance of the support project, there is a limitation that performance analysis cannot be performed at a sufficient level. Nevertheless, after the completion of R&D support projects and patent strategy support projects, follow-up performance analysis can be performed through follow-up surveys. It is expected to be possible.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2016.05a
• /
• pp.404-430
• /
• 2016

This study started from the awareness of the issue if the citation index newly introduced to evaluate the quality of papers satisfies the proper timing matter, which is a component of performance indicators for the evaluation of government-funded R&D institutes. Accordingly, the study will propose improvement ways to shift the previous evaluation system to quality evaluation for mission-oriented R&D institutes by analysing and using the periodical characteristics such as citation half-life and immediacy index of papers. As a result, it turned out that the speed of academic change is getting faster in proportion to the dependency on the technological development but that the citation speed in the field of public technology is relatively slower and the speed of knowledge transfer in the fields related to industry is faster. In addition, the citation index among the R&D fields showed no differences, and the minimum period for citation index measurement with validity should be over 6 years. The problems of evaluation for mission-oriented R&D institutes were deducted based on the technical and statistical analysis results of the temporal characteristic of citation necessary for quality evaluation of performance among R&D fields. To solve the problems, policy alternatives for object and valid quality evaluation were proposed from the points of evaluation period, evaluation criteria, and evaluation management.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2013.10a
• /
• pp.386-392
• /
• 2013