• 산업공학
• /
• 제22권3호
• /
• pp.192-204
• /
• 2009

Based on the characteristics of 'Korean electric power industry R&D programs', this study proposes a new performance evaluation framework where electric power industry related R&D projects are scrutinized. The abovementioned R&D programs have their own goals and especially they emphasize the effectiveness as well as the efficiency of each subordinate R&D project. Hence, in this framework, a performance evaluation procedure is established and then a mathematical model is developed according to the procedure. The model calculates performance evaluation indices for a set of R&D projects integrating the effectiveness with the efficiency of each R&D project. In a case study with an empirical dataset, statistical significance is tested on the integrated performance evaluation indices of R&D projects regarding organizational types and program categories considered.

• 한국군사과학기술학회지
• /
• 제12권1호
• /
• pp.70-79
• /
• 2009

Currently, the investment on Research and Development(R&D) for defense core technology is continuously increasing to maintain advanced country's R&D level. In accordance with this trend, the national defense R&D investment management system is being more strengthening, and importance of performance evaluation is being emphasized more and more. However, the existing indicators of performance evaluation for defense core technology R&D is limited in efficient management because of the qualitative evaluation items and subjective allocation of points. In this paper, we developed a novel indicator for defense core technology R&D performance evaluation through domestic and foreign related literature and inquiry, brainstorming, and analysis techniques by Stepwise Multiple linear Regression(SMR) and Analytic Hierarchy Process(AHP). And we verified effectiveness of proposed indicators of performance evaluation by comparing with the existing evaluation indicators. Our proposed indicators for performance evaluation will create superiority performance on defense R&D fields.

• 기술혁신학회지
• /
• 제13권1호
• /
• pp.44-67
• /
• 2010

국가 R&D사업은 적절한 예산 규모 산정이 어렵기 때문에 참고 가능한 해당 사업의 성과 및 평가정보가 적시에 지원될 경우 판단의 오류를 최소화 할 수 있을 것으로 기대할 수 있다. 그러나 현실적으로는 국가 R&D사업에 대한 성과평가 결과가 의도한 대로 충분히 활용되지 못하고 있는 실정인데, 그 이유로는 크게 두 가지 문제점을 들 수 있다. 첫째, 국가 R&D사업의 성과 및 평가 정보와 관련 예산정보가 적시에 연계 활용되지 못하고 있다. 둘째, 이를 지원하는 시스템간의 연계가 구현되어 있지 않다. 따라서 본 연구에서는 국가 R&D사업의 현황 분석을 신정부 출범 이전과 이후의 제도적, 시스템적 관점에서 고찰하였고 이를 통하여 국가 R&D성과평가와 예산 정보가 연계 가능하도록 개선 프로세스를 제안하고자 하였다.

• 산업공학
• /
• 제23권1호
• /
• pp.78-88
• /
• 2010

In this paper we develop a model for the performance evaluation of defense R&D test development projects based on analytic hierarchy process. First, evaluation indicators are collected through the related literature survey and a delphi inquiry method. Second, stepwise multiple linear regression is used for developing a hierarchical structure for analytic hierarchy process in the evaluation model, which can make the selected evaluation indicators of the hierarchical structure independent. Also we verify the effectiveness of proposed indicators of the performance evaluation by comparing with the existing evaluation indicators. The developed indicators for the performance evaluation is more reasonable and practical than the previous indicators on defense R&D test development projects.

• 기술혁신연구
• /
• 제22권4호
• /
• pp.165-198
• /
• 2014

탈추격형 혁신체제가 강조됨에 따라 국가연구개발사업은 기술역량 향상에 초점을 맞춰온 기존의 방식과 달리 문제해결 실용화 사회적 영향을 모두 아우른 통합적 접근을 필요로 한다. 이러한 상황에서는 R&D예산의 효과적 효율적 집행과 성과관리가 중요한 과제이나, 기존의 성과평가제도는 획일적 평가, 양적지표 위주 등으로 인해 한계를 가지고 있다. 본 연구에서는 이러한 문제점에 대응하기 위해 우리나라의 국가연구개발사업 성과평가의 진화과정을 조사 분석 평가 체제와 1,2차 성과평가기본계획 체제 세 시기로 나누어 제반 법 제도, 평가체제 및 내용, 평가의 활용 등의 요소를 비교분석하였다. 성과평가제도는 조사 분석 평가에서 1차 기본계획, 2차 기본계획으로 이행되면서 R&D자원 투입에 따른 양적 성과관리 위주에서 연구사업의 다각적 측면을 평가하기 위한 수단으로 진화하였다. 그 과정에서 평가인프라, 표준성과지표 등 평가체계의 고도화 실효성을 제고하기 위한 제도적 장치가 다수 마련되었다. 1차 기본계획에서는 과학기술행정체계의 잦은 개편이 성과평가 진화의 일관성에 영향을 미쳤으나, 2차 기본계획 이후 체계가 안정화되면서 성과평가제도는 우리나라 혁신시스템 전환을 뒷받침할 수 있는 방향으로 개선되고 있다.

• 한국군사과학기술학회지
• /
• 제22권1호
• /
• pp.106-123
• /
• 2019

Demand for performance analysis is increasing for efficient use of limited budgets such as improving investment efficiency and strategic budget allocation in accordance with the continuous increase demand of R&D budget for developing advanced weapon systems in the future battlefields. In accordance with the Act on the Performance Evaluation and Performance Management of the National R&D Projects established in March 2006, the performance analysis has been conducted for the systematic management and utilization of the R&D project performance. It was recognized as a project to achieve self-defense through strengthening the weapons system development capability, however, efficiency evaluation of Defense R&D projects was not much emphasized. Research on the efficiency analysis of defense R&D projects has been conducted in recent years, but most studies focused on corporate efficiency and productivity of defense companies. In this study, we analyzed the three-stage performance of defence R&D projects based on the logical model using the data envelope analysis(DEA) model. We also analyzed performance analysis from various perspectives through R&D type, technology classification and performance model. This study is expected to help defense department improve defense R&D projects and make decision.

• 기술혁신학회지
• /
• 제1권1호
• /
• pp.117-124
• /
• 1998

Corporations are pursuing maximum returns from their R&D investment. They are also interested in sound measures to quantify returns. In fact, they use various measures and criteria for measuring returns from the R&D investment. But the fundamental problem is that there is no generic and widely acceptable measures and criteria. To make things more complicated, measures are very powerful and influential to the people in the corporations. Herbert Simon already indicated that people do many things but people usually do their best for the only tasks which are measured. Many researchers, like Chester(1995), are interested in R&D productivity measures and risks because what the company measures really influence R&D people and output. This article present design concepts of the R&D project selection and evaluation system in POSCO(Pohang Iron & Steel Company). This is an output extract from the 6-month joint activities with POSRI(POSCO Research Institute) researchers and POSCO R&D personnel. Process changes, new organizations and new selection and evaluation criteria are developed to improve R&D performance and to enhance technology management of the POSCO. This article covers new selection and evaluation criteria only. We would like to share our experience about how we redesign the selection and evaluation of R&D projects. We also bring insights how we seamlessly integrate 4 different project selection and evaluation steps as a whole. We hope that this case will give you a clue to improve your R&D management.

• STI Policy Review
• /
• 제4권2호
• /
• pp.41-54
• /
• 2013

R&D is inherently an uncertain endeavor, yet now more than ever those performing R&D with public funding are called upon to clarify the utility of their research. Calls for public accountability are mounting with the increase in constraints on government budgets due to the recent worldwide economic recession, in response to which both policymakers and researchers pay much more attention to rigorously assessing publicly funded R&D. A key issue complicating R&D evaluation in these circumstances is how to adequately account for the nature and degree of risk involved in a given R&D program or project. This study deliberates on certain issues involving the measurement of ex-ante risk in public R&D evaluation: (i) information asymmetry between R&D sponsors and performers, (ii) ambiguity in the measurement of returns in both prospective and retrospective evaluation, and (iii) the dilemma between measurement error and omitted variable bias for empirical estimation of R&D performance. The study then presents an analysis of hypothetical evaluation results that apply risk-relevant weights to the annual evaluation outcomes of South Korea's national R&D programs funded during 2006~2012. In this counterfactual re-evaluation of public R&D program performance, high-risk R&D programs turn out to receive higher evaluation than non-high-risk programs. The current study suggests that R&D evaluation ignoring ex-ante risk is not only conceptually invalid since R&D activities are intrinsically uncertain endeavors, but unfair as R&D performers are asked to be accountable for the results that were in fact out of their reach.

• 한국전자거래학회지
• /
• 제17권2호
• /
• pp.165-187
• /
• 2012

방송통신 연구개발 과제 관리 및 평가 체계의 개선 필요성이 증대되고 있다. 이미 해외 주요국과 국내 정부 및 연구기관에서는 개선에 대한 필요성을 공감하고 구체적인 지표 개발 방안을 모색 중이다. 이러한 추세에 부응하기 위해 본 연구에서는 연구개발 과제 성과평가지표 및 척도를 개발하여 현행 체계의 단점을 극복하고자 하였다. 본 연구의 특징으로 연구개발 과제의 가치에 대한 두 가지 관점을 정리하고 국내외 주요 기관들의 평가지표와 척도를 분류, 종합함으로써 보다 체계적이고 효율적인 지표를 개발하고자 하였다. 동시에 산/학/연의 전문가들의 참여를 통해 지표와 척도 내용을 방송통신 환경에 적합하도록 조정하였다. 본 연구에서 개발된 방송통신 연구성과 측정 지표 및 척도는 보다 객관적이고 체계적인 연구성과 평가에 기여할 것으로 판단된다.

• 한국산학기술학회논문지
• /
• 제15권7호
• /
• pp.4148-4156
• /
• 2014

본 연구의 목적은 국가 연구개발(R&D) 성과측정지표의 개선안을 새로운 관점을 통해 제시하는 것이다. 정부는 R&D 패러다임을 기존의 추격형에서 선도형으로 전환하고자 하고 있다. 이에 기존 성과평가의 문제점을 살펴보고 기존 문헌 연구를 통해 국내외 연구기관 정부기관의 성과 평가안을 살펴보았다. 특히 국내외적으로 창조 혁신지표군을 참조하였고 국가혁신 및 R&D 생태계라는 개념에 주목하였다. 이론 체계로 D'Aveni의 혁신경쟁이론(Hypercompetition theory)을 차용하여 새로운 성과평가지표를 제시하였으며 국내 R&D 성과평가 전문가를 대상으로 AHP 분석을 수행하였다. 지표별 우선순위 결과 및 의미는 본문에서 상세히 밝히고 있다. 본 연구는 새로운 관점의 이론적 틀을 바탕으로 창조 혁신지표군을 참조하여 국가 R&D 성과지표군을 제안하였고 실증적 검증을 거쳐 지표별 우선순위를 제시했다는 점에서 이론적 그리고 실무적으로 공헌하고 있다.