• Asian Journal of Innovation and Policy
• /
• 제9권3호
• /
• pp.281-307
• /
• 2020

A variety of approaches are being applied to improve the existing ex-ante evaluation by expert panels in publicly funded R&D. While the objective evaluation criteria are constantly being improved to screen and select the superior projects, alternative approaches such as random prioritization and logical modeling are also underway to overcome the conservative bias of reviewers and to secure disruptive innovation. This study intends to find critical implications for ex-ante evaluation of public R&D system from the comparison of Indonesia and Korea. For the comparative analysis, literature review and expert in-depth interviews are conducted on the national R&D system and the selection evaluation process. In Korea, the selection criteria of projects are legally promulgated for establishing an objective evaluation system, and at the program level, the major considerations in the planning process are specified by Presidential Decree. On the other hand, while Indonesia conducts R&D in 47 strategic fields largely by public research institutes (PRI) based on the non-competitive government contributions. This study draws out implications of institutionalizing the planning process at the level of program, and of increasing the ratio of contract-based competitive funding at the level of project in the national R&D portfolio.

• STI Policy Review
• /
• 제4권2호
• /
• pp.41-54
• /
• 2013

R&D is inherently an uncertain endeavor, yet now more than ever those performing R&D with public funding are called upon to clarify the utility of their research. Calls for public accountability are mounting with the increase in constraints on government budgets due to the recent worldwide economic recession, in response to which both policymakers and researchers pay much more attention to rigorously assessing publicly funded R&D. A key issue complicating R&D evaluation in these circumstances is how to adequately account for the nature and degree of risk involved in a given R&D program or project. This study deliberates on certain issues involving the measurement of ex-ante risk in public R&D evaluation: (i) information asymmetry between R&D sponsors and performers, (ii) ambiguity in the measurement of returns in both prospective and retrospective evaluation, and (iii) the dilemma between measurement error and omitted variable bias for empirical estimation of R&D performance. The study then presents an analysis of hypothetical evaluation results that apply risk-relevant weights to the annual evaluation outcomes of South Korea's national R&D programs funded during 2006~2012. In this counterfactual re-evaluation of public R&D program performance, high-risk R&D programs turn out to receive higher evaluation than non-high-risk programs. The current study suggests that R&D evaluation ignoring ex-ante risk is not only conceptually invalid since R&D activities are intrinsically uncertain endeavors, but unfair as R&D performers are asked to be accountable for the results that were in fact out of their reach.

• 기술혁신연구
• /
• 제27권4호
• /
• pp.1-19
• /
• 2019

본 연구는 특허 인용 정보를 활용하여 국가연구개발사업의 특허를 평가할 수 있는 새로운 방법을 제시하였다. 이를 위해 가장 대표적으로 특허의 가치나 질을 나타내는 특허의 전방인용 수(피인용 수)를 활용하고, 특허 인용 네트워크에서 개별 특허가 얼마나 중요한 역할을 하고 있는지를 나타내는 네트워크의 중심성 지수를 활용하여 국가연구개발사업의 특허와 민간부문의 특허를 비교하였다. 분석 결과 국가연구개발사업의 특허는 특허의 특성과 출원인의 특성, 기술분야의 특성, 연도 효과를 통제하고도 전방인용 수, 연결중심성, 매개중심성, 페이지 랭크 모두 높은 것으로 나타났다. 즉, 국가연구개발사업의 특허는 민간부문의 특허에 비해 후행기술에 직접 더 많은 영향을 주며, 선행기술과 후행기술을 직접 연결한다. 또한 국가연구개발사업의 특허는 민간부문의 특허에 비해 기술의 효율적인 발전에 기여하며, 중요한 기술들을 연결하는 것으로 나타났다.

• 기술혁신학회지
• /
• 제4권3호
• /
• pp.275-290
• /
• 2001

The frameworks for evaluation of national R&D programs reflect their various political and administrative cultures(Gibbons & Georghiou, 1987), and the structure of national R&D system. In this research the core research questions are : what is god evaluation\ulcorner What is being evaluated, by whom, by which criteria, for whom and what purpose\ulcorner In order to examine these general aims and answer these questions, in detail several objectives can be proposed on the process of this research. In this research, the national R&D programs will be considered in terms of the interface between evaluation and the wider policy-making process. The programs for case study are the Alvey program(UK), the Advanced Technology Program (US) and the Framework program(EU) . One of the characteristics of these programs is the well established evaluation systems they have. From the comparative analysis, we can withdraw some useful implication for Korean evaluation practice for national R&D programs. Evaluation system is social process and the way in which it is organized is critical to its outcome.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 1999년도 제16회 동계학술발표회 논문집
• /
• pp.216-239
• /
• 1999

Korean government has planned a large scale multidepartment-participated national R&D program to advance and improve her science and technology and the quality of life In the level of advanced(especially G-7) countries in the forthcoming 21st century. It is called as "Highly Advanced National projects" or "G7 projects", which was initiated in 1991 with 18 sub-programs to date. It has planned to be continued until 2001 with its total fund of 4, 591 billion Won, comprised of 2, 033 billion Won from the public sector and 2, 558 billion Won from the private sector. Evaluation activities, the country has carried out to date, for national R&D programs including HAN projects are focused mainly on the assessment of scientific and technological results to decide that a specific program should be continued, terminated, or modified. Thus, it is necessary for national R&D programs to be evaluated socioeconomically for the purpose of assessing the nationwide economic and social impact from the program. Socioeconomic evaluation would be told how and where the program contributed to the society, and what the socioeconomic impacts are resulted from the program. It would be useful for the means of (ⅰ) fulfillment of public accountability to legitimate the program and to reveal the expenditure of pubic fund, and (ⅱ) managemental and strategical learning to give information necessary to improve the making. program and policy decision making, The objectives of the study are to develop the methodology of modeling the socioeconomic evaluation, and build up the practical socioeconomic evaluation model of the HAN projects including scientific and technological effects. Since the HAN projects consists of 18 subprograms, it is difficult In evaluate all the subprograms simultaneously. Despite, each program is being performed under the category of HAN projects, so the common socioeconomic issues are existing, The followings are main results of the study. First, the hierarchical structure of the socioeconomic evaluation are constructed; Evaluation Perspective, Evaluation Bounds, and Evaluation Aspect. Second, based on the goals of the HAN projects, the evaluation perspectives are established as (ⅰ) the strengthening of industrial competitiveness, (ⅱ) the enhancement of national scientific and technological capability, (ⅲ) the improvement of quality of life. Third, the evaluation bounds for each evaluation objective are defined to specify the affected area. Finally, the evaluation aspects for each evaluation bounds are formulated containing essential elements describing the evaluation bounds.

• 벤처창업연구
• /
• 제4권4호
• /
• pp.1-25
• /
• 2009

정부는 '국가 연구개발 사업 등의 성과평가 및 성과관리에 관한 법률'을 제정하여 국가연구개발 사업성과의 효율성과 생산성을 제고하기 위하여 노력하고 있다. 본 연구는 범정부적인 차원에서 수행하고 있는 국가 연구개발 사업 평가시스템 중 특정평가에 대하여 메타평가방법을 통한 효율성을 분석하기 위한 평가모형 및 지표를 개발한 결과이다. 국가 연구개발 사업 평가시스템의 효율성 분석을 위한 베타평가 모형은 평가 상황 요소, 평가자원요소, 평가수행요소, 평가결과요소, 평가활용요소 등 5개 구성요소로 구분하여 평가지표를 개발하였다. 아울러 평가항목을 선정하기 위하여 분석한 평가구성요소 및 평가지표에 대한 신뢰성 검증결과 Cronbach' $\alpha$ 계수가 0.933으로서 평가지표체계는 큰 무리가 없는 것으로 나타났다. 그리고 평가구성요소 및 평가지표별 가중치 산정은 계층분석기법을 사용하여 분석하였다. 분석결과 조사자의 전체 일관성 지수는 0.1 미만으로 나타나 조사자의 일관성이 있는 것으로 분석되었다.

• 기술혁신학회지
• /
• 제15권2호
• /
• pp.461-479
• /
• 2012

본 연구에서 국가 대형 R&D가 적용될 신제품의 기술수준 평가에 적용할 수 있는 평가관점과 분석 방법론을 새롭게 제안하였고, 초전도 케이블 기술의 수준평가에 적용하였다 신제품의 기술수준을 평가하기 위해서 요소기술 분류, 평가요인 분석, 평가항목의 구성 및 내용, 기술수준 평가 및 표현 방법 등에 관한 논리적 절차를 제시하였다. 기술 경쟁성을 평가하기 위해서 기술속성 변수를 설정하여 분석하였다. 상대적인 경쟁성을 수치 및 위치로 표현하기 위해서 다변량 기법인 주성분 분석을 적용하였다. 기술성과 권리성평가 결과를 종합한 기술수준 평가에서 초전도 케이블 기술은 글로벌 선도기술 대비 최소 96.11% 최대 101.76% 범위 내에 있을 것으로 추정되었다. 즉, 대상 기술의 기술수준은 '세계 선도기술과 비교하여 대등한 수준에 있다'는 주장을 채택할 만한 충분한 근거가 분석되었다. 제안된 신제품의 기술수준평가 관점 및 논리는 국가 대형 R&D 기술수준을 평가하는데 유용하게 적용될 수 있을 것이다.

• 한국환경보건학회지
• /
• 제48권2호
• /
• pp.123-129
• /
• 2022

Background: The Environmental Health Action Program was a national project carried out from 2012~2021. It was aimed at developing public technologies to protect people's health from various environmental hazards. Objectives: One of the final goals of the project was "creating health benefits worth more than 179.2 billion won by reducing the environmental burden of disease." This study aims to evaluate whether the program sufficiently achieved the planned benefits. Methods: In order to secure consistency in evaluation, we applied the same equation used in the goal-setting process. It is comprised of six parameters to estimate the benefit: 1. The amount of medical expenses for environmental diseases; 2. The attributable proportion of environmental risk factors' 3. The rate of reduction in medical expenses for environmental diseases; 4. R&D project contribution; 5. The proportion of successful policy reflection; and 6. The contributions of the project. The corresponding variables were estimated at the end of the project, and the health benefits of the project were recalculated using the newly estimated variables. Results: It was estimated that a total of 195 billion won in health benefits occurred or will occur from 2015 to 2026. The main contributors for achieving the target were an increase in medical expenses for environmental diseases, a high score in the R&D project contribution, and the proportion of successful policy reflection. Conclusions: Technically, the equation used in the project is about medical expenses for environmental diseases rather than about the environmental burden of disease. There are several benefits of using the environmental burden of disease in the evaluation of public health policies. In further studies, developing a policy evaluation framework using indicators such as population attributable fraction would be needed.

• 기술혁신학회지
• /
• 제16권1호
• /
• pp.176-198
• /
• 2013

예비타당성조사는 대규모 신규 공공투자사업에 대한 신중한 접근을 진작하고자 1999년에 도입되었다. 사업 타당성에 대한 결론 도출 시 비용편익분석으로 대변되는 경제적 타당성 분석을 중요시하므로, R&D사업의 분석과 결론 도출에 있어서 다양한 쟁점이 제기되어 왔다. 본 연구에서는 연구개발부문 예비타당성조사에서 표준화하여 적용할 수 있는 사항을 살펴보았으며, 대표질문과 평가항목 간의 상관관계를 통하여 쟁점 도출을 표준화하는 방안을 제시하였다. 그리고 R&D효과 분류와 논리분석의 적용을 통해 분석전략을 표준화하여 R&D투자 의사결정의 합리화에 기여하고자 한다.

• 인터넷정보학회논문지
• /
• 제24권6호
• /
• pp.31-39
• /
• 2023

본 연구의 목표는 통합형 국가연구개발 사업에서 정보화사업, 공공조달 등 공공수요 기반의 상용화로 연계되는 복잡한 형태의 사업성과를 측정하고 관리하기 위한 과학적이고 효율적인 성과평가 프레임워크를 제안하는데 있다. 다수의 연구기관이 참여하여 하나의 최종성과물을 이루는 통합형 국가연구개발사업과 사업의 결과물이 수요기반의 실증 및 상용화까지 이루어지는 사업의 경우, 연구개발사업을 구성하는 세부과제의 단기적 산출물을 바탕으로 성과를 평가하는 기존의 평가체계로는 통합적 연구성과물에 대한 중장기적 효과와 실용성을 평가하기에는 한계가 있다. 더욱이 국가연구개발사업의 패러다임이 효율성을 중시하는 임무중심으로 변화함에 따라, 국가연구개발과제의 성과평가도 결과의 효과와 실용성을 중심으로 변화해야 할 필요성이 제기되고 있다. 본 연구에서는 Hourglass 모델을 활용하여 각 국가연구개발과제의 성과가 단순한 단기적 산출을 넘어, 실제 그 효과성 등 실용적 관점에서 완성도를 평가하기 위한 구조적 관점의 성과평가 프레임을 제시한다. 이는 연구개발과제의 구조에 따라 Tool-System-Service-Effect로 이어지는 하향식(Top-down) 및 상향식(Bottom-up) 접근을 연계한 통합적 프레임이라 할 수 있다. 제시된 세부 평가지표와 성과평가 프레임을 실제 국가연구개발사업에 적용함으로써 지표의 타당성과 제안된 성과평가 프레임의 효용성을 검증하였으며, 이러한 결과는 향후 효율성을 강조하는 국가연구개발사업의 성과평가 체계에 대한 학술적, 정책적, 산업적 시사점을 제시할 것으로 기대된다.