• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.450-450
• /
• 2011

최근 유역의 급속한 도시화, 농업의 근대화, 홍수로 인한 수해 증가, 극심한 홍수, 물이용 형태의 변화, 수질 오염 등 하천관련 다양한 문제가 제기되고 있으며, 물 관련 정보화를 추진하기 위하여 유역조사를 통한 수문 및 하천 정보의 기초자료 관리 체계를 구축하고 있다. 이를 기반으로 유역에 대한 수자원 현황을 평가하고 국가수자원계획의 정책지표로서 활용할 수 있는 통합지수들을 사용하고 있다. 지표 및 지수를 통해 한 분야를 평가하기 위해서는 객관적인 관측 값 또는 기초자료들 중에서 현상을 잘 기술해줄 수 있는 대표적인 값들을 선별하여 표준화를 거치고 각각의 세부지표들을 통합하는 과정에서 가중치를 부여한다. 기존 수자원관리를 위해 개발된 지표 및 지수에 사용된 가중치 방법은 동일가중치 방법이나 전문가들의 설문조사를 통한 계층분석법(AHP) 등이 주로 활용되었다. 본 연구에서는 지표 및 지수개발에 있어 사용되는 가중치 산정방법에 대해 알아보고 각 세부지표나 대리변수 사이의 가중치 산정방법에 따른 평가결과의 변화와 결과에 미치는 영향을 분석하여 가중치 부여 방식에 따른 지수변화의 민감도 분석을 실시하였다.

• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• Journal of Korean Library and Information Science Society
• /
• v.39 no.4
• /
• pp.51-69
• /
• 2008

This study tired to develop the web credibility evaluation model by calculating weighted values and sensitivities of indicators which presented on preceding researches using Analytic Hierarchy Process. "Expert Choice 2000" was used as the tool for analysing AHP. 25 experts are answered for this questionnaire who are selected by judgement sampling method, one of the non-probability sampling method. Also, sensitivity analyses was performed to graphically see how the alternatives change with respect to the importance of the indicators or sub-indicators. The main results are summarized as followings; i) importance analysis in first level factors: trust-worthiness(0,606), expertness(0.222), safety(0.173), ii) importance analysis in second level factors: trustfulness (0.519), reputation(0.087), usefulness (0.102), timeliness(0,093), competency(0.027), security(0.115), reliability(0,058). iii) some of the importance analysis in third level factors: the site provides comprehensive information that is attributed to a specific source(0.252), the site has articles that list citations and references(0.153), the site contains user opinions and reviews(0.072), etc. iv) sensitivity analyses showed that the importance of the indicators or sub-indicators are slightly changed with respect to the alternatives change.

• The Journal of the Korea Contents Association
• /
• v.14 no.4
• /
• pp.160-167
• /
• 2014

The purpose of this paper was to develop the key performance indicators of regional co-training programs, using analytic hierarchy process method. Firstly, we pooled indicators by reviewing the literatures. The researcher checked the properness and representative of them and then, the training professionals reviewed them again. Finally, we finalized the indicators, depending on the indicator domains such as MOU (Memorandum of Agreement) company (the training participation rate of MOU companies, training participation of employees, and etc.), training performance (the completion of the program, employment rate, and etc.), cost-effectiveness (training cost per capita), satisfaction (satisfaction rate of MOU companies and training participants), and regional co-training enhancement (the operation of the committee, the will for training of the regional municipal government, and etc.). The weight size varied by the regional training needs, satisfaction of MOU companies, and regional committees of human resource development. We also suggested the continuous revision of the key performance indicators for regional co-training.

• Journal of Korean Society of Transportation
• /
• v.33 no.4
• /
• pp.417-429
• /
• 2015

Evaluation of traffic data quality is a backbone of better traffic information and management systems because it directly affects the reliability of traffic information. This study developed an integrated index for evaluating the quality of archived intelligent transportation systems (ITS) data. Two novel indices including spatio-temporal consistency and severity of missing data were devised and integrated with existing indices such as availability and completeness. An evaluation framework was proposed based on the developed integrated index. Both analytical hierarchical analysis (AHP) technique and entropy method were adopted to derive mixed weighting values to be used for the integrated index. It is expected that the proposed methodology would be effectively used in enhancing the quality of traffic data as a part of traffic information system.

• 한국경영정보학회:학술대회논문집
• /
• 2007.06a
• /
• pp.745-750
• /
• 2007

기업의 성과관리와 성과평가 분야에서 성과지표의 분류는 조직의 내부 구성관계 즉, 수직적 (vertical) 구조(전사-본부-팀)와 수평적 (horizontal) 구조(본부와 본부 혹은 팀과 팀간)의 공유에 따라 구분될 수 있으나 기존 연구(Lipe & Salterio 2000, Dilla & Stcinbart 2005)에서는 공통지표와 고유지표라고 하는 수평적인 측면만이 고려되고 수직적인 측면은 고려되지 않았다는 한계가 있다. 조직의 성과가 향상되기 위해서는 하부조직이 전사 전략에 집중 할 필요가 있으며 이를 위하여 전사의 비전을 위한 전략목표달성에 기여한 정도를 측정하여 보상과 연계하는 것은 성과관리제도가 추구하는 기본 방향이며 도입목적이기도 하다. 그런데 선행 연구에서 밝혀지지 않은 조직구성 관계의 수직적 측면에서 전사지표의 정렬(Alignment)을 통한 공유와 할당(Cascading)된 지표의 가중치를 고려해 볼 때 고유지표는 재 정의하여 세분화 할 필요가 있다는 점이다. 즉, 특정 부서의 지표 중에는 전사 혹은 상위부서에 반영되어 공유하고 있는 고유지표(이하 공유지표)와 전사 혹은 상위부서에는 반영되지 않고 해당 부서만 독점하고 있는 순수한 고유지표(이하 고유지표$^{1}$)로 구분되어야 하며 공유지표와 고유지표의 분류에 따라 가중치 설정이 달라져야 한다는 주장이 그것이다. 따라서 본 연구의 목적은 조직이 성과를 공정하게 평가하고 하부조직이 전사전략에 집중하도록 하기 위해 공통지표와 고유지표를 사용하고 있는데(Dilla & Steinbart 2005), 고유지표를 공유지표와 고유지표로 재 정의하고 분류하여 관리 할 필요가 있다는 점과 각각의 지표 분류에 따라 가중치 설정에 차이가 있는지에 대한 유의성을 검증해 보고자 한다.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.814-817
• /
• 2024

특허의 가치를 평가하기 위해서는 특허 데이터에 포함된 다양한 지표가 활용될 수 있으며, 최근 다양한 지표를 머신 러닝 기법으로 분석하여 특허의 가치를 평가하는 연구가 증가하고 있다. 특허의 가치를 올바르게 평가하기 위해서는 여러 지표 중에서 어떤 지표가 특허의 가치에 크게 기여 하는지 판단할 수 있어야 하며, 이에 따라 지표별로 적절한 가중치를 설정할 수 있어야 한다. 제안된 방법은 회귀 모델 기반으로 다양한 지표에 가중치를 적용하여 특허 피인용수를 예측하였으며, 특허 패밀리 수에 적용되는 가중치를 변경하면서 특허 패밀리 수가 특허의 가치에 미치는 영향을 검증하였고, 특허 가치 평가 과정에서 특허 패밀리 수의 중요성에 대해 확인하였다.

• The Journal of the Korea Contents Association
• /
• v.12 no.7
• /
• pp.453-462
• /
• 2012

The purpose of this study is to analyze the quality of life and provide an objective evaluation, and differentiated according to the local population for the realization of the quality of life policies are intended to provide baseline data. This study analyzed to the Development of Quality of Life indicators and weights for age differences in the quality of life, first to select the literature and previous studies analyzing the primary evaluation criteria. Second, the final evaluation of professional conduct FGI indicators are derived. Third, experts will conduct analysis to target weights. As a result of the first domain-specific weights family safety, economic stability, residential culture, health and welfare, and traffic environment in order. In particular, a family safe zone more than twice that of the other areas appeared to be important. Is determined. Second, age weighted analysis, the higher the age, economic stability, while important, safe area for families, the more the weight of age shows a deterioration. As income increases per capita housing area and the city park area, the exhibition shows the importance of housing across all age, environment, culture, suggests that increasing interest will.

• The Journal of the Korea Contents Association
• /
• v.20 no.10
• /
• pp.45-56
• /
• 2020

This study is about the scale to evaluate the data of the countermeasures in the 'simulation based government exercise' (tentative name). The criteria and weighting of the scale is a standard for evaluating the data of each agency input. This maintains the objectivity and consistency of the evaluation, which complements the subjective evaluation of the observer. Therefore, the criteria should accommodate the purpose of the government exercise evaluation, the possibility of measurement in the simulation environment, the objectivity, no-duplication and causality between criteria, and the grade applying the evaluation results, and the weighting should be set. In this study, three major criteria of timeliness, accuracy, and appropriateness is set up for the evaluation scale and it consists of sub-criteria classified into three classes below respectively and the concept of it was defined. The weighting was calculated by AHP analysis considering the hierarchical structure of it. When this evaluation scale is applied to the 'simulation based government exercise' in the future, it will be possible to secure consistency and objectivity of the evaluation of measures by integrating the quantified evaluation into the observation evaluation and to conduct AAR by scientific techniques.