• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2005년도 제26회 동계학술발표회 논문집
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2011년도 학술발표회
• /
• pp.450-450
• /
• 2011

최근 유역의 급속한 도시화, 농업의 근대화, 홍수로 인한 수해 증가, 극심한 홍수, 물이용 형태의 변화, 수질 오염 등 하천관련 다양한 문제가 제기되고 있으며, 물 관련 정보화를 추진하기 위하여 유역조사를 통한 수문 및 하천 정보의 기초자료 관리 체계를 구축하고 있다. 이를 기반으로 유역에 대한 수자원 현황을 평가하고 국가수자원계획의 정책지표로서 활용할 수 있는 통합지수들을 사용하고 있다. 지표 및 지수를 통해 한 분야를 평가하기 위해서는 객관적인 관측 값 또는 기초자료들 중에서 현상을 잘 기술해줄 수 있는 대표적인 값들을 선별하여 표준화를 거치고 각각의 세부지표들을 통합하는 과정에서 가중치를 부여한다. 기존 수자원관리를 위해 개발된 지표 및 지수에 사용된 가중치 방법은 동일가중치 방법이나 전문가들의 설문조사를 통한 계층분석법(AHP) 등이 주로 활용되었다. 본 연구에서는 지표 및 지수개발에 있어 사용되는 가중치 산정방법에 대해 알아보고 각 세부지표나 대리변수 사이의 가중치 산정방법에 따른 평가결과의 변화와 결과에 미치는 영향을 분석하여 가중치 부여 방식에 따른 지수변화의 민감도 분석을 실시하였다.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2009년도 동계학술발표회
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• 한국도서관정보학회지
• /
• 제39권4호
• /
• pp.51-69
• /
• 2008

본 연구에서는 선행 연구에서 제시된 웹정보의 신뢰성 평가 요인과 지표들을 바탕으로 계층적 분석방법(Analytic Hierarchy Process: AHP)을 이용하여 지표들의 가중치를 산출하고 민감도 분석을 통해 웹정보의 신뢰성을 평가하기 위한 모델을 개발하고자 하였다. AHP를 이용한 분석 도구로는 Expert Choice 2000을 사용하였으며, 평가지표의 가중치 산출을 위한 대상자는 비확률 표준추출방법(non-probability sampling) 중 판단표본추출방법(judgement sampling)을 사용하여 25명의 전문가로 구성된 설문대상자를 추출하였다. 한편 민감도 분석은 평가요인들의 가중치를 달리 했을 때 하위지표들의 글로벌 가중치에 대한 민감성을 분석한 것으로, 본 연구에서는 평가 영역의 가중치를 네 가지 경우로만 제한된 변화에 대해서 하위지표들의 글로벌 가중치와 우선순위의 변동을 살펴보았다. 분석결과 1차 지표 간의 상대적 중요도 분석에서는 진실성 요인의 중요도가 0.606으로 압도적으로 높게 나타났으며, 2차 지표에서는 콘덴트의 믿음성(0.857), 유용성(0.460), 시의성(0.417)이, 그리고 3차 지표에서는 '정보의 출처에 관한 정보 제공', '기사의 인용이나 참고문헌 제공', '이용자의 의견이나 리뷰제공' 등의 요인의 가중치가 높은 것으로 나타났다. 한편 영역별 가중치를 달리했을 때 AHP 결과와 민감도 분석의 결과에서 하위지표들의 가중치와 우선순위의 반전이 나타났지만, 안전성 요인의 가중치를 0.5로 상향조정한 민감도 분석 D를 제외하면 대체적으로 AHP 결과에서 글로벌 가중치의 우선순위가 높을수록 민감도 분석에서도 우선순위가 높아지는 경향을 발견할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제14권4호
• /
• pp.160-167
• /
• 2014

본 논문의 목적은 가중치 분석을 통해 지역공동형 훈련성과를 효과적으로 점검할 수 있는 평가지표를 개발하는 것이다. 지표를 개발하기 위하여, 1단계에서는 선행연구 분석을 통해 예비지표 목록을 구성하였고, 2단계에서는 전문가 검토를 통해 지표의 적절성과 대표성을 점검하였으며, 3단계에서는 현장 훈련기관 전담자 검토를 통해 지표의 현장 적용 가능성을 파악하였고, 최종 성과 평가지표를 산출하였다. 4단계에서는 최종지표를 바탕으로 가중치 분석을 실시하였다. 연구결과, 협약기업 발굴 및 관리실적 영역(협약기업 참여율, 근로자 훈련참여율 등), 훈련실적 영역(수료율, 취업률 등), 비용효과성 영역(1인당 훈련비용), 만족도 영역(협약기업 만족도, 훈련생 만족도), 지역공동 훈련활성화 영역(지역인적자원개발협의체 운영, 지자체의 인력개발 의지 등)별 지표들을 개발하였다. 가중치는 지역산업의 훈련수요 대응, 협약기업 만족도, 지역인적 자원개발협의체 운영 순으로 높았다. 또한 지역공동형 훈련성과 지표에 대한 지속적인 개선과 분석이 필요하다는 점을 제언하였다.

• 대한교통학회지
• /
• 제33권4호
• /
• pp.417-429
• /
• 2015

본 연구에서는 고속도로에서 수집되는 차량검지기 자료를 대상으로 자료의 품질에 영향을 미치는 요인을 분석하여, 신뢰성 있는 교통자료의 관리 및 활용을 위한 교통자료 품질 통합평가지표를 개발하였다. 이를 위하여 국내외 자료품질평가에 대한 현황 조사 및 분석을 수행하여 시사점을 도출하였다. 품질관리지표는 기존의 고속도로 검지자료 품질평가에 사용되고 있는 평가지표인 완전성과 유효성뿐만 아니라, 이를 수정 보완한 지표들을 제시하였으며, 교통자료의 특성을 반영한 시공간 일관성 지표와 결측심각성 지표를 신규지표로 제시하였다. 또한, 개별 품질 평가지표들을 통합적으로 관리할 수 있는 통합 평가지표를 개발하고 평가 프레임워크를 제시하였다. 통합 품질평가지표는 쌍대비교를 통한 설문조사 방법으로 가중치를 산출하는 AHP기법과 자료의 변동성을 고려하여 가중치를 산출하는 엔트로피방법을 통합하는 혼합가중치 산출 방안을 적용하여 도출하였다. 본 연구의 결과물은 교통자료의 효율적 관리를 가능하게 하고, 교통자료의 품질을 높일 수 있는 품질관리체계의 중요 구성요소로 활용될 것으로 기대된다.

• 한국경영정보학회:학술대회논문집
• /
• 한국경영정보학회 2007년도 International Conference
• /
• pp.745-750
• /
• 2007

기업의 성과관리와 성과평가 분야에서 성과지표의 분류는 조직의 내부 구성관계 즉, 수직적 (vertical) 구조(전사-본부-팀)와 수평적 (horizontal) 구조(본부와 본부 혹은 팀과 팀간)의 공유에 따라 구분될 수 있으나 기존 연구(Lipe & Salterio 2000, Dilla & Stcinbart 2005)에서는 공통지표와 고유지표라고 하는 수평적인 측면만이 고려되고 수직적인 측면은 고려되지 않았다는 한계가 있다. 조직의 성과가 향상되기 위해서는 하부조직이 전사 전략에 집중 할 필요가 있으며 이를 위하여 전사의 비전을 위한 전략목표달성에 기여한 정도를 측정하여 보상과 연계하는 것은 성과관리제도가 추구하는 기본 방향이며 도입목적이기도 하다. 그런데 선행 연구에서 밝혀지지 않은 조직구성 관계의 수직적 측면에서 전사지표의 정렬(Alignment)을 통한 공유와 할당(Cascading)된 지표의 가중치를 고려해 볼 때 고유지표는 재 정의하여 세분화 할 필요가 있다는 점이다. 즉, 특정 부서의 지표 중에는 전사 혹은 상위부서에 반영되어 공유하고 있는 고유지표(이하 공유지표)와 전사 혹은 상위부서에는 반영되지 않고 해당 부서만 독점하고 있는 순수한 고유지표(이하 고유지표$^{1}$)로 구분되어야 하며 공유지표와 고유지표의 분류에 따라 가중치 설정이 달라져야 한다는 주장이 그것이다. 따라서 본 연구의 목적은 조직이 성과를 공정하게 평가하고 하부조직이 전사전략에 집중하도록 하기 위해 공통지표와 고유지표를 사용하고 있는데(Dilla & Steinbart 2005), 고유지표를 공유지표와 고유지표로 재 정의하고 분류하여 관리 할 필요가 있다는 점과 각각의 지표 분류에 따라 가중치 설정에 차이가 있는지에 대한 유의성을 검증해 보고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.814-817
• /
• 2024

특허의 가치를 평가하기 위해서는 특허 데이터에 포함된 다양한 지표가 활용될 수 있으며, 최근 다양한 지표를 머신 러닝 기법으로 분석하여 특허의 가치를 평가하는 연구가 증가하고 있다. 특허의 가치를 올바르게 평가하기 위해서는 여러 지표 중에서 어떤 지표가 특허의 가치에 크게 기여 하는지 판단할 수 있어야 하며, 이에 따라 지표별로 적절한 가중치를 설정할 수 있어야 한다. 제안된 방법은 회귀 모델 기반으로 다양한 지표에 가중치를 적용하여 특허 피인용수를 예측하였으며, 특허 패밀리 수에 적용되는 가중치를 변경하면서 특허 패밀리 수가 특허의 가치에 미치는 영향을 검증하였고, 특허 가치 평가 과정에서 특허 패밀리 수의 중요성에 대해 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제12권7호
• /
• pp.453-462
• /
• 2012

본 연구는 삶의 질에 대해 평가할 수 있는 객관적인 평가지표를 마련하고, 지역별 인구구성에 따른 차별화된 삶의 질 정책 실현을 위한 기초자료를 마련하는데 목적이 있다. 삶의 질 평가지표를 개발하고, 연령별 삶의 질에 대한 가중치 차이가 있는지 분석하기위해, (1) 문헌 및 선행연구를 분석해 1차 평가지표를 선정한다. (2) 전문가 FGI를 실시하여 최종 평가지표를 도출한다. (3) 전문가를 대상으로 가중치 분석을 실시한다. 분석 결과, (1) 영역별 가중치는 가족안전, 경제안정, 주거문화, 보건복지, 교통환경 순서로 나타났다. 특히, 가족안전영역은 다른 분야보다 2배 이상 중요한 것으로 나타났다. (2) 연령별 가중치 분석결과, 연령이 높을수록 경제안정을 중요시하는 반면, 가족안전영역에 대하여는 연령이 많을수록 가중치가 떨어졌다. 소득수준이 높아지면서 1인당 주거면적과 도시공원면적, 전시공연의 중요성이 모든 연령에 걸쳐 주거 환경 문화에 관심이 높아지고 있음을 시사한다.

• 한국콘텐츠학회논문지
• /
• 제20권10호
• /
• pp.45-56
• /
• 2020

본 연구는 '시뮬레이션 정부연습'(가칭)에서 연습 실시자의 조치사항을 평가하기 위한 척도에 관한 연구이다. 평가척도의 지표와 지표별 가중치는 조치사항으로 입력한 기관별 data를 평가하는 기준이 된다. 이것은 평가의 객관성과 일관성을 유지하여 관찰평가관의 주관적인 평가를 보완하게 된다. 그래서 평가지표는 정부연습 평가 목적, 시뮬레이션 환경에서의 측정 가능성, 객관성, 지표간의 중복성과 인과성, 평가결과를 적용하는 등급 등을 검토하여 선정하고, 각 지표는 상대적 중요도가 설정돼야 한다. 본 연구에서는 적시성·정확성·적절성의 3개 주요 지표와 주요 지표별로 각 3개의 등급 지표를 설정하고 지표별 개념을 구분하였다. 지표의 가중치는 지표의 계층구조를 고려하여 AHP 분석으로 산정하였다. 향후 연구서의 평가척도가 '시뮬레이션 정부연습'에 적용되면 정량적인 평가를 통하여 조치 평가의 일관성과 객관성을 확보할 수 있을 것이고 과학적인 기법에 의한 사후검토(AAR)가 가능할 것이다.