• 대학교육
• /
• 통권76호
• /
• pp.83-89
• /
• 1995

교수종합평가는 교육.연구.봉사 영역 모두를 대상으로 해야 한다. 어느 한 영역의 평가결과가 우수하면, 다른 영역의 결과는 그렇지 못할 수도 있다. 모든 영역에서 평가결과가 우수한 경우는 드물다. 그리고 교수종합평가의 평가영역 및 평가요소별 가중치는 개인의 가치에 따라 차이가 있을 수 있다. 교수의 종합평가나 중점평가에 적용될 가중치는 특정 개인의 주장만을 반영하기보다 많은 사람이 합의한 결정에 근거하여 설정되어야 한다. 여기에서는 보다 많은 대학과 다양한 학문계열의 교수들을 표집하여 객관적인 입장에서 평가영역 및 평가항목의 가중치를 규명하였다. 그 결과로 도출된 가중치는 대학교수들의 평가에 적용되어 평가결과의 타당성을 제고할 수 있을 것이다.

• 한국정책학회보
• /
• 제21권2호
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• 기술혁신학회지
• /
• 제18권4호
• /
• pp.539-560
• /
• 2015

국가연구개발사업 성과평가제도는 성과와 예산의 유기적인 연계를 강화하고 있다. 본 연구는 국가연구개발사업에 관한 국회의 확정예산을 대상으로 상위평가결과에 영향을 미치는 선행요인을 예산규모, 사업수행기간, 사업의 지속성, 자체평가결과로 분류하고 이들 요인과 상위평가결과와 예산증감율의 관계를 분석하였다. 분석 결과, 예산규모, 사업수행기간, 자체평가 결과는 상위평가결과에 영향을 주는 것으로 나타났다. 또한, 자체평가결과가 예산의 증감에 영향을 주는 상위평가 결과에 가장 큰 영향을 주었다. 본 연구의 결과는 국가연구개발성과평가제도가 국가연구개발예산의 관계를 실증분석을 통해 제시했다는 측면에서 의의를 가진다.

• 재무관리연구
• /
• 제16권1호
• /
• pp.283-309
• /
• 1999

본 연구에서는 최근에 투입과 산출관계가 복잡한 비영리기관의 운영효율성을 평가하는데 많이 적용되고 있는 DEA분식기법을 이용하여 국내일반은행의 생산성을 상대적 개념에서 측정하고, 은행감독원에 의한 경영평가와 금융감독위원회의 은행퇴출평가 결과를 비교하여 봄으로서 평가결과가 타당성이 있는지 여부를 알아보았다. 금융감독위원회의 평가는 수익성, 건전성, 유동성, 내부유보 등 비율분석에 의한 평가와 BIS비율 등을 고려하여 평가해 왔기 때문에 다산출물 대 다투입물이 상호작용하는 것을 무시하고 있다는 것으로 볼 수 있다. 그리고 은행감독원의 평가와 DEA기법에 의한 경영효율성 간에는 상당한 차이가 있는 것으로 드러났다. 본 연구 분석결과로는 1995년도 효율성 값이 하위 5개 은행은 국민은행, 충북은행, 광주은행, 경남은행, 평화은행이며, 1996년도 효율성 값이 하위 5개 은행은 광주은행, 제주은행, 동남은행, 전북은행, 국민은행, 1997년도의 효율성 값이 하위 5개 은행은 대동은행, 광주은행, 충청은행, 충북은행, 전북은행으로 분석되었다. 퇴출은행 5개중 1996년도에 동남은행, 1997년도에 대동은행, 충청은행만이 효율성 값이 하위 5위안에 포함되어 본 연구의 분석결과와 다소 상이한 결과가 분석되었다. 그리고 DEA 분석모형에 의하면 비율분석에서는 점검할 수 없는 은행의 상대적 경영효율성을 분석한 결과가 금융당국의 평가결과와 다소 일치한 점도 있으나 운영효율성 측면에서 퇴출대상은행이 효율성이 높은 은행으로 평가되어 금융감독위원회가 결정한 퇴출대상은행과 DEA 분석결과와는 상이한 결과가 도출되었다.

• 한국의류학회지
• /
• 제27권12호
• /
• pp.1405-1411
• /
• 2003

본 연구의 목적은 기계에 의한 객관적 오염제거 평가와 육안에 의한 주관적 오염제거 평가를 비교하기 위한 것이다. 본 연구를 위해 백색의 순면직물과 65%/35% 폴리에스테르/면직물 시료에 9가지의 오염을 각각 처리한 오염포를 제작한 후, 세탁 실험을 하였다. 주관적 오염제거의 평가는 오염시키지 않은 포를 기준시료로 하여 오염포와 같은 조건으로 세탁한 후, 오염제거도를 AATCC Gray Scale for Staining으로 평가하였다. 세탁 후 오염제거도를 객관적으로 평가하기 위해서 각 시료의 K/S values, CIELAB, CMC, ASTM E313 Whiteness Index(WI), ASTM E313 Yellowness Index, and CIE tristimulus values를 구하였고. 세탁에 의한 control 시료의 반사율 변화에 대한 오염포의 반사율 변화를 비교한 오염제거율(PSR)을 구하였다 육안에 의한 주관적 평가 결과와 기계에 의한 객관적 평가의 결과와의 관계를 파악하고자 상관분석을 실시하였다. 본 연구 결과, 주관적 평가와 객관적 평가사이에 유의적인 상관관계가 확인되었으며, 주관적 평가 결과 중 WI가 주관적 평가 결과와 가장 상관관계가 높았으며, PSR과 주관적 평가 결과와의 상관이 상대적으로 가장 낮은 것으로 나타났다. 따라서 백색포의 오염 판정이 필요한 산업체에서 현재 많이 사용하고있는 PSR보다는 WI나 다른 색차를 이용하여 객관적 오염 평가를 하는 것이 주관적인 오염평가 결과에 더 근접할 수 있음을 알 수 있었다.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2005년도 제26회 동계학술발표회 논문집
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.599-601
• /
• 2018

국가 R&D에 대한 투자는 지속적으로 늘어나고 있고, 늘어나는 투자만큼 질 좋은 성과의 창출이 사회적으로 기대되고 있다. 이를 위해서는 우수한 연구자의 연구수행을 필요로 하며, 그 전제조건은 공정하고 객관적인 평가로부터 시작된다고 할 수 있다. 하지만 기존의 평가는 특정 평가위원에 의한 평가결과의 왜곡 가능성이 존재한다. 이를 억제하기 위해 기존에는 보편적으로 최고/최저점 제외 방식을 사용하였다. 하지만 왜곡 가능성이 그 이상 존재할 경우에는 왜곡을 막기에 부족하다. 본 연구에서는 평가위원별 평가결과 데이터를 군집화 기법을 활용하여 왜곡 가능성이 존재하는 평가위원을 분류하고, 이를 평가위원 선정 시 반영하여 왜곡 을 억제하는 방안을 모색하였다. 이러한 연구 결과를 바탕으로 평가의 공정성 및 신뢰성 향상 측면에 기여할 수 있을 것으로 기대한다.

• 한국경영정보학회:학술대회논문집
• /
• 한국경영정보학회 2007년도 추계학술대회
• /
• pp.597-602
• /
• 2007

본 연구는 추천시스템에서 협업필터링 알고리즘을 이용하여 특정 상품에 대한 고객의 선호도를 예측함에 있어 고객이 상품에 대해 평가한 선호도 평가치를 고객별로 표준화시켜 예측하여 기존의 예측 정확도를 향상시키는 방법에 대하여 연구하였다. 일반적으로 상품에 대한 고객의 선호도를 평가하기 위하여 절대적 기준의 수치적 척도가 제공되지만 개인에 따라서는 상품에 대한 선호 정도가 절대적 척도에 다르게 반영되어 개인별 선호도에 차이가 발생할 수 있다. 이러한 개인적 특성이 동일한 척도의 평가치로 예측되면 예측 결과의 오차를 크게 할 가능성이 있다. 또한 개인이 평가한 선호도 평가치의 편차가 협업필터링 알고리즘을 통한 선호도 예측 정확도와 밀접한 관계를 가지고 있음을 알 수 있었으며 이러한 문제를 해결하기 위하여 개별 고객이 평가한 선호도 평가치를 표준화시켜 표준화된 선호도 평가치를 이용한 선호도 예측을 실시하였다. 분석결과 표준화된 선호도 평가치를 이용한 예측 결과가 비표준화 선호도 평가치를 이용한 예측 결과보다 예측력이 우수함을 알 수 있었으며 결과에 대한 통계적 분석을 통하여 표준화된 선호도 평가치를 이용한 선호도 예측 방법과 비 표준화 선호도 평가치를 이용한 선호도 예측 방법을 혼합할 경우 선호도 예측 정확도를 더 향상시킬 수 있음을 알 수 있었다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2007년도 춘계학술발표논문집
• /
• pp.25-27
• /
• 2007

본 논문에서는 공공기관이 자체적으로 보유하고 있는 특허기술의 이전 및 사업화를 활성화하기 위하여 개발된 선별평가모델에 대한 타당성을 검토하고 공공기관이 보유하고 있는 1,166개의 특허기술을 공공기관과 평가전문기관이 각각 평가하여, 공공기관의 자체평가결과와 전문평가기관의 선별평가결과를 비교함으로써 공공기관의 자체평가능력을 제고하기 위한 방안을 수립한다. 선별평가점수와 자체평가점수의 차이를 분석한 결과 상용화가능성 항목은 차이의 평균(0.092)은 작으나 차이의 표준편차가 커서 공공기관과 평가기관의 견해 차이가 큰 것으로 분석되었다.

• 융합정보논문지
• /
• 제9권8호
• /
• pp.123-133
• /
• 2019

이 연구의 목적은 문화예술행사 평가 과정에서 제기되는 평가 오류의 문제 중 하나인 후광효과를 실증적으로 분석하여 문제점을 진단하고 개선 방향을 제시하는 것이다. 이 연구는 2014년과 2015년 진행된 107개 지역대표공연예술제 평가 결과를 대상으로 3개 평가 영역, 15개 평가지표의 평가 결과에 대한 상관관계분석, 요인분석, 회귀분석을 통해 후광효과를 진단하였다. 분석 결과 평가지표 간의 상관계수의 평균은 2014년 0.676, 2015년 0.584로 나타났으며, 요인구조와 평가 영역은 일치하지 않았다. 회귀분석 결과 타 영역의 평가점수와 표준편차는 기획, 집행, 결과영역의 평가 결과에 영향을 미치는 것으로 나타났다. 이러한 평가결과의 왜곡은 평가의 신뢰성과 수용성을 낮추므로 합리적이고 객관적 평가를 위해 평가기준의 정교화, 평가지표별 평가자 다양화, 평가자 대상 사전교육, 메타평가의 실행을 통해 후광효과를 통제할 필요성을 제기한다.