• 기술혁신학회지
• /
• 제12권1호
• /
• pp.137-164
• /
• 2009

본 연구는 출연(연) 성과향상을 위한 기관평가시스템의 발전방안 논의의 일환으로 출연(연) 기관평가시스템이 연구기관 구성원들의 평가결과에 대한 수용성 정도에 미치는 영향과 이로 인한 연구기관 성과에 미치는 영향을 살펴보았다. 분석결과 경제 인문사회연구회의 출연(연) 기관평가시스템은 연구기관 성과에 유의적인 정(+)의 영향을 미쳤으며, 평가결과 수용성은 연구기관 성과에 관련성이 있는 것으로 확인되었다. 또한, 성과가 높은 기관들은 전반적으로 기관평가시스템에 대한 긍정적 인식과 함께 평가결과 수용태도도 높다는 점을 확인 할 수 있었다. 그러나 출연(연) 기관평가시스템의 전반적 취약점들에 의해 평가결과에 대한 수용도가 높지 않고, 정부 및 연구회 차원에서도 평가결과의 적극적인 활용에 제약이 있음도 알 수 있었다. 끝으로 이러한 연구결과에 따른 개선점을 제시하고, 향후 연구방향과 한계점에 대하여 논의하였다.

• 융합정보논문지
• /
• 제9권8호
• /
• pp.123-133
• /
• 2019

이 연구의 목적은 문화예술행사 평가 과정에서 제기되는 평가 오류의 문제 중 하나인 후광효과를 실증적으로 분석하여 문제점을 진단하고 개선 방향을 제시하는 것이다. 이 연구는 2014년과 2015년 진행된 107개 지역대표공연예술제 평가 결과를 대상으로 3개 평가 영역, 15개 평가지표의 평가 결과에 대한 상관관계분석, 요인분석, 회귀분석을 통해 후광효과를 진단하였다. 분석 결과 평가지표 간의 상관계수의 평균은 2014년 0.676, 2015년 0.584로 나타났으며, 요인구조와 평가 영역은 일치하지 않았다. 회귀분석 결과 타 영역의 평가점수와 표준편차는 기획, 집행, 결과영역의 평가 결과에 영향을 미치는 것으로 나타났다. 이러한 평가결과의 왜곡은 평가의 신뢰성과 수용성을 낮추므로 합리적이고 객관적 평가를 위해 평가기준의 정교화, 평가지표별 평가자 다양화, 평가자 대상 사전교육, 메타평가의 실행을 통해 후광효과를 통제할 필요성을 제기한다.

• 기술혁신학회지
• /
• 제20권2호
• /
• pp.271-291
• /
• 2017

본 연구에서는 정부출연연구기관 중 하나인 K 연구원 사례를 활용하여 연구개발 프로젝트에 대한 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계 개선을 위한 시사점을 도출하였다. 비교 분석을 위해 정성평가 결과는 국가과학기술연구회 규정에 따라 진행된 실제 평가결과를, 정량평가 결과는 연구개발 프로젝트의 산출물 데이터를 기반으로 자료포락분석(data envelopment analysis) 결과를 활용하였다. 비모수 상관관계 분석(Kendall's ${\tau}$)을 비롯한 다양한 분석 결과, 정성평가와 정량평가 결과 사이에는 분명한 차이점이 있는 것으로 확인되었다. 따라서 단순 정성 또는 정량평가로 연구개발 프로젝트를 평가하기보다 정성 및 정량평가가 상호보완적으로 진행된다면, 평가 시 각 연구개발 프로젝트의 특성을 반영함과 동시에 객관성도 보다 확보할 수 있을 것으로 기대된다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2007년도 춘계학술발표논문집
• /
• pp.25-27
• /
• 2007

본 논문에서는 공공기관이 자체적으로 보유하고 있는 특허기술의 이전 및 사업화를 활성화하기 위하여 개발된 선별평가모델에 대한 타당성을 검토하고 공공기관이 보유하고 있는 1,166개의 특허기술을 공공기관과 평가전문기관이 각각 평가하여, 공공기관의 자체평가결과와 전문평가기관의 선별평가결과를 비교함으로써 공공기관의 자체평가능력을 제고하기 위한 방안을 수립한다. 선별평가점수와 자체평가점수의 차이를 분석한 결과 상용화가능성 항목은 차이의 평균(0.092)은 작으나 차이의 표준편차가 커서 공공기관과 평가기관의 견해 차이가 큰 것으로 분석되었다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2017년도 추계학술대회 논문집
• /
• pp.173-185
• /
• 2017

본 논문에서는 해양 및 수산 분야의 투자용 기술력평가모형 개발을 위하여 민간 VC투자 활성화를 위한 평가기법 선행조사를 수행하며, 국내 관련 전문기관 등의 기술투자 관련 기술력평가 모형개발과 활용수준 등을 조사하고, 해외 관련 전문기관의 기술평가모형 현황에 대한 조사·분석을 수행하였다. 또한 투자용 기술력평가 모형의 용도와 방향 설정을 위하여 국내 기술투자 관련 전문가 그룹을 활용하여 기술공급자와 수요자 관점에서의 견해를 반영한 투자모형의 용도와 방향설정을 제시하였다. 결과적으로 기술투자 목적의 평가요인을 도출하고, 기술투자자 입장의 평가결과 유효성 검증을 통해 평가결과의 실무적 활용성을 제고시키고자 한다. 기술보증기금에서 개발한 기존의 투자용 기술력평가 모형이 많은 타 기관에 파급되어 운영되고 있지만, 활용수준이 미미한 점을 검토하여 VC의 투자의사결정 요소에 관한 연구결과를 기반으로 해양수산분야 투자용 기술력평가 신규모형을 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 춘계학술발표대회
• /
• pp.65-68
• /
• 2008

본 논문은 영한 과학기술 논문 자동번역 시스템을 대상으로 이루어진 수동 평가와 자동 평가 사이의 상관 관계를 밝힘으로써 수동 평가와 자동 평가 중에 한쪽의 방법에 의해서 평가가 이루어지더라도 다른 쪽의 수치를 파악할 수 있도록 하는데 목표가 있다. 본 논문에서 수행한 수동 평가는 5 인의 전문 번역가가 5 회에 걸쳐 평가한 결과이며, 자동 평가는 영어 원문 1,000 문장에 대한 8 인이 번역한 8,000 문장의 정답문(References)과 자동번역 결과를 어절 단위와 형태소 단위로 N-gram 비교를 통해 평가된 결과이다. 본 논문에서 도출된 식은 사용하는 평가 집합과 대상 번역 시스템 별로 자동 평가와 수동 평가 간의 상관 계수를 만들어내고 수동 번역률을 구하는 식을 동일하게 적용한다면 시스템의 자동 평가 결과로부터 성능을 직관적으로 해석하는데 상당히 도움이 될 것이다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제21권2호
• /
• pp.331-345
• /
• 2007

본 연구에서는 중학생들이 수학 평가 결과를 어떻게 파지하는지를 탐구하고자 하였다. 이를 위해, 측정시기, 문항 유형, 성적, 평가요소 등을 학생들이 평가결과를 파지하는데 중요한 요인이라고 보고 이 변인들과 관련된 학생들의 평가결과 파지 유형을 분류하였다. 이를 토대로, 두 명의 연구 참여자를 선정하여 심층면담을 진행함으로써 그들의 평가에서 핵심적인 역할을 하는 요소가 무엇이며 그것이 향후에 어떤 형태로 파지되어 나타나는지를 분석함으로써 중학생들의 수학과 평가 결과의 파지 유형을 분석하였다.

• 기술혁신학회지
• /
• 제12권1호
• /
• pp.113-136
• /
• 2009

국가 연구개발사업의 효율성과 생산성을 제고하기 위하여, 정부에서는 '국가연구개발사업 등의 성과 평가 및 성과관리에 관한 법률'을 제정하여 정부 각 부처의 연구개발 사업 성과의 효율성을 증대시키고 있다. 본 논문은 국방연구개발사업 자체평가시스템 측면에서 메타평가를 실시하기 위하여 요인분석(Factor Analysis)을 통한 계층분석적 의사결정기법(AHP, Analytic Hierarchy Process)을 사용한 평가지표를 개발한 결과이다. 국방연구개발사업의 메타평가를 위한 평가요소로서 평가상황, 평가투입, 평가수행, 평가결과 등 4요소로 구분하여 평가지표를 개발하였다. 평가항목 선정을 위하여 평가요소 및 평가지표간 요인분석을 실시하여 Cronbach's ${\alpha}$ 값을 측정한 결과, 평가상황요소는 0.877, 평가투입요소는 0.755, 평가결과요소는 0.792, 평가결과요소는 0.906으로 내적일관성을 고려한 신뢰성은 있는 것으로 나타났다. 그리고 평가요소 및 평가항목별 가중치 산정은 AHP기법을 사용하여 분석하였다. 분석결과 조사자의 전체 일관성 지수는 0.09로 조사자의 일관성은 있는 것으로 분석되었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2008년도 학술발표회 논문집
• /
• pp.460-464
• /
• 2008

본 연구에서는 하천환경의 현재 상태를 진단할 수 있는 하천환경평가기법을 제시하고, 수원천을 평가하였다. 이를 위해 윤세의(2007)가 제시한 도시하천평가기법의 53개 평가항목 중 설문조사의 결과를 이용하여 중요도가 높은 하천환경 관련 항목을 선별하고, 이를 하천환경평가기법의 평가항목으로 사용하였다. 평가항목은 총 27개이고, 평가결과는 총괄지수, 특성지수, 부문지수, 항목지수와 평가등급으로 나타내었다. 수원천의 조사구간은 광교저수지 하류부에서 세류대교까지 약 6.0 km이었고, 총 39개의 구간에 대하여 하천환경평가기법과 도시하천평가기법의 평가지수를 비교하였다. 하천환경평가를 적용한 결과 수원천의 총괄지수는 $2.57{\sim}3.86$으로 나타났고, 하천특성 지수는 $2.20{\sim}2.95$, 생태환경 특성지수는 $1.91{\sim}4.02$로 나타났다. 또한 두 가지 평가기법에 대한 총괄지수와 특성지수의 평균등급은 동일하게 계산되었고, 부문지수 평균등급은 수로, 하상 등의 부문에서 등급변동이 나타났지만 2개 등급 이상의 차이를 보이지 않았다. 이러한 평가결과를 통해 도시하천 평가기법으로부터 파생된 하천환경평가기법의 적용가능성은 확인하였다. 앞으로 많은 대상하천을 선정, 평가를 실시하고, 하천의 연속성과 평가인자들 간의 연계성 등을 반영하는 부분에 대한 연구가 더 필요하다.

• 한국실천공학교육학회논문지
• /
• 제4권1호
• /
• pp.7-12
• /
• 2012

대학에서 일반적으로 학습결과를 평가하는 방식에는 크게 두 가지가 있는데 상대평가와 절대평가이다. 최근 우리나라 대학의 문제점은 절대평가에 의한 학점 인플레 현상이 매우 심각하게 나타나고 있다. 절대평가의 이러한 단점과 비교해 봤을 때 상대평가의 가장 유용한 장점은 학습 성취에 대한 개인차의 변별이 가능하다는 점이다. 하지만 상대평가의 단점은 과다한 경쟁 심리가 조장됨에 있다. 본 논문에서는 상대평가에서 협동학습이 학습결과에 미치는 영향에 대해서 설문조사를 바탕으로 분석해 보았다. 상대평가에서 협동학습을 실시한 학생들의 학습결과를 3개의 집단(A그룹 : 학습결과가 A학점 이상, B그룹 : 학습결과가 A학점 미만 B학점 이상, C그룹 : B미만)으로 나누어서 그 결과를 분석 조사하고, 추후 필요한 연구에 대해서도 제시하였다.