• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• v.9 no.1
• /
• pp.555-558
• /
• 2005

국제통화기금(IMF ; International monetary Fund)관리시대를 겪으면서 우리나라는 모든분야에서 실적 및 성과지상주의를 도입하여 모든 것은 효율성과 유연성 위주로 제도를 바꾸었고, 동양의 전통사상인 충효와 신의는 실적과 평가라는 목적과 수단으로 대체되었다. 본 논문에서는 국민의 정부에서 시작되어 참여정부에 이르기까지 동 시기에 우리나라에서 주로 사용해 왔던 성과지상주의와 이에 편승하여 정부가 그동안 만들어 시행해 온 각종 평가 중에서 국가연구개발 평가에 대해 집중적으로 살펴보았다. 평가시스템들이 양산된 배경에는 외국계 상공인들의 요구와 우리나라 시장 확대를 통해 이익을 극대화 하려는 외교적 압력 외에도 평가시스템을 활용함으로써 얻게되는 특정정부부처 등 평가기관들의 권력상승작용에 대한 기대감등으로 경쟁적으로 평가시스템을 도입하였고, 평가시스템에 평가위원 등으로 참여하는 각 대학의 교수 등 평가자들 또한 평가자로서의 권한을 향유하는데 따른 평가집단으로서의 역할을 하면서 냉철한 검토와 준비없이 평가가 진행되고 있다. 따라서 피평가기관이 업무추진보다 평가준비에 더욱 많은 시간을 소비한다면 국가경제에 큰부담으로 작용할 것이므로 사업에 대한 각종평가는 년2회를 넘지 않도록 평가를 제한해야 한다.

• Review of KIISC
• /
• v.13 no.6
• /
• pp.6-6
• /
• 2003

정보보호시스템 공통평가기준(정보통신부고시 제2002-40호)에 의해 정보보호시스템을 평가받기 위해 개발자는 해당평가보증등급의 보증패키지에 속하는 보증컴포넌트에서 요구하는 평가제출물을 작성하여야 한다. 공통평가기준에서는 평가제출물에 대한 작성방법을 제공하고 있지 않으므로 개발자가 평가제출물을 작성하는데 어려움이 있다. 본 고에서는 개발자가 공통평가기준에 기반한 평가제출물을 용이하게 작성할 수 있도록 적용될 수 있는 평가제출물 작성 방법론(순차방식, 병행방식)을 제시한다.

• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• The Journal of the Korea Contents Association
• /
• v.18 no.5
• /
• pp.115-122
• /
• 2018

The purpose of this study is to compare student evaluation methods in team based learning classes for dental hygiene students. The subjects of this study were the score of dental hygiene students who took the courses of 'oral health education practice'. The analysis methods were spearman correlation analysis, skewness, kurtosis and Mann-Whitney U test. As a result, there was a significant correlation between the self-evaluation and peer-evaluation. Self-evaluation showed lenience tendency rather than peer-evaluation and self-evaluation found the highest central tendency. The peer-evaluation result was more lenience and more central in the group where self-evaluation was performed.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2008.05a
• /
• pp.460-464
• /
• 2008

본 연구에서는 하천환경의 현재 상태를 진단할 수 있는 하천환경평가기법을 제시하고, 수원천을 평가하였다. 이를 위해 윤세의(2007)가 제시한 도시하천평가기법의 53개 평가항목 중 설문조사의 결과를 이용하여 중요도가 높은 하천환경 관련 항목을 선별하고, 이를 하천환경평가기법의 평가항목으로 사용하였다. 평가항목은 총 27개이고, 평가결과는 총괄지수, 특성지수, 부문지수, 항목지수와 평가등급으로 나타내었다. 수원천의 조사구간은 광교저수지 하류부에서 세류대교까지 약 6.0 km이었고, 총 39개의 구간에 대하여 하천환경평가기법과 도시하천평가기법의 평가지수를 비교하였다. 하천환경평가를 적용한 결과 수원천의 총괄지수는 $2.57{\sim}3.86$으로 나타났고, 하천특성 지수는 $2.20{\sim}2.95$, 생태환경 특성지수는 $1.91{\sim}4.02$로 나타났다. 또한 두 가지 평가기법에 대한 총괄지수와 특성지수의 평균등급은 동일하게 계산되었고, 부문지수 평균등급은 수로, 하상 등의 부문에서 등급변동이 나타났지만 2개 등급 이상의 차이를 보이지 않았다. 이러한 평가결과를 통해 도시하천 평가기법으로부터 파생된 하천환경평가기법의 적용가능성은 확인하였다. 앞으로 많은 대상하천을 선정, 평가를 실시하고, 하천의 연속성과 평가인자들 간의 연계성 등을 반영하는 부분에 대한 연구가 더 필요하다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2011.01a
• /
• pp.203-206
• /
• 2011

공개 경쟁에 의한 제안 업체 선정과 객관적이고 공정한 제안서의 평가는 공공IT 부문에 있어서 성공적인 사업 수행을 위한 필수요소이다. '소프트웨어 기술성 평가기준 적용 가이드'에서는 소프트웨어 기술성 평가기준을 적용하는데 필요한 절차와 단계별 적용방법 및 세부내용 해설과 평가척도 예시를 제시하여 활용이 가능하도록 하였다. 그러나 기술성을 평가하기 위한 평가부문별 평가항목 및 평가기준에 대한 부분이 구체적이지 않아 경쟁력 있는 제안 업체의 기술성을 정확하고 공정하게 평가하는데 어려움이 있다. 따라서 본 연구에서는 제안 업체의 기술성을 정확하게 평가하기 위하여 평가요소 중에서 기술 평가요소에 대한 부분을 평가지표로 선정하고 통계 기법으로 평가지표를 검증하는 방법을 제시하고자 한다.

• Korean Journal of Cognitive Science
• /
• v.30 no.4
• /
• pp.175-197
• /
• 2019

Writing is an activity known to enhance higher level thinking. It allows the writer to utilize, apply, and actively expand the acquired knowledge. One way to increase writing activity in classroom setting is to use peer assessment. In this study, we sought to increase the accuracy of peer assessment by having students discuss about the scoring rubric or by referring to an expert's assessment. One hundred and fifty college students participated in the experiment. In the group that referred to the expert's assessment, the accuracy of peer assessment increased when the same piece of writing was evaluated; however, no such increase was observed when another piece of writing was assessed. On the other hand, in the group that discussed about the scoring rubric, the accuracy of peer assessment remained the same when the same piece of writing was evaluated, but increased when another piece of writing was assessed. Also, in the discussion group, the accuracy increased in proportion to the number of comments during the discussion. The results suggest that active and voluntary participation of students increase the accuracy of peer assessment.

• 한국지구과학회:학술대회논문집
• /
• 2006.02a
• /
• pp.83-88
• /
• 2006

본 연구에서는 교사 스스로 느끼는 평가에 대한 거부감을 최소화하면서 바람직한 평가 전문성 신장 방향과 방법을 제공할 수 있도록 과학교사를 대상으로 한 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이 프로그램은 자기반성적 관점에서 과학교사 스스로 자신의 학생 평가 전문성을 진단할 수 있는 도구와 이를 이용하여 얻은 진단 결과를 바탕으로 학생 평가 전문성 수준을 가늠해 볼 수 있는 학생 평가 전문성 등급 평정 척도와 학생 평가 전문성 신장을 위한 안내로 구성되어 있다. 이 프로그램을 개발하기 위해 본 연구에서는 과학교사의 학생 평가 전문성의 개념을 탐색하고, 바람직한 학생 평가 전문성 신장의 방향과 방법을 모색하였다. 또한 과학교사의 학생 평가 전문성 요소를 추출하여 범주별로 정리한 다음 학생 평가 전문성 요소별로 구체적인 수준과 상태를 제시한 과학교사의 학생 평가 전문성 기준을 마련하였다. 마련된 기준을 근거로 과학교사의 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이를 위해 문헌연구와 더불어 수차례의 과학교육전문가 검토 및 협의, 학교 현장 교사들의 검토 및 협의를 거치면서 수정${\cdot}$보완하는 과정을 거쳤다. 본 연구에서 개발한 과학교사의 학생 평가 전문성 자기 진단 프로그램에는 진단 내용에 과학교사의 평가에 관한 지식과 더불어 실무적인 능력과 실제로 행하고 있는 평가의 실천 내용이 포함될 수 있도록 노력하였다. 또한 교사 스스로 자신의 평가 전문성 수준을 가늠해 볼 수 있도록 전형적인 응답 유형과 채점 기준, 해설 및 평가 전문성 등급 평정 척도를 제시했고 진단 결과를 바탕으로 평가 전문성의 부족한 부분을 보완하고 신장시킬 수 있도록 간략한 전문성 신장을 위한 처방과 평가 지향에 따른 교사의 전형적인 유형을 제시하여 자기 진단 프로그램을 사용하는 교사가 전문성 개선 방향과 방법을 설정하는 데 도움을 주고자 했다. 본 연구는 과학교사 자신의 학생 평가 전문성에 대한 환심을 높이고, 이를 진단하고 신장시키는 데 도움을 줄 수 있을 뿐만 아니라, 과학교사의 학생 평가 전문성 신장을 위한 방안을 마련하려는 데에도 좋은 시사점을 제공할 것으로 판단된다. 이를 위해 과학교사의 학생 평가 전문성 진단 프로그램에 제시된 전문성 평정 기준을 좀 더 객관화하고 보완할 수 있도록 많은 교사들에게 이 프로그램을 사용해 보게 하고 그 결과를 분석하는 후속 연구가 필요하다. 또한, 본 연구에서는 진단 운항을 제작하는 데 있어 지구과학 내용을 소재로 사용하였으나 본 연구에 제시된 진단 문항 제작에 관한 해설을 참고하여 다른 과학교과 내용을 소재로 한 진단 문항 제작도 필요할 것으로 보인다.

• Journal of the Computational Structural Engineering Institute of Korea
• /
• v.23 no.4
• /
• pp.425-434
• /
• 2010

This study presents the alternative evaluation technique for the high-rise building structural system. The alternative evaluation of the structural system is performed in three steps, that is, preliminary evaluation, main evaluation and detailed evaluation. The evaluation categories are composed of structural performance, economic feasibility and term of work. Each categories are composed of detailed items to evaluate of its own. In preliminary evaluation, qualitative evaluation based on experimental knowledge is performed. In main and detailed evaluations, quantitative evaluations based on numeric data are performed. The weighted-sum method is applied to integrate the evaluated results of each items and its importance. The applicability of the proposed method was verified by applying it to the practical buildings and simulate the procedures.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.241-245
• /
• 2003

본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.