• Journal of Convergence for Information Technology
• /
• v.9 no.8
• /
• pp.123-133
• /
• 2019

This research empirically investigated halo effect in evaluating culture and art performance program. We diagnosed halo effect by using correlation analysis, factor analysis, and regression model on results and scores of fifteen evaluation indicators within three categories for the 107 Local Representative Performance Art Festivals in 2014 and 2015. The results indicates strong possibility of halo effect in culture and art performance evaluation. The correlation coefficients between evaluation indicators is higher than 0.5 and factor structure does not match with evaluation categories in both years. Scores in categories and standard deviations also are also significantly correlated with each other. The results implies that more sophisticated standard, diversification of evaluator, education, and meta-anlysis are need to control halo effect.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.467-472
• /
• 2021

본 연구는 패션앱 후기글에 나타나는 구매자의 의견에 대한 '평가분석(Evaluation Analysis: EA)'을 수행하여, 이를 기반으로 상품의 검색 및 추천을 수행하는 의류 검색추천 챗봇을 개발하는 LICO 프로젝트의 언어데이터 구축의 일환으로 수행되었다. '평가분석 트리플(EAT)'과 '평가기반요청 쿼드러플(EARQ)'의 구성요소들에 대한 주석작업은, 도메인 특화된 단일형 핵심어휘와 다단어(MWE) 핵심패턴들을 FST 방식으로 구조화하는 DECO-LGG 언어자원에 기반하여 반자동 언어데이터 증강(SSP) 방식을 통해 진행되었다. 이 과정을 통해 20여만 건의 후기글 문서(230만 어절)로 구성된 EVAD 평가주석데이터셋이 생성되었다. 여성의류 도메인의 평가분석을 위한 '평가속성(ASPECT)' 성분으로 14가지 유형이 분류되었고, 각 '평가속성'에 연동된 '평가내용(VALUE)' 쌍으로 전체 35가지의 {ASPECT-VALUE} 카테고리가 분류되었다. 본 연구에서 구축된 EVAD 평가주석 데이터의 성능을 평가한 결과, F1-Score 0.91의 성능 평가를 획득하였으며, 이를 통해 향후 다른 도메인으로의 확장된 적용 가능성이 유효함을 확인하였다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2001.05a
• /
• pp.210-214
• /
• 2001

본 연구의 목표는 인간의 감성을 평가하기 위하여 행해지는 실험에 있어서 생리신호 측정값 및 주관평가 측정값을 자동적으로 분석하여 결과를 산출하는 시스템을 설계하는데 있다. 인간의 감성을 평가하기 위한 방법으로서 인간의 생리신호(ECG,EEG,GSR,SKT등)를 측정하여 얻는 객관적데이타와 형용사에 의해 측정되는 주관적데이타가 있다. 통합감성평가시스템은 이러한 주관적데이타 객관적데이타를 분석하여 최종적이니 감성평가결과를 산출하는 시스템이다. 지금까지 감성평가실험에서 생리신호 측정값의 분석과 주관적평가측정값의 분석은 상당한 시간과 인력이 소비되었다. 이런 모든과정을 처리할 수 있는 시스템을 개발함으로써 보다 효과적인 실험환경의 조성 및 실험결과 산출로부터 신뢰성있고 다양한 결과를 도출해 낼 수 있을 것이다. 본 시스템은 감성종합 데이터베이스, 생리신호분석시스템, Sheet에 의한 주관평가 시스템, 실시간 주관평가 시스템을 통합하는 시스템이다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 1994.04a
• /
• pp.753-761
• /
• 1994

기초연구는 연구성과 정량화가 어렵기 때문에 평가에 경제적 평가법보다 평가자의 주관에 의한 선별적 평가법이 많이 사용되고 있다. 그러므로 다른 연구개발 과제보다 평가자의 영향을 많이 받아 평가자 선정이 무엇보다 중요하다. 본 연구에서는 913개의 목적기초연구 평가서를 분석하여 학문분야별 평가자의 특성과 평가자 선정시 고려할 사항을 제시하였다. 자료 분석은 General linear model과 Categorical data analysis를 이용하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.775-780
• /
• 2001

정보통신 기술 발전과 함께 새로운 교육 패러다임에 대한 요구는 e-learning 이라는 학습 시스템을 출현케 하였다. 이는 사용자의 요구 및 학습 내용에 따라 매우 다양한 형태로 설계가능하나 사용자 사용성 평가를 늪이기 위해서는 웹기반 시스템 사용성 평가와 교육시스템 평가 항목을 조정하여 새로운 평가분석 항목의 도출이 요구되어진다. 본 연구에서는 웹 기반 e-learning 시스템분석 모형을 위해 기존의 교육 시스템 분석 항목들을 조정하여 학습자 분석, 기술분석, 학습 수행 분석, 응용 분석 학습자로 분석 등을 요소로 하는 새로운 분석 모형 제시하였다. 또한 이를 적응하여 사용자 사용성 평가를 할 수 있는 관계를 설정하여 활용하는 방법을 제시하였다. 이와 같은 방법은 효율적인 e-learning 시스템 분석이 가능하도록 한다. 이때 설정되어지는 관계는 절대적 포함관계 상대적 포함 관계, 단일주제를 가진 상대적 포함관계 등이다.

• Journal of the military operations research society of Korea
• /
• v.35 no.3
• /
• pp.101-117
• /
• 2009

The objective of this study is to find relations between success factors of project management and user satisfaction and usage for analysis report. According to emprical study, the main factors that affect user satisfaction are requirement and proper planning. And the main factors that affect usage are expert of analysis, proper planning and user satisfaction.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2010.07a
• /
• pp.35-38
• /
• 2010

본 논문에서는 일상생활 속에서 무자각적으로 생체신호를 측정하고 분석하여 감성을 평가할 수 있는 임베디드 시스템에 관하여 연구하였다. 지속적으로 변화하는 감성을 일관적이며 신뢰성이 높은 생리적인 방법으로 평가하기 위해 심전도(ECG:Electrocardiogram), 맥파(PPG:Photoplethysmogram)의 두 가지 생체신호를 측정하고, 무선전송(Bluetooth) 장치를 이용하여 측정한 생체신호를 실시간으로 노트북PC로 전송하여 분석하였다. 생체신호의 분석방법은 FFT(Fast Fourier Transform)과 전력스펙트럼밀도(Power Spectrum Density)를 이용한 주파수 분석방법으로 두 생체신호의 특정 주파수 대역이 가지는 자율신경계의 활성도의 비율을 분석하여 비교 연구하였다. 또한 보다 빠르고 정확한 감성을 평가하기 위하여 분석알고리즘의 연산을 최소화 하였으며 그래프를 이용한 분석결과의 시각화를 하였다. 본 논문에서는 무자각적인 생체신호 측정 시스템을 이용하여 다양한 상황에서 생체신호를 측정하고, 개발한 분석 알고리즘으로 분석한 결과의 차이를 연구하여 정확도 및 신뢰도를 기준으로 감성을 평가하기 위한 분석 시스템을 평가하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2006.05a
• /
• pp.214-220
• /
• 2006

본 연구의 목적은 지역별 농업가뭄의 평가를 위하여 농업가뭄지표의 적용성을 분석하는 것이다. 가뭄발생 상황에 분석은 SPI, PDSI, SWSI, CMI, Decile 및 Percent of Normal에 대하여 농업가뭄에 대한 적용성을 검토하였다. 기존 가뭄지수에 대한 가뭄발생시기 및 심도에 대한 분석을 통하여 농업가뭄을 잘 나타낼 수 있는 농업용 저수지 저수율과 3개월 지체된 표준강수지수, 평년강우비율, 무강우일수 등 4가지를 농업가뭄지표로 선정하였으며, 이들 지수를 통하여 가뭄평가에 적용하였다. 농업가뭄 평가를 위하여 평시대비단계, 가뭄우려단계, 가뭄확산단계의 3단계로 구성된 기존의 가뭄단계를 가뭄진행상황의 판단을 위해 6단계로 세분하여 이에 대한 기준을 정립하였다. 농업용 저수지의 저수율에 따른 농업가뭄의 판단은 영농시기에 대한 농업용수의 공급에는 적당하지만, 겨울에서 봄으로 이어지는 영농준비시기 및 논에서의 영농이 끝난 후의 가을철 이후의 가뭄에 대해서는 대표적인 기준으로서는 미흡한 것으로 나타났다. 농업용 저수지의 저수율에 따른 농업가뭄의 표현은 저수율의 지연효과, 저수율과 가뭄심도의 일반화된 상관성을 수립하기 어려운 단점이 있으므로, 영농상황에 따른 시기별 저수율의 고려할 수 있도록 구성하고, 표준강수지수, 평년강우비율 및 무강우일수 등의 지수를 이용하여 보완하도록 하였다. 이를 통해 제시된 농업가뭄지표 및 가뭄단계에 의한 농업가뭄 평가 결과 농업가뭄 발생시기, 지속기간 및 심도에 대한 적용성이 우수한 것으로 분석되었다. 농업가뭄지표 및 농업가뭄단계는 농업가뭄 평가 및 웹기반 정보제공시스템의 구축을 통하여 농업가뭄 분석 및 판단에 이용하고 있다. 농업가뭄의 분석 및 평가를 위한 농업가뭄 평가시스템은 가뭄분석을 위한 자료의 수집 및 분석, 농업가뭄심도의 분류, 지역별 농업가뭄 상황의 도식화 등을 수행하도록 구성되어 있다. 농업가뭄 평가시스템을 통해 구축된 시기별, 지역별 분석결과는 DB를 통하여 관리되며, 홈페이지를 통하여 실시간 분석결과를 제공할 수 있도록 웹기반 정보제공시스템을 구축하였다. 이상과 같은 농업가뭄 평가 및 웹기반 정보제공시스템은 현재 한국농촌공사 농어촌연구원에서 시범운영중에 있으며 농업가뭄의 평가 및 대책수립을 위한 지원수단으로 효율적으로 활용될 수 있을 것으로 판단되었다.

• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• Spatial Information Research
• /
• v.19 no.6
• /
• pp.1-10
• /
• 2011

The evaluation systems on the National Spatial Information Policy(NSIP) has been changed, since the Establishment and Use of the National Geographic Information System Act(NGIS Act, 2000) was abolished and the National Spatial Data Infrastructure Act(NSDI Act, 2009) was enacted. As compared to the NGIS Act, the policy evaluation systems for National Spatial Information are regarded as unified and centralized. However, some argue that the claim of budget and the legal feasibility of the NSIP was weakened. Given the different views on the two laws, this study aims at analyzing the changes in the evaluation system by comparing the NGIS Act and the NSDI Act. A Comparative Analysis framework is employed. The subjects of the comparative analysis are evaluation mechanism, evaluator, evaluation target and range, after-assessment utilization, and agent. In order to improve the effectiveness of the evaluation system, it is recommended that the clarification of evaluation purposes, institutional enhancement for evaluation agency, the development of evaluation indexes, the combination of top-down approach and bottom -up approach, and the increased linkage between budget and evaluation result.