• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• 한국정책학회보
• /
• v.21 no.2
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2006.11a
• /
• pp.683-692
• /
• 2006

IT투자 성과의 정량화에 대한 필요성이 높아짐에 따라 많은 학계와 연구단체에서 IT투자 성과의 화폐가치 전환 및 정량적 평가를 위한 다양한 측정방법들을 개발하여 제시하고 있으며, 이들 기법을 활용하여 IT투자 성과를 정량적으로 평가하는 기업들이 점차 늘고 있다. 그러나 이와 같은 IT투자성과의 정량적 평가 기법을 도입한 기업의 실무자들은 화폐가치로 전환되어 도출된 결과들이 가시적으로 확인될 수 있는 것이 아니기 때문에 IT가 제공하는 실 효과를 제대로 반영하여 평가되었는지에 대하여 확신하지 못하고 있다. 이에 본 연구는IT투자 성과의 정량적 평가 결과를 기존의 많은 연구를 통해 IT투자 성과의 정성적인 평가로 입증된 사용자 만족도로써 설명이 가능한지를 사례 기업의 정량적 평가결과와 사용자 만족도를 분석함으로써 상관관계를 파악하였다. 사례 연구 결과, 다음과 같은 시사점을 도출하였다. 첫째, 정보화 효과금액은 사용자 만족도와 상관관계가 있다. 둘째, 합리적인 정보화효과금액의 도출을 위해서는 조직 내에서 시스템의 효과를 정량화할 수 있는 지표 개발 및 화폐전환데이터의 관리가 중요하다. 셋째, IT ROI는 시스템간의 성과를 비교하는 것에는 부적절하며 개별시스템의 성과 및 효율성 측정 기준으로 사용한다. 넷째, 정량적 평가가 여전히 시스템의 전략적인 부분 등에 대한 평가에는 미흡하기 때문에 이를 보완하기 위한 방법으로 사용자 만족도의 사용이 가능하다.

• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.158-175
• /
• 2005

정부지원 R&D 프로그램에 대한 성과평가는 과학기술혁신을 위한 정부투자의 규모가 확대되면서 동시에 그 수요가 증가하고 있다. 본 연구는 국내외에서 시행되고 있는 정부 R&B 프로그램의 성과평가에 대한 체계를 비교분석함으로서 올바른 성과평가의 틀에 관한 시사점을 제공하는데 목적이 있다. 각 프로그램을 비교분석하기에 앞서 성과평가와 관련한 일반적인 이론들을 살펴봄으로써 R&D프로그램에 대한 성과평가가 갖추어야 할 이론적인 체계에 대해 살펴보았다. R&D 프로그램의 성과평가를 위해서는 R&D 활동 자체가 혁신시스템 안에서 수행되고, 집행과정에서 그 효과가 증폭되어 혁신시스템을 변화시킬 수도 있기 때문에 일반적인 정책평가 이론 외에도 혁신시스템 이론을 함께 고려할 필요가 있다. 혁신시스템적 사고방식하에서 올바른 성과평가를 수행하기 위해서는 일반적인 평가기준으로 서 제시되는 적합성, 효율성, 효과성의 각각에 대해 혁신시스템적 기여도에 대한 고려가 충실히 반영되어 있어야 한다. 예를 들어 혁신시스템의 모든 요소들을 포함하는지, 환경적인요인을 고려했는지, 혁신 요소들 간에 형성된 네트워크에 대해 충분한 고찰을 하고 있는지 등이 여기에 해당한다. 실증연구에서는 이러한 것들이 모두 반영되었는가에 초점을 맞춰 각 국가 별 R&D 프로그램에 대한 성과평가를 분석하였다. 분석 대상은 해외와 국내의 주요 R&D 프로그램으로 비교적 성과평가가 활발하게 진행되었던 사례들을 선정하였다. 이러한 평가에 대한 평가, 즉 메타평가를 통해 각 프로그램의 성과평가가 가지는 특성을 밝히고 이들을 비교하여 적절한시사점 이 도출하였다. 이들 사례를 비교 분석한다면 그 결과를 바탕으로 하여 혁신시스템을 고려한 성과평가의 일반적인 모형을 제시할 수 있을 것으로 기대한다. 나아가 추후에 진행될 R&D 프로그램에 대한 성과평가에서도 본 연구에서 제시한 일반 모형을 응용함으로써 조금 더 체계화된 성과평가가 이루어질 수 있을 것으로 기대한다.결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.로 하기 때문에 원가를 절감할 수 있다.환경현안에 대한 정치경제적 접근을 외면하지 말고 교과서 저작의 소재로 삼을 수 있어야 하며, 이는 '환경관리주의'와 '녹색소비'에 머물러 있는 '환경 지식교육'과 실천을 한단계 진전시키는 작업으로 이어질 것이다. 이후 10년의 환경교육은 바로 '생태적 합리성'과 '환경정의'라는 두 '화두'에 터하여 세워져야 한다.배액에서 약해를 보였으나, 25% 야자지방산의 경우 50 ${\sim}$ 100배액 어디에서도 액해를 보이지 않았다. 별도로 적용한 시험에서, 토마토의 경우에도 25% 야자지방산 비누 50 ${\sim}$ 100배액 모두 약해를 발생하지 않았으나, 오이에서는 25% 야자지방산 비누 100배액에도 약해를 나타내었다. 12. 이상의 결과, 천연지방산을 이용하여 유기농업에 허용되는 각종의 살충비누를 제조할 수 있었으며, 방제가 조사결과 진딧물, 응애 등 껍질이 연약한 곤충의 방제에 효과적인 것으로 나타났다. 따라서 제조된 살충비누를 활용하면 환경친화적인 해충방제가 가능하다고 판단되었다.능을 충진시켜서 암세포를 파괴시킨다. 또한 콜로니 자극인자인 사이토카인을 생산시켜서 면역담당세포의 신생을 촉진시키기도 하며, 암의 화학요법과 방사선 요법으로 저하된 백혈구를 회복시키는 역할을 한다. 따라서 최근의

• Journal of Korea Technology Innovation Society
• /
• v.18 no.4
• /
• pp.539-560
• /
• 2015

Korea has enacted the Performance Evaluation law on the R&D Programs since 2006. This study categorizes program size, program history, sustainability, self-evaluation result as antecedents, and analyze the relationship between the antecedents and Meta-evaluation result, the change rate of appropriations. The result shows that program size, program history, self-evaluation result have significant effect to the Meta-evaluation result. And Meta-evaluation result has significant effect to the change rate of appropriations. This study has implication that the performance evaluation system shows significant effect to the appropriations.

• Journal of the Korean Society for Library and Information Science
• /
• v.42 no.4
• /
• pp.113-139
• /
• 2008

Under rapidly changing circumstances, public libraries are required to evaluate the performance with an integrated point of view to cope with a variety of changes. In other words, it is necessary to develop integrated library performance appraisal indicators which are both quantitative and qualitative. Recently, ISO and IFLA attempt to adopt an integrated performance evaluation system based on the Balanced Scorecard(BSC). Therefore, this study defines four aspects of the library appraisal including input, process, output and outcome, and suggests a new library appraisal system and indicators of each appraisal aspect. In the concrete, appraisal aspects were derived from ISO appraisal system, and an appraisal system and indicators were presented based on the comparison and analysis of the ones respectively used inside and outside of Korea. Finally, this study proposes the method of suitability evaluation of those performance indicators by librarians and professors in Korea.

• Journal of Global Scholars of Marketing Science
• /
• v.3
• /
• pp.173-193
• /
• 1999

본 연구는 소비자의 제품성과 평가에 대한 선행요인을 규명하기 위한 것이다. 기존의 연구 결과에서는 제품성과에 대한 소비자의 사전 기대 신념 수준이 제품 성과 평가에 주요한 원인임을 밝히고 있다. 1980년대부터 소비자행동 및 심리학 분야에서 감정의 역할 및 기타 심리요소와의 관계에 대한 관심이 증대되면서 제품 평가 과정에 있어서 감정이 중요한 요인이 될 수 있음이 밝혀 졌다. 즉, 제품성과 평가에 있어서 소비자의 일시적 측면과 감정적 측면에 모두 영향을 받을 수 있다는 것이다. 그러나 감정에 관련된 인구에 있어서 항상 문제가 되어왔던 부분이 감정의 개념 규정과 특성이다. 현재까지도 이 문제는 여전히 해결해야 할 것이 많지만 이에 대한 새로운 연구 결과가 많이 제시되었다. 본 연구에서는 우선 이론적 고찰을 통하여 소비자 감정 반응의 유형을 구분하고 제품 평가 과정에서 발견되는 감정 반응은 주로 기분 상태의 성질을 띠고 있음을 설명한다. 한편 본 연구와 관련하여 주목할 만한 이론이 감정의 인지적 평가 이론이다. 이 이론의 필자는 개인의 복지에 영향을 미치는 사건에 대한 인지적 평가가 감정에 선행한다는 것이다. 본 연구에서는 감정의 인지적 점포 내 기분 상태의 인지적 평가 요소로 사전적 기대와 점포 평가를 제시하고, 점포 내 기분 상태의 결과로 제품 성과 평가를 제시하는 연구 모형을 수립하였다. 이 연구 모형에 대해 공분산 구조 분석을 실시한 결과 점포 평가가 점포 내 기분 상태의 중요한 인지적 평가 요인이 되었으며, 점포 내 기분 상태의 유쾌 차원이 소비자의 제품 성과 평가에 유의적인 영향을 미치는 것으로 나타났다.

• Journal of Engineering Education Research
• /
• v.13 no.4
• /
• pp.87-92
• /
• 2010

It is strongly desirable to continuously study the program outcomes that are one of the requirements of engineering accreditation. In this paper, the results of program outcome evaluation obtained by using four tools - exit written exams, essay tests, capstone design, and an official English test - were compared to those of program outcome evaluation obtained by a course-embedded assessment method. The former evaluation was carried out for 15 students who graduated in February 2010 by using the four evaluation tools, while the latter was performed by using a course offered in the Spring and Fall semesters in 2009. Two evaluation results revealed no large difference in almost all 12 program outcomes, which indicates that course-embedded assessment would be one of the practical and effective program outcome evaluation tools.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2017.05a
• /
• pp.753-783
• /
• 2017

본 연구는 고등교육기관의 평가인증제가 대학의 경영성과에 어떠한 영향을 미치는지를 알아보기 위하여 1주기 기관평가인증제가 대학 균형성과표(BSC) 4가지 관점의 성과에 미치는 영향을 검증할 목적으로 진행되었다. 이를 위하여 고등교육기관의 1주기 평가인증제에 대한 내용을 살펴보고, 대학 조직의 균형성과표(BSC) 및 1주기 기관평가인증제의 성과분석에 대한 선행연구에 대해 살펴보았다. 그리고 독립변수인 기관평가인증제 즉, 기관평가인증제도에 대한 관심의 정도, 기관평가인증의 평가준비에 대한 적절성, 기관평가인증의 자체평가에 대한 만족도가 대학 균형성과표(BSC)의 고객관점, 내부프로세스 관점, 학습과 성장 관점, 재무 관점의 4가지 성과에 미치는 영향을 분석 검증하였다. 기존의 1주기 기관평가인증제의 성과분석에 관한 선행 연구들은 주로 평가인증제 체제 자체의 성과와 각 평가요소에 있어서 대학의 변화에 초점을 두고 성과를 분석함으로써 정작 기관평가인증제가 평가인증의 평가대상인 대학의 경영성과에 미친 영향에 대한 분석은 제대로 이루어지지 못하였다. 이러한 점에서 기관평가인증제가 대학의 경영성과에 미친 영향을 분석한 결과 첫째, 기관평가인증제중 기관평가인증의 평가준비에 대한 적절성과 기관평가인증의 자체평가에 대한 만족도는 대학 BSC의 고객 성과에 정(+)의 영향을 미치지만, 기관평가인증제도에 대한 관심 정도는 고객 성과에 영향을 미치지 않는 것으로 나타났다. 둘째, 기관평가인증제 중 기관평가인증의 평가준비에 대한 적절성과 기관평가인증의 자체평가에 대한 만족도는 대학 BSC의 내부프로세스 성과에 정(+)의 영향을 미치지만, 기관평가인증제도에 대한 관심 정도는 내부프로세스 성과에 영향을 미치지 않는 것으로 나타났다. 셋째, 기관평가인증제 중 기관평가인증제도에 대한 관심 정도와 기관평가인증의 자체평가에 대한 만족도는 대학 BSC의 학습과 성장 성과에 정(+)의 영향을 미치지만, 기관평가인증의 평가준비에 대한 적절성은 학습과 성장 성과에 영향을 미치지 않는 것으로 나타났다. 넷째, 기관평가인증제 중 기관평가인증의 평가준비에 대한 적절성과 기관평가인증의 자체평가에 대한 만족도는 대학 BSC의 재무 성과에 정(+)의 영향을 미치지만, 기관평가인증제도에 대한 관심 정도는 재무 성과에 영향을 미치지 않는 것으로 나타났다. 이는 기관평가인증의 평가준비와 자체평가 과정을 통해 실질적인 교육체계 혁신이나 내부프로세스 효율성 향상으로 인해 교육의 질이 개선되어 학생의 만족도와 선호도가 높아지며, 아울러 안정적 재원확보와 재원의 효율적 관리를 가져오는 것으로 해석된다. 그리고 기관평가인증제도에 대한 인식과 관심은 인증 획득이라는 목표를 설정하게 하고, 기관평가인증의 자체평가를 통해 인증평가에서 요구하는 기준 이상을 충족하도록 학습과 혁신이 이루어지는 것으로 해석할 수 있다. 본 연구의 결과는 학령인구의 급감 등 급변하는 대학의 대내외 환경에서 생존을 넘어 지속가능한 발전을 도모하기 위해 평가인증제를 다양한 대학의 경영성과로 연계할 경영전략 수립에 유용한 정보를 제공할 것이다.

• Journal of Engineering Education Research
• /
• v.14 no.2
• /
• pp.13-20
• /
• 2011

This study aimed to seek the ways of improving program outcomes assessment systems for engineering education accreditation of South Korea through performing comparative analysis on those of the United States. Case-study research method was implemented to achieve the research goal. Five university programs, which have been well recognized as good practices in engineering education accreditation in the United States, were selected and analyzed. In addition, those of three universities in South Korea were chosen for comparative analysis, which were reformed by university affiliated Engineering Education Innovative Centers. The analysis results indicated that there were differences in each program's program outcomes, assessment level of program outcomes, evaluation methods on program outcomes achievement, and analysis and improvement records. It was drawn up that the evaluation methods on program outcomes achievement should be paid full attention. For better program outcomes assessment system, however, the followings are in more attention. Firstly, to establish program outcomes reflecting program goal. Secondly, to set up the detailed plans for analysis and quality improvement on program outcomes. Thirdly, to keep continuing efforts on curriculum update.