• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2005년도 제26회 동계학술발표회 논문집
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2000년도 춘계학술대회
• /
• pp.106-122
• /
• 2000

1999년 처음 출범한 연구회체제는 소속 연구기관들의 1999년도 연구실적 및 경영내용에 대한 기관평가를 실시하였다. 기관평가는 짧은 준비기간에도 불구하고 비교적 객관적인 지표체계 및 과학적인 평가방법을 개발하여 평가의 신뢰성과 타당성을 제고하려고 하였다. 그러나 연구회 소속 연구기관들은 기관평가시스템에 대한 재검토 필요성에 대부분이 공감하고 있는 실정이다. 이에 본 연구는 정부출연연구기관의 책임성 확보와 성과지향적인 관리 및 평가체제 구축을 위하여 도입된 기관평가의 목적, 대상, 체계, 기준 및 그 결과 등을 국가연구개발사업 조사·분석·평가와 비교분석하고, 그 개선방안을 제시하고자 한다.

• 한국경영과학회:학술대회논문집
• /
• 대한산업공학회/한국경영과학회 1994년도 춘계공동학술대회논문집; 창원대학교; 08월 09일 Apr. 1994
• /
• pp.753-761
• /
• 1994

기초연구는 연구성과 정량화가 어렵기 때문에 평가에 경제적 평가법보다 평가자의 주관에 의한 선별적 평가법이 많이 사용되고 있다. 그러므로 다른 연구개발 과제보다 평가자의 영향을 많이 받아 평가자 선정이 무엇보다 중요하다. 본 연구에서는 913개의 목적기초연구 평가서를 분석하여 학문분야별 평가자의 특성과 평가자 선정시 고려할 사항을 제시하였다. 자료 분석은 General linear model과 Categorical data analysis를 이용하였다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2017년도 추계학술대회 논문집
• /
• pp.127-127
• /
• 2017

과학기술기본법 제12조 및 성과평가법 7조에 따라 국가연구개발 투자의 효율성 제고를 위해 장기간 대규모 예산이 투입되는 사업, 사업간 중복조정 또는 연계가 필요한 사업, 다수 중앙행정기관이 공동으로 추진하는 사업, 국가적 사회적 현안으로 대두된 사업 등에 대해 특정평가를 실시하고 있다. 사업군 특정평가는 "08년부터 "17년까지 총 17회 실시되었으나 사업군 단위의 평가보다 사업군 내 개별사업 중심으로 평가가 수행되어 왔다. 본 연구의 목적은 사업군 특정평가의 평가틀을 제시하는 것으로 기존의 사업 단위 특정평가 방법을 차용해왔던 방식을 사업군 단위 특정평가에 적합한 평가틀을 제안하고자 한다. 평가의 계층구조에서 사업평가와 정책평가 사이에 위치한 사업군 평가에 대한 틀 제시는 향후 과학기술분야의 정책평가 도입을 위한 탐색연구에 해당한다. 이러한 연구목적의 달성을 위해 먼저 기존에 수행되었던 사업군 특정평가의 사례들에 메타평가를 수행하여 현 사업군 평가틀의 한계를 조사하고, 국내외 정책평가 사례 분석을 통해 사업군 특정평가 틀에 활용 가능한 벤치마킹하고자 하였다. 이러한 기존 사업군 평가의 한계와 선행 정책 평가의 시사점을 바탕으로 사업군 특정평가틀을 제시하였다. 메타평가는 선행 문헌조사를 기초하여 본 연구에 적합한 메타평가틀을 구성하여 적용하였고, 국내외 정책평가 사례에 대한 선정과 분석은 정책평가 전문가들의 지문과 면접조사를 활용하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (중)
• /
• pp.677-680
• /
• 2003

연구과제를 평가하는 시스템을 설계하기에는 많은 어려움이 내포되어 있다. 첫째, 수시로 발생하는 연구과제 종료시점에서 곧바로 평가위원을 구성하고 어느 기간 내에 적절한 평가가 이루어걱야 한다. 둘째, 단계적 평가에 따른 평가방법이 다르게 적용되어야 하고 상대평가, 절대평가에 대한 평가척도 역시 달라져야만 한다. 셋째, 평가요소가 수시로 변화함에 따른 적절한 대응방안을 적용할 수 있어야 하며 보안관리가 철저히 이루어져야만 한다. 본 연구에서는 인터넷 기술을 활용하여 효율적인 연구과제 평가시스템을 개발하고 발생되는 문제점 그리고 그 해결방안을 제시하였다.

• 한국지구과학회:학술대회논문집
• /
• 한국지구과학회 2006년도 춘계학술발표회 논문집
• /
• pp.83-88
• /
• 2006

본 연구에서는 교사 스스로 느끼는 평가에 대한 거부감을 최소화하면서 바람직한 평가 전문성 신장 방향과 방법을 제공할 수 있도록 과학교사를 대상으로 한 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이 프로그램은 자기반성적 관점에서 과학교사 스스로 자신의 학생 평가 전문성을 진단할 수 있는 도구와 이를 이용하여 얻은 진단 결과를 바탕으로 학생 평가 전문성 수준을 가늠해 볼 수 있는 학생 평가 전문성 등급 평정 척도와 학생 평가 전문성 신장을 위한 안내로 구성되어 있다. 이 프로그램을 개발하기 위해 본 연구에서는 과학교사의 학생 평가 전문성의 개념을 탐색하고, 바람직한 학생 평가 전문성 신장의 방향과 방법을 모색하였다. 또한 과학교사의 학생 평가 전문성 요소를 추출하여 범주별로 정리한 다음 학생 평가 전문성 요소별로 구체적인 수준과 상태를 제시한 과학교사의 학생 평가 전문성 기준을 마련하였다. 마련된 기준을 근거로 과학교사의 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이를 위해 문헌연구와 더불어 수차례의 과학교육전문가 검토 및 협의, 학교 현장 교사들의 검토 및 협의를 거치면서 수정${\cdot}$보완하는 과정을 거쳤다. 본 연구에서 개발한 과학교사의 학생 평가 전문성 자기 진단 프로그램에는 진단 내용에 과학교사의 평가에 관한 지식과 더불어 실무적인 능력과 실제로 행하고 있는 평가의 실천 내용이 포함될 수 있도록 노력하였다. 또한 교사 스스로 자신의 평가 전문성 수준을 가늠해 볼 수 있도록 전형적인 응답 유형과 채점 기준, 해설 및 평가 전문성 등급 평정 척도를 제시했고 진단 결과를 바탕으로 평가 전문성의 부족한 부분을 보완하고 신장시킬 수 있도록 간략한 전문성 신장을 위한 처방과 평가 지향에 따른 교사의 전형적인 유형을 제시하여 자기 진단 프로그램을 사용하는 교사가 전문성 개선 방향과 방법을 설정하는 데 도움을 주고자 했다. 본 연구는 과학교사 자신의 학생 평가 전문성에 대한 환심을 높이고, 이를 진단하고 신장시키는 데 도움을 줄 수 있을 뿐만 아니라, 과학교사의 학생 평가 전문성 신장을 위한 방안을 마련하려는 데에도 좋은 시사점을 제공할 것으로 판단된다. 이를 위해 과학교사의 학생 평가 전문성 진단 프로그램에 제시된 전문성 평정 기준을 좀 더 객관화하고 보완할 수 있도록 많은 교사들에게 이 프로그램을 사용해 보게 하고 그 결과를 분석하는 후속 연구가 필요하다. 또한, 본 연구에서는 진단 운항을 제작하는 데 있어 지구과학 내용을 소재로 사용하였으나 본 연구에 제시된 진단 문항 제작에 관한 해설을 참고하여 다른 과학교과 내용을 소재로 한 진단 문항 제작도 필요할 것으로 보인다.

• 한국정책학회보
• /
• 제21권2호
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• 기록학연구
• /
• 제46호
• /
• pp.287-323
• /
• 2015

본 연구에서는 연구 패러다임이 데이터 중심으로 바뀐 이 시대에 공적 연구기관에서는 어떻게 연구기록을 평가해야 하는지 방향을 정하고, 중요한 기록을 판단할 수 있는 평가기준을 설계하고자 하였다. 연구범위는 국가차원이 아니라 연구기관 단위에서 적용가능한 평가기준을 설계하는 것으로 한정하여 국내외 3개 공적 연구기관의 연구기록 평가기준을 분석하였다. 이 분석결과를 토대로 연구 가치, 역사적 가치, 유일성, 경제적 비용 등 10개의 평가영역으로 구성된 장기보존 대상 연구기록 평가선별기준을 제시하였다. 본 연구는 사례의 충분성 측면과 제시한 평가기준이 핵심 평가자들인 연구자들로부터 검증받지 못했다는 점에서 한계가 있다. 그러나 기관차원에서는 물론, 국가차원에서도 아직 어떠한 연구기록 평가 방향이 서있지 않는 현 상황에서 연구기록에 대한 가치 판단 기준을 제시함으로써 이를 통해 역으로 생산 관리 보존해야 하는 연구기록의 범위와 유형을 결정하는데 중요한 좌표를 제시할 수 있을 것이다. 아울러 연구기관이 생산하는 핵심기록인 연구기록을 어떤 관점에서 그 중요성을 판단해야 하는지에 대한 고민 해결에 본 연구가 작은 도움을 줄 수 있기를 기대한다.

• 한국경영과학회:학술대회논문집
• /
• 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
• /
• pp.560-563
• /
• 2004

기술개발이 국가경쟁력 제고의 중요한 수단으로 인식됨에 따라 국가차원에서의 연구개발이 적극적으로 추진하고 있다. 우리나라의 경우도 예외가 아니어서, 1990년대 이후 우리 정부는 국가연구개발사업을 높이기 위해 연구 평가제도를 꾸준히 정비하여 왔다. 그러나 아직까지도 연구평가와 관련하여 여러 가지의 개선요구가 연구자들로부터 제기되고 있다. 이러한 현상이 나타나는 이유는 근본적으로 연구평가가 공급자 위주로 이루어지면서 미래지향적이고 효율적인 접근이 이루어지지 못하였다는 데에서 그 원인을 찾을 수 있다. 본 연구에서는 현재 여러 정부부처에서 연구평가를 시행하면서 연구과제의 선정단계와 중간평가단계에서 사용되고 있는 지표가 정책 목표에 합목적적이고 국가연구개발사업의 실질적인 성과를 제고할 수 있도록 구성되어 있는가를 살펴보았다. 연구의 성격에 따라 학술기초 연구사업, 원천기술 연구사업, 그리고 산업기술 개발사업을 분류된 사업그룹별로 연구의 특성을 반영하는 준거 틀과 실제로 사용하고 있는 지표를 비교하였다. 그 결과 아래와 같은 세 가지 유형의 문제점이 도출되었다. 첫째는 연구 성격이나 연구 활동의 수행 단계에 맞지 않는 불필요한 지표들이 활용되고 있는 경우이다. 여기에는 연구수행단계 또는 연구 성격을 감안하여 볼 때 꼭 필요하지 않은 지표임에도 불구하고 채택이 되고 있거나, 하나의 평가지표로 충분히 점검이 가능한데에도 불구하고 유사한 여러 가지의 지표들이 사용되는 경우를 포함하고 있다. 둘째는 지표의 구성에 있어 연구사업의 성공요인을 반영하지 못하고 있는 경우이다. 여기에는 특정한 연구수행단계의 성과를 평가하는데 필요한 지표들이 제외되어 있거나, 연구의 특성에 대한 고려가 이루어지지 않은 상태로 불필요하거나 반복적인 지표가 채택되는 경우를 포함하고 있다. 셋째는 추상적이며 측정이 어려운 지표를 채택하고 있는 경우이다. 여기에는 지표에 대한 정확한 정의가 이루어져 있지 않아 피 평가자가 불필요하거나 과다한 평가 자료를 준비해야 하거나 평가자로 하여금 평가 시 혼돈을 유발할 가능성이 있거나, 또는 상위개념의 평가항목과 하위개념의 평가항목이 혼재되어 구분이 모호한 경우를 포함하고 있다.

• 과학기술정책
• /
• 제1권15호통권15호
• /
• pp.3-6
• /
• 1991

연구개발의 성과는 투입 자원의 크기로만 결정되는 것이 아니라, 이를 어떻게 효율적으로 관리하느냐에 보다 크게 의존된다. 따라서 한 국가의 기술혁신능력은 연구 개발의 관리 능력에 의해 좌우되며 이의 요체는 연구기획·평가기능이라 할 수 있다. 최근 첨단 기술의 주도권을 둘러싸고 선진국들 간의 개발 경쟁이 치열해짐에 따라 각국은 국가적 차원에서 대규모의 전략적 연구개발의 대형화·복합화 추세가 가속화되고 있고, 이에 대응하여 연구 기획·평가에 있어서 새로운 체계적인 방법론 및 기법이 요구되고 있다. 본 토에서는 '80년대 이후 선진국을 중심으로 변화·발전하고 있는 연구평가의 새로운 접근 방법을 파악하고, 미국,일본,EC,영국의 연구 평가 추진 현황 및 사례를 분석함으로써 우리 나라의 연구평가 시스템의 구축에 관한 시사점을 찾고자 한다. (편집자 주)