Analysis of Selection Items Test for Selecting Scientifically Gifted Students in Chemistry Class

과학영재 선발을 위한 선발문항 분석: 서울대학교 과학영재센터 중학교 심화과정의 화학영역 중심

Abstract

In this study, the test that were used in entrance examination for chemistry class in a Science-Gifted Education Center for middle school students were analyzed by using criteria for identification and measurement of scientific giftedness and a classical test theory. The result of analysis exhibited that most of problems measured more than two elements of scientific giftedness and required applications of scientific knowledge of middle school level to solve problems. In the analysis of sub-elements of scientific giftedness, originality, fluency in creativity and finding problems/formulating hypothesis, planning inquiry, interpreting data in science process skills were dominant while drawing conclusion and generalization processes were lacking. In correlation analysis between total score and each type of problems, total score was most influenced by the problems measuring science inquiry linked with scientific knowledge. Item difficulty is moderately high and item discrimination is moderate.

본 연구에서는 과학 영재성 구성요인과 고전 검사이론을 이용하여 중학교 과학영재센터 화학반 선발에 사용된 선발문항을 분석하였다. 대부분의 문항이 과학영재성의 구성요인 중 두 가지 이상을 복합적으로 측정하는 문항이었으며, 중학교 수준의 과학지식을 적용하여 해결하도록 하였다. 과학 영재성의 구성요소의 하위요소를 분석 한 결과에서 창의성 영역에서는 유창성과 독창성이 과학탐구 능력에서는 문제발견 및 가설설정, 실험설계, 자료해석에 평가항목이 집중되어 있었으며 결론도출 및 일반화에 해당하는 요소는 상대적으로 부족하였다. 각 유형과 총점과의 상관분석에서 과학지식과 결부되어 과학 탐구능력을 측정하는 문항의 유형이 총점을 잘 설명하고 있음을 알 수 있었다. 마지막으로 문항 난이도는 다소 높고, 문항 변별도는 적절하였다. 이로부터 창의성과 과학탐구의 다양한 구성요소를 측정할 수 있는 문항을 균형 있게 안배해야 하며, 난이도의 조절이 필요한 것으로 나타났다.

서 론

교육의 기회균등과 고도 산업 사회의 국가 경쟁력을 높이려는 사회적 측면에서 과학영재교육의 필요성이 대두되었다.1-6 우리나라는 1998년에 과학재단의 지원으로 15개 대학부설 영재교육센터가 지정되었다. 2000년에 영재교육진흥법이 제정되고, 2002년에 시행령이 만들어지면서 전국의 각 시도교육청에서도 활성화되는 등 영재교육이 양적으로 급속히 확장되기 시작하였다. 영재교육은 영재성의 개념, 교육프로그램, 영재판별과 연계적으로 또는 상호 유기적으로 이루어져야 한다.7 영재성의 정의에 따라 판별을 하고 판별된 영재아의 특성에 맞게 프로그램을 제공해야 한다. 영재판별선발은 영재잠재력의 발달에 가장 적합한 프로그램을 학습자의 특성에 맞게 제공하도록 도와줄 정보를 획득하게 하여8 효과적인 영재교육이 이루어지게 한다. 부정확한 영재 판별선발은 영재교육의 발전을 저해하며,9 자원의 낭비와 학생의 부적응 문제를 초래 할 수 있다.10 따라서 영재를 정확하게 판별선발하는 것은 중요하며, 영재성의 개념을 명확하게 하여 이에 맞춰 해야 한다.11

영재성에 관한 정의는 미연방정부 교육부의 Marland의 정의,12 Renzulli의 세 고리 정의,13 Tannenbaum의 심리사회적 정의,14 Gardner의 다중지능이론에 의한 정의,15 Sternberg의 성공지능이론의 의한 정의,16 Gagne의 적성이론17 등 다양하며, 아직까지는 영재성에 대한 객관적이고 과학적인 합의를 도출하지 못한 것으로 보고되고 있다.18,19 최근 영역-특수성에 대한 관점이 제기되면서 과학영역에서의 영재성을 정의하려는 시도가 이루어지고 있다.20-22 그러나 과학영재에 대한 논의는 합의를 도출하지 못하고 있으며 일반적인 영재성 개념정의에서 크게 벗어나지 않는다.23-27 조석희 외,24 김주훈 외,25 Heller,26 주희영 외27의 과학영재에 대한 정의와 일반적인 영재성에 따라 과학영재는 과학적 능력(과학지식, 과학적 탐구력), 과학 문제 해결에서의 창의성, 과제 집착력이 뛰어난 자로 볼 수 있다.

최근 과학영재 선발에서는 창의적 문제해결력의 중요성을 강조하고 있으며,23 이를 과학 영재 판별의 중요한 준거로 삼고 영재 판별의 기초 자료로 활용하고 있다.28 창의적 문제해결은 일반적인 영역의 지식과 기능 기반, 동기적 요인, 특정영역의 지식과 기능 기반을 토대로 확산적 사고와 논리적 사고가 역동적으로 상호작용하여 새로운 산출물 혹은 해결책을 만들어 내는 사고과정이다.29 이러한 창의적 문제해결력과 영역 특수성을 첨가하면 과학 창의적 문제해결력은 과학을 탐구하는 과정에서 여러 가지 사고능력을 종합하고, 기존에 알고 있는 여러 과학 내용의 개념, 원리, 법칙 등을 새롭게 관련지어 문제를 해결하거나, 자신이 새롭게 개념, 원리, 법칙 등을 창안하여 문제를 해결하는 능력이다. 창의적 문제해결력의 하위요소로 논리적 사고력, 과학적 지식, 과학 탐구능력, 창의적 사고, 과제집착력 등이 포함되어 있어 과학영재의 정의에 포함된 영역을 검사할 수 있다.

서울대학교 과학영재센터를 비롯한 전국 과학영재원에서 각 기관의 특성에 맞추어 다양한 형태의 선발 방법으로 학생선발을 하고 있다. 적절한 선발이 영재교육에 있어서 시작의 의미를 지니므로 구체적인 선발 방법에 대한 평가는 필요하다. 과학영재 선발에 관한 연구로는 고전적 검사이론에 근거하여 문항을 분석한 이상법 외의 연구,30 과학지식과 과학탐구능력 평가도구를 비교분석한 심규철 외의 연구,31 학습능력을 바탕으로 한 영재성 발현에 대한 이론을 통해 탐재능력 판별방법을 연구한 이현욱 외의 연구32가 있다. 이러한 논문 외에 각 영재원에서 과학 영재선발에 사용한 검사문항을 분석 평가한 논문은 찾아보기 힘들다. 이러한 맥락에서 본 연구에서는 서울대학교 과학영재센터에서 과학영재 선발에 사용된 선발문항을 과학 영재 정의의 측면에서 문항의 구성 및 구조 분석과 양적 문항분석을 수행하였다. 이로써 과학영재 선발 문항을 구성에 있어서 검사도구의 내용타당도를 높이기 위한 방안을 모색해보고자 한다.

 

연구 방법

분석 및 연구 대상

서울대학교 과학영재센터는 3단계로 선발이 이루어진다. 1차 선발은 서울 소재 중학교에 재학 중인 학생 중 학교장이나 과학교사로부터 과학영역에 재능이 뛰어나다고 여겨지는 학생을 추천을 받는다. 2차 선발은 이 추천 받은 학생들을 대상으로 분과별로 지필 검사를 실시하고, 마지막으로 심층면접을 실시하여 선발하고 있다.

지필 검사는 분과별 특성을 고려하여 창의적 문제 해결력을 검사하는 문항으로 출제되었다. 문제를 해결하는데 필요한 지식은 가능한 중학교 1학년 수준으로 하였으며, 그 외에 꼭 필요한 지식은 문제에 제시하도록 하였다. 검사에 포함된 문항들은 다양하고 독창적인 아이디어를 생성하도록 하였으며, 사고력 측면에서는 확산적 사고, 논리적 사고 등 종합적이고 고차원적인 사고능력을 요구하도록 하였다. 출제자는 화학을 전공한 전문가로 구성되었으며, 모든 문항은 서술형으로 하였다. 본 연구에서 분석한 문항은 2007년 선발에 사용하기 위해 출제기준에 맞춰 개발된 문항이다. 6개의 대 문항으로 구성되며, 각문항마다 소 문항을 포함하고 있다. 총 시험 시간은 3시간 걸쳐 이루어지며 학생들이 충분히 생각하고 창의적 사고를 통해 문항을 해결할 수 있는 시간을 제공하였다. 문항 분석뿐만 아니라 문항의 특성과 학생 응답 관계를 분석하기 위하여 응시자 234명의 채점 결과를 이용하였다.

분석방법

과학 영재성에 따른 문항 분석방법

과학 영재성의 요인은 선행 연구자들의 과학영재정의24-27와 창의적 문제해결력의 하위요소를 바탕으로 지필평가로 측정할 수 없는 과제집착력을 제외한 과학지식, 과학 탐구능력, 창의성을 추출하였으며, 이를 과학 영재성의 구성요인으로 판단하였다.

과학지식은 문제를 해결하기 위해 필요한 과학지식으로, 과학지식의 내용 자체에 중심을 두지 않고 문제를 해결하는 과정에서 이해하고 적용한 지식의 수준을 고려하여 분석하였다. 이에 따라 과학지식의 수준은 현행 교육과정인 7차 교육과정을 기준으로 중학교, 고등학교, 대학교, 교육과정 외로 분류하였다. 창의성은 일반적인 창의성 구성요소인 독창성, 유창성, 융통성, 정교성을 살펴보았다. 독창성을 분석하는데 있어서 문제 의도는 독창성을 측정하고자 하였으나 채점과정에서 답안이 독창성이 없어도 정답처리가 가능한 문항은 독창성을 측정하는 문항이라고 할 수 없으므로 독창성을 평가하는 문제로 분류하지 않았다. 정교성은 학생의 정교성을 알아 볼 수 있는가에 기준을 두고, 설명을 요구하거나 논리적으로 전개하라는 식의 요구가 있으면 정교성을 측정하고 있다고 하였다. 유창성은 문제해결에서 여러가지로 답하라는 식으로 요구가 있으면 유창성을 평가하는 문항으로 분류하였다. 융통성은 다양한 범주에서 문제를 해결도록 하는 경우에는 융통성을 요구하는 것으로 봤다. 과학탐구능력은 우종옥 등33의 과학 탐구과정 단계 5단계 중 탐구수행을 뺀 문제발견 및 가설설정, 실험설계, 자료해석, 결론도출 및 일반화 4단계로 나누어 각 문항에서 평가하고자 하는 능력을 분석하였다.

과학영재성의 구성요인에 따라 선발 문항을 분석하는 과정은 다음과 같다. 첫 번째로 연구자 2인이 분석기준을 숙지한 후 그 기준에 따라 분석하고 일치도 여부를 확인한 후 불일치한 문항에 대해서는 논의를 통해 연구자간 일치를 얻었다. 그 후 출제자와 함께 연구자 2인의 분석결과가 출제의도와 채점기준과 일치하는지를 확인하였다.

고전적 문항 분석

문항의 양호도를 분석하기 위해 고전 검사 이론에 따라 문항의 난이도(item difficulty: P)와 변별도를 분석하였다. 영재 선발문항의 난이도를 파악하기 위해 이기영 등34이 수정하여 사용한 문항난이도 공식을 사용하였다. Cangelosi(1990)의 기준을 적용한 이기영 등34의 연구에 따라 난이도 .25 미만은 어려운 문항, .25~.75는 적절한 문항, .75 초과는 쉬운 문항으로 판단하였다.

선발문항의 변별도2)를 알기위해 총점과 각 문항별 점수간의 상관계수를 구하였다. 변별도값에 대한 문항양호도 수준을 판단하기 위해 Ebel & Frisbie36의 기준을 적용하였다. .40 이상은 변별도가 높은 문항, .30~.39 변별도가 상당히 높으나 개선될 여지가 있는 문항, .20~.29 약간 좋은 문항이나 개선될 필요가 있는 문항, .19 이하 변별도가 없는 문항으로 판단하였다.

 

연구결과

과학 영재성 구성요인에 따른 문항 유형 분석

과학 영재성으로 추출한 과학지식 (K), 과학탐구능력(I), 창의성(C) 세 영역을 기준으로 각 문항의 유형을 분석하였다. 그 결과 선발에 사용한 문항은 한 가지 이상의 영역을 평가하는 문항으로 구성되어 있었다. 그 유형은 과학지식만을 평가하는 문항(K), 과학지식과 과학탐구 능력을 평가하는 문항(KI), 과학지식과 창의성을 평가하는 문항(KC), 과학탐구 능력과 창의성을 평가하는 문항(IC), 과학지식과 과학탐구능력, 창의성을 평가하는 문항(KIC)으로 분류되었다.

과학 영재성 요인을 바탕으로 나타난 5가지 유형에 따라 서울대학교 과학영재센터에서 실시한 선발문항을 분석 결과는 Table 1과 같다. Table 1에 제시된 것과 같이 출제된 문항 중 과학지식과 과학탐구영역을 평가하는 문항이 8문항으로 가장 많았으며, 다음으로 과학지식, 과학탐구, 창의성 세 영역을 모두 평가하는 문항이 6문항이었다. 과학지식을 평가하는 문항이 4문항이 있으나, 나머지 다른 문항들은 두 영역 이상을 복합적으로 평가하고, 고차원적인 사고기능을 요구하고 있음을 알 수 있다.

각 유형의 특징을 살펴보면 다음과 같다.

과학지식만을 평가하는 문항(K)은 과학개념을 확인하는 문항보다는 “겨울철에도 빨래가 잘 마르는 이유를 설명하시오.”와 같이 일상생활에서 경험하는 상황이나 과학적 상황을 제시하고 그 현상에 대해서 설명하는 형태였다. 제시된 상황이 교과서에서 접할 수 있는 상황은 교과서나 과학수업을 통해서 학생들이 그에 대한 해답을 알고 있을 수 있으므로 과학탐구능력이나 창의성을 측정하기보다는 이 문제에 대한 내용을 배웠는지를 확인하는 문항이다.

과학탐구능력과 창의성을 평가하는 문항(IC)은 과학지식의 의존성이 적으며, 제시된 그래프 또는 그림을 해석하고, 그 해석에서 창의성을 드러낼 수 있는 문항이었다. 예를 들면, 고대에 사용한 동전의 금질량비에 대한 그래프를 제시하고 사용연대에 따른 일반적인 경향 분석을 요구하는 경우는 과학지식을 사용하기보다는 그래프를 해석하는 능력과, 그 해석하는 내용이 창의적인지를 보는 유형이다.

Table 1.과학 영재성 구성요인에 따른 5가지 문항유형 분포

과학지식과 과학적 탐구능력을 평가하는 문항(KI)은 과학적 상황이나 역사 속의 과학적 사실 등을 제시하고 이를 해석하고 화학적으로 설명하도록 하는 문항은 자료나 상황에서 문제를 인식하고 화학적 지식 및 과학적 지식을 바탕으로 자료를 해석하고 설명해야 하므로 과학지식과 과학적 탐구능력을 요구하는 문항이었다. 절대습도를 나타내는 그래프를 제시하고 이를 바탕으로 여름철 특정 온도의 절대습도에 대한 정보를 준 후 아침에 이슬이 맺혀 있는 현상을 설명하는 형식의 문항은 제시한 상황에서 절대 습도에 대한 지식을 바탕으로 제시한 그래프를 해석하여 이를 설명해야 하므로 과학지식과 과학적 탐구능력을 측정하는 문항으로 볼 수 있다.

과학지식과 창의성을 평가하는 문항(KC)은 제시된 자료나 상황을 해결하는 데 있어서 과학적 탐구능력을 요구하기보다는 다양한 아이디어를 제안하고 과학지식을 이용하여 이 아이디어를 논리적으로 구성하는 형식이다. 즉 고대 시대에 사용한 은 동전의 금불순물의 질량비를 제시하고 이 질량비보다 더 큰 값을 가진 것보다 더 큰 것들이 거의 발견되지 않았던 이유를 설명하라는 것을 예로 들 수 있다. 이 문제를 해결하기 위해서 풍화작용과 같은 과학지식을 사용할 수도 있고, 그 외의 상상력을 발휘하여 이를 과학적으로 설명하는 것으로 그 유창성과 독창성을 보이면서 과학적으로 설명하는지를 평가할 수 있다.

과학지식, 과학탐구능력, 창의성을 모두 측정하는 문항(KIC)은 과학적 상황을 제시하고 이 상황을 해결하기 위한 다양한 방법들을 고안하는 형태이다. 이러한 유형의 문항에서는 이산화탄소 배출량의 증가가 지속되면 미래에 어떤 현상이 벌어질 수 있는지를 예측하고 감축할 수 있는 아이디어를 제시하는 것과 같은 형식으로 출제 될 수 있다. 즉 이산화탄소의 특징 중 하나인 온실효과에 대한 지식을 알고 있고, 이를 바탕으로 일어날 수 있는 일을 예측하여 이를 해결하기 위한 다양한 아이디어를 제시하고 실험을 설계할 수도 있다. 제시한 아이어가 독창적이고 다른 영역과 통합되어 표출되는지를 판단할 수 있다.

과학 영재성 영역별 하위 요소 분석

서울대학교 과학영재센터에서 실시한 선발문항을 과학 영재성의 각 영역별로 분석한 결과는 Table 2와 같다. 과학지식 영역은 문제를 해결하는데 필요한 과학지식 수준을 분석하였다. 그 결과 중학교 수준이 15문항으로 가장 많았고, 고등학교 수준 5문항, 교육과정 외의 과학관련 책을 통해 학습할 수 있는 교육과정 외 2문항으로 나타났으며, 대학교 이상의 지식을 이용하는 문항은 나타나지 않았다. 즉, 대부분의 문항들은 출제기준에 따라서 선수학습을 지향함을 알 수 있었다.

Table 2.※전체 문항 수는 24문항이며 창의성을 측정하는 11문항과 과학탐구를 측정하는 문항은 12문항이다. 그러나 창의성과 과학탐구를 측정하는 문항에서 한 문항이 두 가지 이상의 요소를 측정하는 경우가 있으므로 전체 문항 수보다 클 수 있다.

창의성의 하위 구성요소영역에서 유창성과 독창성이 각각 5문항, 7문항으로 높은 비중을 차지하고 있었다. 과학탐구능력을 평가할 수 있는 문항 중 문제발견 및 가설설정이 5문항, 실험설계와 자료해석이 각각 6문항, 7문항으로 많은 비중을 차지하고 있음을 알 수 있다. 반면에 결론도출 및 일반화는 출제비율이 낮았다. 문항유형과 각 영역별 분포를 함께 고려하면, 고등학교 지식을 요구하는 5문항 중 3문항은 과학지식 만을 측정하는 문항, 2문항은 과학지식과 과학탐구영역을 측정하는 문항이었다.

선발에 대한 문항 의존성 분석

특정 문항이 선발에 미치는 영향을 알아보기 위해서 과학 영재성의 구성요인에 따른 각 유형의 문항과 선발시험 총점과의 상관관계를 분석하였다. 그 결과는 Table 3에 나타냈으며, 5개의 문항유형과 총점은 모두 통계적으로 유의한 상관이 있음을 알 수 있었다. 그 중 KI유형은 .89, KIC .78, K유형은 .75로 총점과 높은 상관관계를 보이고 있다.

각 유형의 문항이 총점을 설명하는 정도를 알아보기 위해 결정계수를 계산하였다. 각 유형의 결정계수를 살펴보면, K유형은 .56, KI유형은 .79, KC유형은 .33, IC유형은 .30, KIC유형은 .61이었다.

Table 3.**p＜.01수준에서 유의미 K: 과학지식, KI: 과학지식과 과학탐구능력, KC: 과학지식과 창의성 IC: 과학탐구능력과 창의성, KIC: 과학지식과 과학탐구능력과 창의성

각 유형별 문항들이 합격점수에 미치는 영향을 알아보기 위한 보충 지표로 각 유형의 전체 평균과 합격한 학생들의 평균의 차이를 전체 표준편차로 나눈값을 계산하였다.

I＝╲M15-Mt╲/Sd

그 값은 K유형 1.61, KI유형 1.97, KC유형 1.30, IC유형 1.20, KIC유형 1.65이었다. 이는 합격한 학생들의 KI유형 평균점수가 전체 KI유형 평균점수와 가장 많은 차이가 있음을 알 수 있다. 이 결과와 결정계수를 통해 본 결과는 일관되게 KI 유형이 최종합격점수에 가장 많은 영향을 미쳤음을 나타낸다.

고전 검사 이론을 이용한 문항 양호도 분석

문항의 양호도를 알아보기 위해 가장 많이 사용되고 있는 문항의 난이도(P)와 변별도 지수(DI)를 분석하였으며, 그 결과는 Table 4와 같다. 전체 문항의 평균 난이도는 0.25로 다소 어려운 편이었다. 변별도는 0.46으로 상위 능력 학생들과 하위능력 학생들을 구별해줄 수 있는 변별력을 갖추고 있음을 알 수 있었다. 문항의 난이도와 변별도 지수를 바탕으로 문항의 양호도를 판단한 결과는 Table 5에 제시한 것과 같이 전체 24문항 중 12문항이 양호한 것으로 나타났다. 과학지식, 과학탐구, 창의력을 모두 평가하는 8번 문항은 매우 어려웠으며, 변별도도 좋지 않은 문항으로 분석되었다.

Table 4.문항의 난이도와 변별도 결과

Table 5.문항의 양호도 결과

 

논의 및 결론

본 연구에서는 서울대학교 과학영재센터에서 과학영재 선발에 사용된 선발문항을 과학 영재 정의의 측면에서 문항의 구성 및 구조 분석과 양적 문항분석을 수행하였다. 분석 기준은 과학 영재의 정의와 창의적 문제해결력에서 추출한 과학 영재성에 바탕을 두고 어떤 특징을 갖고 있는지 다양한 측면에서 문항분석을 실시하였다.

전체 검사 문항을 과학 영재성의 구성요소인 과학지식(K), 과학 탐구능력(I), 창의성(C) 세 가지 영역으로 분류하였을 때, 선발에 사용한 문항은 5가지 유형으로 나타났다. 5가지 유형은 과학지식만을 평가하는 문항(K), 과학지식과 과학탐구 능력을 평가하는 문항(KI), 과학지식과 창의성을 평가하는 문항(KC), 과학탐구 능력과 창의성을 평가하는 문항(IC), 과학지식과 과학탐구 능력, 창의성을 평가하는 문항(KIC)이었다. 각 유형별 분포를 분석한 결과 K유형이 있었지만 대체로 KI, KIC, KC, IC유형 등 복합적인 형태로 문제가 출제되었다. 복합적인 문항유형의 거의 모든 문제들이 과학지식 영역을 포함하고 있는 것으로 나타났다. 예를 들면, KI유형의 문제로 이슬형성과 관련된 그래프 및 자료 해석 문제를 해결하기 위해서는 절대습도라는 과학적 개념이 필요하다. KCI유형의 문항 중 이산화탄소를 얻는 방법을 제시하는 문제를 해결하기 위해서는 이산화탄소의 원료가 될 수 있는 자원에 대한 과학지식이 필요하다. 과학지식은 문제를 해결하고 창의성을 발휘하는데 있어서 기본이 되는 지식이므로37-39 단순히 과학지식만을 측정하기보다는 이를 바탕으로 창의적으로 문제를 해결하는 복합적인 형태의 문항들이 과학영재 선발에 출제된 것으로 해석된다.

창의성 영역을 융통성, 유창성, 정교성, 독창성의 네 가지 항목으로 분류하였을 때, 유창성과 독창성을 요구하는 문제가 가장 많았다. KC유형 및 KIC유형의 많은 문제들이 어떤 현상에 대한 원인을 다양한 방법을 고안하여 설명하는 형태이다. 이러한 문제들은 주어진 문제를 해결하는 방법을 다양하게 고안한 후 이 아이디어들을 분류하고 평가하여 가장 적절한 방법을 찾아가는 과정을 요구하는 부분이 부족하였다. 확산적 사고를 통해 생성한 다양한 아이디어를 분류하고 평가하는 과정은 수렴적 사고를 요구하므로40 본 연구에서 분석한 창의적 문제해결력 검사는 수렴적 사고보다는 확산적 사고를 더 많이 요구하고 있었다. 창의적으로 문제를 해결하기 위해서는 확산적 사고와 수렴적 사고가 함께 요구되므로41, 28 창의성 요인 중 수렴적 사고력을 측정할 수 있는 정교성을 고려하는 것이 필요하다. 비슷한 경향이 과학탐구 영역 분석에서 나타나는데, 과학탐구 영역을 세부적으로 분석한 결과 문제인식 및 가설설정, 탐구설계와 자료해석이 높은 비중을 차지하고 있었으며, 결론 도출 및 일반화는 거의 다루고 있지 않음을 알 수 있었다.

총점과 선발문항의 유형들과의 상관계수와 결정계수를 비교 분석하였을 때 KI유형이 가장 높은 상관을 보였으며, 총점을 가장 많이 설명하고 있었으며, KIC유형이 두 번째로 높은 상관을 보였다. 즉 단순히 과학지식이 많은 학생보다는 중학교 수준에서 습득한 과학지식을 적용하여 이를 바탕으로 탐구하고 자신의 창의성을 발휘하는 능력이 평가되고 있음을 시사한다.

양적문항분석 방법을 실시한 결과 난이도와 변별도의 경우, 전반적으로 난이도는 어려운 편이었으나, 변별도는 적절하였다. 또한 양호도의 결과 전체 24문항 중 12문항이 양호하였다.

이상과 같은 연구 결과를 바탕으로 과학영재 선발에 대한 결론은 다음과 같다.

첫째, 과학 영재성을 평가하기 위해서 과학지식, 과학탐구, 창의성 각각의 영역을 단독으로 평가하는 문항이 아니라 이 두 가지 이상의 영역을 복합하여 종합적으로 측정하는 문항이 개발되고 시행되고 있음을 알 수 있었다.

둘째, 과학 영재성의 영역의 하위요소 분석결과 하위요소 중 일부에 편중되어 있었다. 과학지식, 탐구기능 및 탐구 사고력을 바탕으로 하여 다양하고 독창적인 아이디어를 제기하는 것에서 그치는 것이 아니라 여러 영역의 정보와 결합시키고 평가하여 가장 유용한 아이디어를 결정하는 등의 정교화 및 수렴화 단계를 포함하는 문항을 개발하여 과학영재성의 모든 요소들이 고르게 측정될 수 있도록 고려할 필요가 있다.

셋째, 과학지식 수준을 분석한 결과 중학교 지식을 요구하는 문항이 대부분을 차지하고 있었다. 그러나 고등학교 수준의 지식을 요구하는 문항도 일부 포함하고 있으므로 이는 앞으로 지양할 필요가 있다. 너무 많은 과학지식은 창의성에 방해가 될 수가 있으나, 적절한 과학지식은 창의성 발현에 도움을 주므로,40 아직 배우지 않은 과학지식을 다루는 것은 과학 창의성을 평가하기에는 적절하지 않으므로 선발되는 학생들의 학년과 인지 수준에 맞춰 문항을 개발해야 한다.

넷째, 문항이 전반적으로 다소 어렵고, 변별도는 양호한 것으로 나타났다. 문항의 양호도가 더 높은 창의적 문제해결력 검사가 되도록 하기 위해서는 보다 쉬운 문항들이 포함하여 난이도를 조절해야한다. 창의적 문제해결력 검사를 개발할 때 지속적으로 난이도와 변별도를 고려할 필요가 있다.

마지막으로 본 연구가 향후 과학영재 선발을 목적으로 한 창의적 문제해결력 검사를 개발하는 있어서 보다 좋은 검사 도구를 개발하는데 기초가 될 수 있기를 기대한다.