• 대한지구과학교육학회지
• /
• 제11권2호
• /
• pp.125-144
• /
• 2018

이 연구의 목적은 순위 선다형 문항을 이용하여 초 중 고 학생들의 천문학적 사고 수준을 파악하는 것이다. 이를 위하여 각각 3개의 공간적 사고와 시스템 사고 측정 문항으로 구성된 검사지를 구성하고, 이를 강원도 소재 12개 학교 5학년, 8학년, 11학년 학생 총 1,066명을 대상으로 투입하였다. 수집된 학생 응답 자료를 고전 검사 이론의 추리 통계와 문항 반응 이론의 Rasch 모델에 적용하여 분석하였다. 분석 결과는 다음과 같다; 첫째, 천문학적 사고 중 공간적 사고 수준은 천체의 공간 위치와 방향은 파악할 수 있지만 2차원 평면에서의 천체 운동을 3차원으로 변환하지 못하는 것으로 나타났으며, 학년에 따라 통계적으로 유의미한 차이가 없는 것으로 분석되었다. 둘째, 천문학적 사고 중 시스템 사고 수준은 천체의 운동 시스템을 구성하는 요소와 요소 간 연관은 파악할 수 있으나 시스템의 경향성은 파악하지 못하는 것으로 나타났으며, 공간적 사고와는 달리 학년에 따라 통계적으로 유의미한 차이가 있는 것으로 분석되었다. 셋째, 특정 상황(내용)에서 발현되는 천문학적 사고가 학년에 관계없이 매우 유사한 것으로 나타났으며, 이를 통해 천문학적 사고의 상황(내용) 의존성을 확인할 수 있었다. 이 연구 결과들은 학교 수업에서 천문학적 사고 수준을 높일 수 있는 방법을 탐색하기 위한 기초 연구 자료로 활용될 수 있을 것으로 기대한다.

• 대한수학교육학회지:수학교육학연구
• /
• 제18권2호
• /
• pp.239-261
• /
• 2008

본 연구는 TIMSS 2003 결과를 토대로 우리나라 중학생들의 수학 성취도를 내용 영역별로 싱가포르, 대만, 홍콩, 일본과 비교한 것이다. 우리나라는 구성형과 선다형 문항 모두에서 싱가포르에 비해 정답률이 낮았으며 일본에 비해서는 선다형 문항의 정답률이 더 높은 것으로 나타났다. 내용 영역별 평균 정답률을 보면, 우리나라는 수 영역에서 싱가포르보다 낮았는데, 특히 '비 비율 백분율'의 차이가 컸다. 대수 영역의 하위 주제 정답률은 높았지만 측정 영역, 특히 '속성과 단위'에서는 정답률이 5개국 중 가장 낮았다. 기하 영역에서는 평균 정답률이 가장 높았으나, '평면도형과 입체도형', '대칭과 변환'에서는 높지 않았다. 자료 영역에서도 정답률이 높지 않았는데 우리나라 학생들이 중앙값, 범위, 분포 상태, 자료를 통해 미지의 값 추정하기, 자료 해석에 대하여 평가하기 등의 내용에 대한 학습 경험이 부족한 것에 그 원인이 있을 수 있다. 문항 분석 결과, 우리나라 정답률이 국제 평균보다 35% 이상 높은 문항은 194개 중 42개로서 수 10개, 대수 9개, 측정 10개, 기하 7개, 자료 6개였고, 국제 평균보다 낮은 문항은 측정, 기하, 자료 영역에 각각 하나씩 있었다. 또한 우리나라보다 전체 성취도 순위가 높았던 싱가포르에 비해 정답률이 20% 이상 낮았던 문항은 10개가 있었다.

• 한국과학교육학회지
• /
• 제34권8호
• /
• pp.703-718
• /
• 2014

이 연구에서는 지구, 지구 - 달 계, 태양계, 그리고 은하와 우주를 포함하는 천체의 구조와 운동을 종합한 천문 시스템(astronomical systems)의 학습 발달과정(learning progressions)을 조사하기 위하여, 순위 선다형 평가 문항을 개발하고 이를 초등/중학생들에게 적용한 검사 결과에 기반하여 학습 발달과정 해석의 타당성 검증의 근거를 제시하였다. 연구의 과정은 '구인특화, 평가문항 개발, 평가결과 기술, 측정 모델'로 이루어진 4 단계의 구인 모델링 방식(construct modeling approach)에 기반하여 진행되었다. 천문 시스템의 내용적 평가 구인으로 천체의 운동과 구조를 선정하였고, 탐구실행적 평가 구인으로 공간적 사고와 시스템 사고와 같은 천문학적 사고를 선정하였다. 이 연구에서 개발된 순위 선다형 평가 문항들은 천문 시스템에 대한 학습 발달과정을 조사하기 위한 검사 도구로서 적절하였다. 즉, item fit 분석 결과는 학생들의 문항 반응 결과가 Rasch 모델로 측정한 결과와 부합하였다. 그리고 Wright map 분석 결과는 이 연구의 평가 문항들이 천문시스템에 대한 학생들의 가설적 발달 경로를 조사하는데 매우 효과적임을 보여주었다. 학습 발달과정의 하위 정착점에서 학생들은 천체들의 위치와 운동 방향의 변화를 지구에서 보는 관점에서 2차원 평면으로 해석하는 공간적 사고 수준을 보였으며, 지구-달 계의 모델에서 천체의 위치와 변화를 부정확하게 연결하거나, 태양계 행성들과 은하수에 대한 단순한 패턴을 인식하는 시스템 사고 수준을 보였다. 학습발달과정의 중간 단계에서 학생들은 우주에서 내려다 본 지구 및 지구-달 계, 태양계의 모델을 근거로 천체의 운동을 해석하는 공간적 사고의 수준을 나타냈으며, 천체의 구조를 구성하는 요소들을 이 모델들과 연관시키는 시스템 사고를 보였다. 학습 발달과정의 상위 정착점에서 학생들은 우주에서 내려다 본 관점에서 형성된 천체의 운동 모델을 지구에서 바라 본 관점에서 얻은 자료와 서로 연관시키는 관점 전환의 공간적 사고를 지구의 운동, 지구-달 계의 운동, 태양계 행성의 운동, 은하와 우주의 운동에 적용할 수 있었다. 또한 상위 정착점에 도달한 학생들은 천문 시스템의 설명 모델을 구성하는 하위 요소들 간의 상호연관성을 파악하고 이를 설명 모델에 적용할 수 있는 시스템 사고를 나타냈다.

• 한국과학교육학회지
• /
• 제36권3호
• /
• pp.509-517
• /
• 2016

학생들의 진화에 대한 대안개념(목적론, 용불용설 등)이 과학사에서 나타나는 설명의 발전 형태와 유사하다는 연구는 있었다. 하지만 과학사적으로 설명의 발달과정을 반영하여 부분점수를 주는 평가방식은 활용되지 않았다. 이 연구의 목적은 창조론에서 자연선택까지 과학사적 발달과정을 반영하여 부분점수를 주는 방법을 제안하고 이 방법이 타당한지에 대한 양적인 증거를 수집하는 것이다. 이 연구는 과학사에 근거하여 진화개념검사도구의 학생응답을 순위선다형점수로 변환하고 부분채점모형의 라쉬모델분석을 포함한 통계적 방법으로 새로운 평가방식이 타당한지 확인하였다. 또한 개념발달이 인간, 동물, 문항의 상황에 따라 다른지 확인하였다. Ha(2007)가 개발한 검사도구를 활용하여 1711명의 초, 중, 고등학생과 비전공, 전공생물 교사를 대상으로 생성한 자료를 통하여 분석하였다. 창조론, 목적, 의도, 용불용설, 자연선택에 0점에서 4점씩 부분점수로 제시한 평가방법은 Cronbach alpha를 통한 내적일관성 신뢰도, 라쉬분석의 MNSQ값 등 통한 문항적합도를 확인한 결과 타당한 것으로 확인되었다. 초등학생과 중학생들의 개념수준은 의도에서 용불용설 단계에, 고등학생부터 용불용설 이후의 단계로 개념발달이 이루어지고 있었다. 진화설명의 발달 과정은 인간, 동물, 식물에 따라 차이가 나타남을 확인할 수 있었다. 이 연구는 과학사와 학생들의 개념발달이 유사하다는 기존의 주장에 새로운 양적증거를 추가하고, 진화개념 평가를 위한 새로운 분석방법을 제안한다.

• 한국과학교육학회지
• /
• 제38권3호
• /
• pp.355-367
• /
• 2018

이 연구의 목적은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 첫째, 문헌 분석을 통해 시스템 사고 수준과 정의를 제시하고 둘째, 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하고 셋째, 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하는 것이다. 이를 위하여 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였으며 분석된 내용을 근거로 시스템 사고 수준과 정의를 제시하였다. 그리고 시스템 사고 수준과 정의에 근거하여 각 수준별 핵심 아이디어와 평가 요소를 포함한 Framework을 개발하였다. 또한 순위선다형 문항 외에 열린 응답형 검사 문항의 채점을 위한 루브릭을 개발하였다. 루브릭은 Hung(2008)이 개발한 시스템 사고 측정을 위한 루브릭에 기반하여 연구팀에서 시스템 사고 수준과 정의에 적합하도록 문항과 위계를 수정하였다. 그리고 각 문항마다 1~5점 척도로 변환이 가능하도록 각 점수에 대한 정의를 제시하였다. 연구팀이 개발한 시스템 사고 수준과 정의, 문항 개발을 위한 Framework, 열린 응답형 검사지 채점을 위한 루브릭에 대하여 과학교육 전문가 7인에게 내용 타당도 검증을 의뢰하였으며 그 결과 CVI가 세 도구에서 모두 .95이상이 확인되었다. 이 연구 결과를 바탕으로 앞으로 학생들의 시스템 사고 수준을 측정할 수 있는 문항을 개발하고 개발된 문항에 대한 구인 타당도 및 준거 타당도 검증을 실시하고자 한다. 나아가 2015 개정 교육과정에서 강조하는 핵심 역량과 관련된 시스템 사고수준의 체계적인 측정을 위한 타당화 연구도 진행하고자 한다.

• 한국초등과학교육학회지:초등과학교육
• /
• 제32권2호
• /
• pp.139-158
• /
• 2013

This study investigated elementary students' (grade 4~6) learning progressions for water cycling drawn from iterative assessments using ordered multiple-choice (OMC) items. An assessment system, which consisted of construct map, item design, outcome space, and measurement model, was employed in this study to examine children's learning progressions. At the first stage of the assessment system, a construct map was designed on which children's conceptual understandings from naive to most sophisticated were represented. At the item design stage, 8 OMC items were drawn from the construct map. Each item option of the OMC items was scored from 0 to 3 according to its level of understanding at the stage of outcome space. As a measurement model, Rasch model, a branch of item response theory, was applied to interpreting the outcomes of the OMC items. This cycle of assessment system was furtherly implemented iteratively in order to elaborate on the first version of water cycling learning progression. In conclusion, children's understanding of water cycling could be described in two aspects: water distribution and water movement. We identified children's conjectural developmental pathways about water cycling existed from superficial and naive accounts to more complex and abstract accounts.

• 한국과학교육학회지
• /
• 제36권6호
• /
• pp.815-833
• /
• 2016

이 연구에서는 기초공통개념으로서 에너지에 대한 학습발달과정연구의 기초 자료를 제공하기 위하여 3~9학년 학생들의 평가 문항 응답 결과를 분석하였다. 검사 문항은 전기 회로, 낙하 물체의 역학적 에너지, 물질의 상태 변화, 용해 현상, 생물체의 생명 현상, 먹이 사슬, 태양과 지구의 복사평형, 및 물의 순환계에서 에너지에 대한 이해를 조사하는 순위 선다형 문항으로 구성되었다. 학생들의 응답 결과는 학년별, 선택지 수준별 응답 빈도에 따라 교차분석을 실시하였고, Rasch 모델을 적용한 문항반응 분석으로서 Wright map 및 DIF 분석을 수행하였다. 연구 결과, 8가지 주제들에 대하여 에너지 이해의 발달과정은 현상과 에너지의 관련성을 인식하거나 에너지의 종류를 파악, 에너지의 이동과 전달을 인식, 에너지가 다른 형태로 전환 및 변환됨을 인식, 에너지의 보존을 인식하는 순서로 진행된다는 경험적 근거를 확보할 수 있었다. 전체 학년에 걸쳐서 공통적으로 8개 주제에 대하여 에너지 보존에 대한 이해가 부족하였다. 학년이 높아짐에 따라 에너지의 전달과 전환에 대한 이해 수준은 주제들마다 다소 차이가 있었다. Rasch 모델을 적용한 문항 반응을 분석한 결과 학생들은 다른 현상의 에너지에 비해 용해 현상의 에너지를 가장 쉬운 과제로 인식하였고 물의 순환 과정에서 에너지 이해를 가장 어려운 과제로 인식하였다. 이 연구의 결과는 에너지의 관점에서 각 주제들이 초중등 과학 교육과정의 어느 학년에, 몇 번째 단원에 어떤 방식으로 배치되어야 할 것인지는 경험적인 연구 자료로서 활용될 수 있으며, 새 과학 교육과정의 내용 체계를 구성할 때 고려할 수 있는 중요한 시사점이 될 수 있었다.

• 한국과학교육학회지
• /
• 제36권2호
• /
• pp.295-302
• /
• 2016

이 연구에서는 구인 모델링 방식을 적용하여 초등학교 5학년~중학교 3학년 학생들의 용해와 용액 개념에 대한 학습발달과정을 조사하였다. 이를 위해 현행 교육과정과 선행연구를 분석하여 용해와 용액 개념 이해의 가설적 발달 경로인 초기 구인 구성도를 설정하였고, 이를 바탕으로 순위정렬 선다형 평가 문항으로 구성된 검사지를 제작하였다. 826명의 학생들을 대상으로 검사를 실시하였으며, 다분 문항반응이론의 모형 중 부분 점수 모형을 활용하여 분석한 결과를 바탕으로 구인 구성도를 수정하였다. 연구 결과, 현행 교육과정에서 학년에 따른 용해와 용액 개념의 제시 순서는 대체로 학생들의 학습발달과정에 부합하는 것으로 나타났다. 그러나 하위 정착점과 용액에서 입자의 균일 분포 개념, 용해도에 영향을 미치는 요인에 대한 이해는 구인 구성도를 통해 이론적으로 예상한 수준과 달랐다. 수정된 구인 구성도에 따라 초 중등학생의 용해와 용액 개념에 대한 학습발달과정을 도출하였다. 하위정착점인 수준 1은 용해와 용액을 입자 관점에서 인식할 수 있으나 다양한 오개념을 지니는 수준으로, 수준 2는 용액에서 입자의 균일 분포 개념을 이해하는 수준으로, 수준 3은 용해도와 입자의 보존 개념을 이해하는 수준으로 설정되었다. 또한, 수준 4는 입자간 인력을 인식할 수 있으나 다양한 오개념을 지니는 수준으로, 상위정착점인 수준 5는 입자간 인력과 용해도에 영향을 미치는 요인을 이해하는 수준으로 설정되었다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.29-43
• /
• 2016

미국과 유럽의 여러 국가에서 과학의 학문 내 핵심 개념을 중심으로 과학 교육과정을 재구성하려는 노력이 시도되고 있으며 그 중 대표적인 변화가 학습발달과정을 이용한 교육과정을 설계하는 것이다. 학습발달과정은 과학의 핵심 개념과 과학적 활동과정을 논리적이며 단계적으로 정교하게 기술한 틀로서 학생이 학습하는 동안 연속적이며 체계적으로 확립되어 가는 이해의 과정을 설명한다. 미국의 차세대과학기준(NGSS)에서 제시한 생명과학 핵심 개념 중 하나인 생태계에 관하여 학습발달과정을 개발하고 개발된 학습발달과정을 평가하고자 하였다. 이를 위해 학습발달과정에 대한 문헌 연구를 통해 개발 절차를 Development, Assessment, Analysis, Amendment의 네 단계로 설정하고 순차적이며 반복적인 과정을 통해 생태계에 관한 학습발달과정을 개발하였다. 그리고 개발된 학습발달과정의 분석 결과 학습 발달과정에 기반을 둔 평가는 학생의 능력을 파악하는데 신뢰할 수 있는 정보를 제공한다는 결론을 도출하였다. 이를 통해 학습발달과정의 개발 과정에 효과적인 방법으로 핵심 성취기준을 이용한 Framework의 개발, OMC 문항 형식과 Rasch 모델을 이용한 평가와 분석 과정을 제안한다. 또한 경험적으로 검증된 학습발달과정을 이용하여 교육 내용, 교육 방법, 교육 평가가 연계된 교육과정 강화 방안을 제안한다. 국내 학습발달과정에 대한 연구가 부족한 시점에 이 연구를 통해 제안된 학습발달과정 개발 절차를 활용하여 학습발달과정의 개발에 수월성을 제공하고, 개발된 학습발달과정의 적용으로 교육과정의 표준과 방향을 제시할 수 있을 것이다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.177-190
• /
• 2016

이 연구는 '지구의 운동과 태양계' 학습 발달과정의 타당성을 2가지 측면에서 검증하고자 하였다: 첫 번째는 구인 타당도로서 학생들이 학습하는 동안에 본 연구의 학습 발달과정에서 설정한 가설적인 발달 경로에 따라 실제로 학생들의 발달이 나타나는가를 조사하였다. 두 번째는 결과 타당도로서 학습 발달과정에 기반한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가를 조사하였다. 이를 위해 서울, 강원, 광주 지역 소재 6개 초등학교에서 5학년 학생 373명과 교사 17명이 연구에 참여하였다. 초등학교 5학년의 태양계와 별 단원에서 지구의 운동과 태양계 관련 내용을 포함하는 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 순위 선다형 문항(13개)으로 구성된 검사지를 투입하여 그 결과를 비교 분석하였다. 구인 타당도를 알아보기 위해 실험군 학생들을 대상으로 사전과 사후의 수준 변화를 분석한 결과, 약 64%에 해당하는 학생들이 적응적 교수활동에 의해 가설적으로 설정한 경로를 따라 발달하는 것으로 나타났으며, 사전/사후 검사 결과를 Rasch 모델로 적용한 분석 결과도 이를 뒷받침하였다. 결과 타당도를 알아보기 위해 실험군과 대조군의 사전검사를 공변량으로 한 공변량분석(ANCOVA)을 실시한 결과, 실험군 학생들의 수준 향상이 대조군 학생들의 경우에 비해 비해 통계적으로 유의미하게 높은 것으로 나타났으며(F=30.819, p=0.000), 실험군이 대조군보다 정적(+) 수준 변화 경향이 더 뚜렷하게 나타났다. 또한, Rasch 모델을 적용하여 결과 타당도를 검증한 결과, 실험군이 대조군보다 학생 능력치 상승이 더 높게 나타났으며, 이러한 차이는 통계적으로 유의미한 것으로 분석되었다(F=11.632, p=0.001).