DOI QR코드

DOI QR Code

The Effects of Reward Methods in Cooperative Learning

보상 제공 방법에 따른 협동학습의 효과

  • Noh, Tae-Hee (Department of Chemistry Education, Seoul National University) ;
  • Yoon, Seon-Ae (Department of Chemistry Education, Seoul National University) ;
  • Han, Jae-Young (Department of Chemistry Education, Seoul National University) ;
  • Lee, Chi-Young (Department of Chemistry Education, Seoul National University)
  • Published : 2003.12.20

Abstract

In this study, the effects of two types of reward methods in cooperative learning were investigated upon students' achievement, learning motivation, perceptions of learning environment and perceptions of reward methods. Seventh graders (N=61) were selected from a co-ed middle school in Seoul, and were taught about 'three states of matter', 'motion of molecules' and 'change of state and thermal energy' for 14 class hours. Reward methods were classified into task-oriented reward and performance-oriented reward. The results revealed that high-level students performed better in the task-oriented reward group, and low-level students performed better in the performance-reward group for the 'application' subcategory of the achievement test. The scores of attention and relevance in learning motivation and task orientation, involvement, and order and organization in perceptions of learning environment test were significantly higher in the task-oriented reward group than those in the performance-oriented reward group.

본 연구에서는 협동학습에서 보상 제공 방법의 효과를 학생들의 성취도, 학습 동기, 수업 환경에 대한 인식, 그리고 보상 제공 방법에 대한 인식의 측면에서 조사하였다. 서울시 남녀 공학 중학교에서 1학년 61명을 선정하고 ''물질의 세 가지 상태'', ''분자 운동'', ''상태 변화와 열에너지'' 단원에 대하여 14차시 동안 수업을 실시하였다. 보상 제공 방법은 과제 지향 보상과 수행 지향 보상으로 구분하였다. 연구 결과, 상위 학생들은 과제 지향 보상 집단에서, 허위 학생들은 수행 지향 보상 집단에서 성취도 중 적용 영역의 점수가 높게 나타났다. 과제 지향 보상 집단이 학습 동기 중 주의집중과 관련성, 수업 환경에 대한 인식 중 과제 지향성, 참여도, 질서와 조직성에서 유의미하게 높았다.

Keywords

서 론

최근 국내외에서 활발하게 시도되고 있는 협동학습은 전통적인 소집단 학습과 달리 긍정적 상호의존성, 개별적 책무성, 내면적 상호작용, 협동적 기술, 집단과정 등을 특징으로 한다.1 이 중 긍정적 상호 의존성은 협동적 상황이 구조와 되기 위한 가장 핵심적인 요소로서, 서로의 성공을 위한 상호작용을 통해 학생들의 인지적·정의적 측면에 긍정적인 영향을 미친다.2 이러한 긍정적 상호의존성을 유도하기 위한 방안으로 대부분의 협동합습에서는 집단 보상 방법을 사용해 왔다.3 즉 집단보상 구조하에서는 구성원들 사이에 서로 돕는 협동 강화 현상이 유발되기 때문에, 개별보상보다는 집안보상을 제공할 때보다 일관되게 긍정적인 효과가 나타나는 것으로 보고되고 있다.4,5

지금까지 협동학습에서의 집단 보상은 주로 소집단 단위의 학습 활동 후 개별적으로 실시하는 퀴즈 점수에 기초하여 제공되었다.6,7 그러나, 학습 결과에 기초한 기존의 보상방법은 학생들이 소집단 활동을 통한 학습 과정 자체보다는 결과에 집착하게 함으로써 실질적인 협동을 저해하는 요인으로 작용할 가능성이 있다.8 이러한 문제에 대하여 목표 이론(goal-theory)은 보상 방법에 대한 새로운 관점을 제시한다. 목표이론에서 학습목표를 크게 과제 지향적(task-oriented)인 것과 수행 지향적(performance-oriented)인 것으로 구분하는 것과 같이, 보상을 제공하는 방법도 학습 과정의 평가에 초점을 맞추는 과제 지향 보상과 학습 결과에 초점을 맞추는 수행 지향 보상으로 구분할 수 있다.9,10 이 중 소집단 활동 과정에 초점을 맞추는 과제 지향 보상은 긍정적인 소집단 활동에서의 참여를 유도함으로써 협동학습의 근간이 되는 활발한 언어적 상호작용을 증진시킬 것으로 기대된다.

과제 지향보상에 대한 연구는 많지 많은데, 외국 대학생들을 대상으로 협동학습에서 과제 지향 보상 및 수행 지향 보상을 비교한 결과, 유의미한 차이는 아니었지만 대체적으로 과제 지향보상 집단의 점수가 높은 경향이 있었다.9 국내의 경우에는 집단 보상과 개별 보상을 비교한 연구는4,11 이루어졌으나, 과제 지향 보상과 수행 지향 보상을 비교한 연구는 거의 이루어지지 않았다. 한편, 협동학습에서 성취 수준에 따라 보상 유무의 효과가 달라지므로,12 과제 지향 보상과 수행 지향 보상으로 보상 제공 방법이 달라질 경우에도 학습자의 성취 수준에 따른 차이가 나타날 가능성이 있다. 그러므로 본 연구에서는 중학교 1학년 과학 수업에서 성취 수준 및 보상제공 방법에 따른 협동 학습의 효과를 조사하였다 연구의 구체적인 목표는 다음과 같다.

1. 과제 지향 보상 및 수행 지향 보상으로 보상 제공 방법을 달리한 협동학습이 학생들의 성취도에 미치는 효과를 조사한다.

2. 과제 지향 보상 및 수행 지향 보상으로 보상 제공 방법을 달리한 협동 학습이 학생들의 학습동기, 수업 환경에 대한 인식, 보상 제공 방법에 대한 인식에 미치는 효과를 조사한다.

3. 학생들의 성취도, 학습동기, 수업 환경에 대한 인식의 측면에서 보상 제공 방법과 학생들의 성취 수준 사이에 상호작용 효과가 있는지를 조사한다.

 

연구 내용 및 방법

연구 대상. 본 연구는 서울시에 소재한 남녀 공학 중학교 1학년 학생 61명을 대상으로 실시하였다. 중간 고사 과학 성적이 유사한(Ms=1.60, F=0.00, p=0.947) 2학급을 선정하여, 학급별로 과제 지향 보상 집단(task)과 수행 지향 보상 집단(performance)으로 배치하였다. 두 학급의 중간 고사 과학 성적 평균값을 기준으로 성취 수준상·하위 집단을 구분하였으며, 구분한 각 집단의 학생 수는 Table 1과 같다.

Table 1.Numbers of the subjects

연구 절차. 수입 처치 이전에 학습 동기와 수업환경에 대한 인식검사를 실시한 후, 2차시 동안 새로운 수업방법에 대한 오리엔테이션 및 연습 수업을 실시하였다. 또한, 처치 교사가 협동학습에 익숙해지도록 연구자와 면담 및 워크샵을 실시하였다. 수업 처치로는 `물질의 세 가지 상태', '분자 운동', '상태 변화와 열에너지' 단원에 대하여 14차시 동안 각 집단별로 보상제공 방법을 달리한 협동항습을 실시하였다. 교사는 매 차시 다른 학급을 대상으로 협동학습 수업을 연습하였고, 연구자는 집단별로 2~3회 수업을 참관하여 수법 처치가 계획대로 진행되는지 확인하였다. 수업 처치가 끝난 후, 성취도, 학습동기, 수업환경에 대한 인식, 보상 제공 방법에 대한 인식 검사를 실시하였다

수입처치. 수업처치 이전의 과학 성적 평균을 기준으로 상·하위 2명씩 성별을 고르게 하여 4인1조의 소집단을 구성하였다. 활동지는 도입을 위한 '같이 생각해 보자', 실험활동이 있는 경우는 실험 결과와 결과 해석을 기록하는 '함께 관찰하면서 기록하자', 실험 활동이 없는 경우는 조사 활동 내용과 자료를 해석하는 '함께 기록하자', 배운 내용을 정리해 보는 '조원끼리 서로 토의하여 정리해 보자', 배운 내용을 생활이나 새로운 상황에 적용해 보는 '함께 풀어보자' 등의 4단계 과정으로 구성하였다. 활동지는 조원 모두가 볼 수 있도록 조별로 2부씩 나누어 주었으며, 긍정적 목표 의존성과 상호의존성을 부여하기 위해13 1부만 제출하게 하였고, 활동지에 조원 모두의 의견을 포함하도록 강조하였다. 또한, 조원에게 개별적 책무성을 부여하기 위해 조장, 질문자, 기록자, 자료관리자의 4가지 역할을 부여하여 이를 교대로 수행하도록 하였다

과제 지향보상 집단에서는 협동 학습에서 중요시되는 소집단 기능과 협동적 기술1,14 중 긍정적 상호 의존성을 증가시키는 데 큰 영향을 미치는 10가지 행동을 선별하여(예:서로 자세히 설명해 주기, 모든 조원이 참여하기, 역할에 충실하기 등) 교실 앞에 게시하였다. 이러한 행동 목록에 대하여 교사가 매시간 학생들의 활동을 관찰하여 교사 점검표를 작성한 후, 이를 기초로 소집단 활동 과정에 대한 피드백을 2~3차시에 한번 제공하였다 또한, 학생들의 활동지에서 '함께 풀어보자'를 중심으로 평가한 점수도 피드백에 활용하였다 이에 비해 수행 지향보상 집단에서는 2~3차시에 한번 퀴즈를 실시하고 조원들의 퀴즈 점수를 합산한 조 점수를 제시하는 보상을 실시하였다.

검사 도구. 성취도 검사지는 내용 영역과 행동 영역으로 나눈 이원목표 분류표에 따라 구성하였다. 내용영역은 처치 기간에 학습한 '물질의 세 가지 상태', '상태 변화', '상태변화와 열에너지', '분자 운동', '압력', '기체의 압력과 부피 관계', '기체의 온도와 부피 관계'이며, 문항 수는 수업 차시에 비례하여 구성하였다. 행동 영역은 Bloom의 교육 목표 분류에 따라 지식 6문항, 이해 7문항, 적용 7문항으로 구성하였다 성취도 검사지는 과학교육 전문가 3인과 현직 교사 1인으로부터 안면타당도를 검증받았고, 검사 실시 후 구한 내적 신되도가 (Cronbach’s α)는 0.84였다.

학습 동기 검사지는 Keller의 ARCS 이론에 근거하여 개발된 Course Interest Survey를15 사용하였다. 이 검사지는 주의집중, 관련성, 자신감, 만족감의 하위범주에 대하여 각각 8~9문항씩 34 문항 5단계의 리커트 척도로 구성하였다. 이 연구에서의 신뢰도(Cronbach’s α)는 사전검사에서 하위 범주별로 0.81, 0.86, 0.55, 0.78, 사후 검사에서 0.81, 0.86, 0.62, 0.86이었다.

수업 환경에 대한 인식 검사지는 축소본 Classroom Envirolament Scale16 중에서 참여성, 친화성, 교사의 지원성, 과제 지향성, 질서와 조직성 범주에 대하여 각각 4문항씩 20문항을 5단계 리커트 척도로 구성하였다. 이 연구에서의 신뢰도(Cronbach’s α)는 사전 검사에서 하위 범주별로0.74, 0.46, 0.57, 0.33, 0.83, 사후 검사에서 0.69, 0.72, 0.70, 0.48, 0.77이었다.

보상제공 방법에 대한 인식검사지는 '이전 수업과는 다르게 조 점수를 주는 것에 대해 어떻게 생각합니까?', '선생님께서 조 점수를 주신 기준에 대해 어떻게 생각합니까?', '이전에 개별적으로 점수를 주었을 때보다 조 점수를 받았을 때 공부를 더 열심히 하였습니까?'의 질문에 대하여 리커트 척도와 서술형으로 구성하였다.

분석 방법. 연구의 종속변인인 성취도, 학습 동기, 수업 환경에 대한 인식에 대하여 성취 수준 및 보상제공 방법에 따른 효과를 비교하기 위하여 이원 공변량 분석(ANCOVA)을 실시하였다. 통계 분석을 위해 기본 가정을 검토한 결과, 성취도의 지식 및 적용은 동변량성을 만족하지 못하여 반전 후 제곱근을 씌우는 변환을17 한 후 공변량 분석을 실시하였다. 또한, 수업환경에 대한 인식 중 참여성은 변환으로도 동편향성을 만족하지 못하며 비모수 통제 방법인 Mann-Whitney U test을 사용하여 분석하였다. 그리고, 수업환경에 대한 인식 중 과제 지향성은 공변인의 효과 검증이 유의미하지 알아서 사전 동질성(p=0.305)을 조사한 후 변량 분석(ANOVA)를 실시하였으며, 보상 제공 방법에 대한 인식 검사에 대해서는 χ2 검증을 실시하혔다 성취도의 경우는 수학 성적을, 학습동기 및 수업환경에 대한 인식은 각각의 사전 검사를 공변인으로 사용하였으며, 구획 변인으로 중간 고사 과학 성적을 사용하였다. 모든 통계 분석에는 SPSS 통계 패키지를 사용하였다.

 

결과 및 논의

성취도에 미치는 효과. 성취 수준 및 보상제공 방법에 따른 성취도 검사의 평균 및 교정 평균을 Table 2에 제시하였다. 이원 공변량 분석 결과 지식과 이해 영역에서는 두 집단간에 주효과 및 상호작용 효과가 나타나지 않았으나 (지식 : 주효과 MS=0.04, F=0.13, p=0.715, 상호작용 효과 MS=0.07, F=0.21, p=0.650; 이해: 주요과 Ms=1.81, F=0.74, p=0.392, 상호작용 효과 MS=2.52, F=1.04, p=0.313), 적용 영역에서 상호작용 효과가 나타났다(Table 3, Fig. 1), 단순검증 결과에서는 상,하위 집단 모두 유의미한 차이가 없었다.(상위 : Ms=1.39, F=2.86, p=0.101, 하위: Ms=0.90, F=2.85, p=0.1040) 즉, 상위 학생들은 과제 지향 보상 집단에서, 하위 학생들은 수행 지향 보상 집단에서 상대적으로 적용 영역 점수가 높은 경향을 나타냈다. 과제 지향 보상 집단에서는 활동지의 '함께 풀어보자' 부분이 조 점수에 큰 영향을 미치므로, 상위 학생들이 하위 학생들에게 설명을 하며 문제를 해결하는 과정에서 효율적인 학습이 어느 정도 이루어진 것으로 생각할 수 있다.

Table 2.Means, standard deviations, and adjusted menas of the achievement test scores

Table 3.*p<0.05

Fig. 1.Application subtest scores by achievement level.

학습 동기에 미치는 효과. 학습 동기 검사의 평균 및 교정 평균을 Table 4에 제시하였다. 하위 범주 중 주의 집중과 관련성에서 주효과가 나타났다(Table 5). 즉, 과제 지향 보상 집단의 학생들이 수행 지향 보상 집단에 비하여 수업에 집중을 더 많이 하며, 수업내용이 자신의 생활과 연관이 있다고 생각하고 있었다. 과제 지향 보상 집단은 수업 중의 행동을 평가받으므로 학생들이 조별 점수를 더 잘 받기 위해 더욱 집중하게 되면서, 배운 내용을 생활이나 새로운 상황에 적용해 보는 '함께 풀어 보자'의 내용이 생활과 서로 밀접한 관련이 있음을 느끼게 된 것으로 볼 수 있다.

한편, 자신감과 만족감에서는 두 집단 간에 주효과 및 상호작용 효과가 나타나지 않았다. (자신감 : 주효과 MS=0.00, F=0.00, p=0.951, 상호작용 효과 MS=0.54, F=3.45, p=0.068; 만족감 : 주효과 MS=0.32, F=1.57, p=0.215, 상호작용 효과 MS=0.38, F=1.83, p=0.182). 그러나, 두 집단 모두 네 범주의 교 정 평균이 3점보다 높은 경향이 있어(Table 4), 학생들의 학습 동기는 대체로 긍정적인 편이었다. 이는 협동 학습이 학습동기 유발에 효과적으로 작용했기 때문인 것으로 보인다.8

Table 4.Means, standard deviations, and adjusted menas of the learning motivation

Table 5.*p<0.05.

수업환경에 대한 인식에 미치는 효과. 성취 수준 및 보상제공 방법에 따른 수업환경에 대한 인식 검사의 하위 영역별 평균 또는 교 정 평균을 Table 6에 제시하였다. 본 연구에서 적용한 두 협동 학습은 수업환경에 대한 인식에 대체로 긍정적으로 작용한 것으로 나타났다. 질서와 조직성 범주에서는 다소 부정적인 경향이 있었는데, 이는 협동학습을 통해 시끄럽고 산만한 교실 분위기가 조성되었을 가능성에 기인할 수 있다.8 친화성, 교사의 지원성, 질서와 조직성의 이원 공변량 분석 및 과제 지향성의 이원 변량 분석 결과와 참여성의 Mann-whitney U test 결과를 각각 Table 7과 Table 8에 제시하였다. 참여도, 과제 지향성, 질서와 조직성에서는 주효과가 나타났으며, 모든 범주에서 과제 지향 보상 집단이 수행 지향 보상 집단에 비하여 점수가 높았다. 즉, 과제 지향보상 집단의 학생들은 수업 중 자신들의 행동이 조 점수에 반영되므로, 수행 지향 보상 집단의 학생들에 비하여 수업에 적극적으로 참여하여 학습 과제를 해결하기 위해 노력하므로, 수업 분위기가 다소 정돈되고 조직적이라고 생각할 수 있다.

Table 6.Means, stnadard deviations, and adjustd menas of the perceptions of learning enviroment

Table 7.*p<0.05, **p<0.01

Table 8.**p<0.01

또한, 교사의 지원성에서 상호작용 효과가 나타났는데(Fig. 2), 단순 검증 결과에서는 상, 하위 집단 모두 유의미한 차이가 없었다.(상위 : MS=0.40, F2.20, p=0.148, 하위 : MS=0.30, F=0.78, p=0.385). 즉, 상위 학생들은 과제 지향 보상 집단에서, 하위 학생들은 수행 지향 보상 집단에서 교사가 학생들에게 관심이 많다고 생각하는 경향이 있었다. 상위 학생들은 하위 학생들에 비하여 도움주기와 같은 협동적 기술을 더 많이 사용하는데,18 과제 지향 보상은 학생들의 행동을 평가하여 보상을 주기 때문에 상위 학생들은 교사가 자신들의 행동을 평가하기 위해 더 관심을 가진다고 느낄 가능성이 있다.

Fig. 2.Teacher support subtest Scores by achievement level

보상 제공 방법에 대한 인식에 미치는 효과. 협동학습에서 조 점수 부어에 대한 학생들의 인식 조사 결과 '이전에 개별적으로 점수를 주었을 때보다 조 점수를 받았을 때 공부를 더 열심히 하였습니까?'의 문항에서 두 집단 간 차이가 나타났다(χ2=9.66, p=0.047). 즉, 수행 지향 보상 집단 학생들에 비하여 과제 지향 보상 집단 학생들이 조 점수로 인해 공부를 더열심히 하였다고 응답하였는데, 수업 과정에 대한 평가 점수가 조 점수에 포함될 경우 학생들의 학습 노력이 증가하는 것으로 생각할 수 있다. 한편, '이전 수업과는 다르게 조 점수를 주는 것에 대해 어떻게 생각하십니까?', '선생님께서 조 점수를 주신 기준에 대해 어떻게 생각합니까?'의 문항에 대해서는 유의미한 차이가 나타나지 않았으나, 과제 지향 보상 집단의 학생들이 수행 지향 보상 집단의 학생들보다 조 점수에 대하여 긍적적으로 생각하며, 기준이 공평하다고 생각하는 경향을 볼 수 있었다.(Table 9)

Table 9.Results of perceptions of reward methods

 

결론 및 제언

본 연구에서는 중학교 과학 협동학습에서 보상 제공 방법이 학생들의 성취도, 학습 동기, 수업 환경에 대한 인식 그리고 보상 제공 방법에 대한 인식에 미치는 효과를 조사하였다. 연구 결과, 성취도의 적용 영역에서 상호작용 효과가 있었는데, 상위 학습자는 과제 지향 보상에서, 하위 학습자는 수행 지향 보상에서 적용 영역의 점수가 더 높은 경향이 나타났다. 협동학습에서 성취 수준에 따른 보상 유무의 효과가 저급 과제에는 나타나지 않고 고급 과제에서만 나타난 점을12 고려할 때, 보상 제공의 효과는 과제의 종류에 따라 다르게 나타날 수 있음을 시사하며 그 원인에 대하여 심도있는 연구가 요구된다.

정의적 영역에서는 학습 동기 중 관련성과 주의집중, 수업 환경에 대한 인식 중 참여성, 과제 지향성, 질서와 조직성 그리고 보상 제공 방법에 대한 인식에서 보상제공 방법에 따른 차이가 나타났다. 학습 동기와 수업 환경에 대한 인식의 다른 하위 영역에서도 통계적으로 유의미하지는 않았지만, 전반적으로 과제 지향 보상 집단의 학생들의 점수가 높게 나타났다. 즉, 과제 지향보상을 제공할 경우, 학생들이 수업 과정에 좀 더 집중하여 참여도가 높아지고, 수업 환경을 긍정적으로 생각하는 등 정의적 영역에 효과를 가져올 수 있다. 따라서 협동 학습에서 퀴즈 점수 등의 결과에 기초한 보상보다는 학습 과정에 대한 피드백과 보상을 제공하는 것이 학생들의 소집단 활동을 촉진시킬 수 있음을 시사한다.

소집단 활동 과정에 초점을 맞추는 과제 지향 보상이 긍정적인 소집단 활동에의 참여를 유도함으로써 협동 학습의 근간이 되는 활발한 언어적 상호작용을 증진시킬 것으로 기대했던 바와 같이 일부 인지적·정의적 영역에 효과가 있었다. 따라서, 교육현장에서 학생들의 활동과정을 평가하는 과제 지향 보상 협동학습을 적극적으로 활용할 필요가 있다

한편, 과제 지향 보상에서는 학생들의 협동적 행동을 평가하는데, 이러한 협동적 기술은 협동학습의 과정에서 자동적으로 습득되는 것은 아니다.19 즉, 과제 지향 보상 집단의 경우 보상이 제한된 집단에만 제공되어 인지적 영역에서 효과가 뚜렷이 나타나지 않았을 가능성이 있다. 그러므로 학생들의 협동 기술 향상 프로그램을 과제 지향 보상과 함께 제공하는 방안에 대하여 연구해 볼 필요가 있다. 또한 남학생은 여학생에 비하여 과제 지향적인 경향이 더 크다고 보고되므로,20 학생들의 사전 성취 수준 이외에 성별이나 학습 목표 성향 등에 따른 보상 제공 방법의 효과를 알아보는 연구도 이루어져야 할 것이다. 또한, 본 연구에서는 정량적인 분석만이 실시되었지만, 보상 제공 방법에 따른 학생들의 상호작용 양상을 밝히기 위하여 심도있는 정성적인 연구가 진행되어야 할 것이다.

References

  1. Johnson, D. W.; Johnson, R. T. Circles of Learning Cooperation in the Classroom; Interaction Book Company: Minesota, 1993.
  2. Slavin, R. E. Cooperative Learning: Theory, Research, and Practice; A Simon & Schuster Company: Massachesetts, 1995.
  3. 김규익 보상방법에 따른 사회과 협동학습의 효과; 동아대학교 석사학위논문, 2000.
  4. 이종두 구조화된 협동학습 전략과 집단 보상 제공이 학업성취에 미치는 효과; 서울대학교 박사학위논문, 1997.
  5. Yager, S.; Johnson, D. W.; & Johnson, R. T. Contemporary Educational Psychology 1985, 10, 127. https://doi.org/10.1016/0361-476X(85)90013-X
  6. 노태희; 한채영; 서인호; 전경문; 차정호 한국과학교육학회지 2000, 20, 43.
  7. Watson, S. B.; Marshal, J. E. Journal of Research in Science Teaching 1995, 32, 291. https://doi.org/10.1002/tea.3660320308
  8. 임희준 과학 수업에서의 협동학습: 교수 효과와 소집단의 언어적 상호작용; 서울대학교 박사학위논문, 1998.
  9. Klein, J. D.; Others. Effects of cooperative learning and type of reward on performance and continuing motivation; Paper presented at the convention of the association for educational communications and technology, New Orleans, 1993.
  10. Maehr, M. L.; Midgley, C. Educational Psychologist 1991, 26, 399. https://doi.org/10.1207/s15326985ep2603&4_9
  11. 김현재; 김계전 과학교육논총 1999, 11, 1.
  12. 정문성 사회과 학업성취에 대한 협동학습의 효과연구, 서울대학교 박사학위논문, 1994
  13. 노태희; 박수연; 임희준; 차정호 한국과학교육학회지 1998, 18, 61.
  14. 정문성; 김동일 열린교육을 위한 협동학습의 이론과 실제; 형설출판사: 서울, 1998.
  15. Kel1er, J. M.; Subhiyah, R. Course Interest Survey; Florida State University, 1993.
  16. Fraser, B. J.; & Fisher, D. L. Journal of Research in Science Teaching 1986, 23, 387. https://doi.org/10.1002/tea.3660230503
  17. 양병화 다변량 자료분석의 이해와 활용: 사회/마케팅 조사 및 행동과학을 위한 SPSS for Windows 100% 활용; 학지사: 서울, 1998.
  18. Nattiv, A. Elementary School Journal 1994, 94, 285. https://doi.org/10.1086/461767
  19. 변영계; 김광휘 협동학습의 이론과 실제; 학지사: 서울, 1999.
  20. 노태희; 전경문 한국과학교육학회지 1997, 17, 415.