서론
인터넷과 스마트폰으로 대표되는 과학 기술의 대중화와 인공지능의 발달로 인하여 누구나 원하는 정보를 쉽게 찾을 수 있게 되었지만, 한편으로는 언론의 잘못된 주장이나 검증되지 않은 정보로 인한 문제점도 드러나고 있다.1,2 따라서 현대사회에서는 정보를 비판적으로 평가하고 적절하게 활용할 수 있는 능력이 필수적이라고 제안되는데,3 정보를 비판적으로 평가하고 올바르게 활용하는 방법에 대한 교육은 아직 신념이 고착화되지 않은 청소년기의 학생들에게 특히 중요하다.4 우리나라의 2022 개정 교육과정 총론에서는 디지털 소양을 강조하고, 정보를 수집·분석하고 비판적으로 이해·평가하여 새로운 정보와 지식을 생산·활용하는 능력을 기초 소양 중의 하나로 제시하였다.5 미래세대를 위한 과학교육표준에서도 과학적 소양 함양을 위해 필요한 역량으로 정보처리와 의사결정 능력을 명시하여 정보 활용 능력의 중요성을 강조하고 있다.6
수업에서 학생들의 정보 활용 능력 함양에 유용한 방법으로 과학기술관련 사회쟁점(socioscientific issues; SSI) 교육을 들 수 있다.7,8 SSI는 과학·기술적 측면, 사회적 측면, 윤리적 측면이 복잡하게 얽혀 논쟁거리가 되는 문제로서 다양한 이해관계를 가진 사람들이 관련되고 답이 정해져 있지 않다는 특징이 있다.9,10 SSI에 대한 의사결정을 하기 위해서는 복잡하고 다양한 정보를 이해하고 정보의 신뢰성을 과학적으로 검토하는 과정을 거쳐야 한다. 따라서 SSI 교육은 학생들이 문제 해결을 위해 스스로 정보를 수집하고 분석할 수 있는 기회를 제공할 뿐 아니라, 삶 속에서 과학을 직접 적용하여 문제를 해결하는 경험을 제공할 수 있다.11,12
SSI에 대한 의사결정 과정에는 다양한 이해관계의 협상을 위한 토론이 필요하며, 이때 학생들이 어떤 정보를 선택하고 받아들이는지가 영향을 미칠 수 있다.13 SSI 관련 토론에서 정보의 활용은 학생들의 비판적 추론을 촉진하는 방법이며14,15 학생들은 정보 탐색 과정을 통해 자신의 입장에 대해 비판적으로 성찰할 기회를 갖게 되므로16 토론의 수준이 높아진다. 따라서 SSI 관련 문제에서 합리적인 의사결정을 내리기 위해서는 정보 탐색 과정이 효과적으로 이루어져야 할 것이다. 그러나 학생들이 접하는 정보는 정보 생산자의 주관이 개입되거나 특정한 입장만 대변할 가능성이 있으므로,17 SSI 교육에서는 정보를 탐색하고 평가하여 올바르게 활용하는 방법을 더욱 중요하게 다룰 필요가 있다.18-20
이러한 맥락에서 장차 교사로서 SSI 교육을 실행할 예비교사들이 SSI 토론 수업을 직접 경험하며 정보를 스스로 탐색하고 자료를 준비하여 소집단 토론에 참여해보는 것은 SSI 교육의 특성을 이해하고 SSI 교수학습을 실행할 수 있는 전문성을 함양하는 등21,22 교육적으로 유의미한 활동이 될 것이다. 또한 교사의 SSI 교육에 대한 사전지식이 학생들의 정보 탐색 활동에 영향을 미친다는 점에서도23 예비교사들의 SSI 토론 수업 경험은 의미를 지닐 것이다.
한편 학생들은 과학 관련 정보에 포함된 주장이나 증거를 평가하고활용하는데어려움을느끼는것으로알려져있다.24-28 일반적인 과학 수업에서 학생들에게 제공되는 정보는 필요에 따라 의도적으로 선별된 정보인 경우가 많다. 따라서 ‘어떤 자료를 신뢰할 수 있는가’ 또는 ‘이 자료를 다르게 해석할 수 있는가’ 등의 질문은 잘 다루어지지 않고 자료의 평가에도 충분한 시간이 주어지지 않는다.29 또한 Sandoval & Çam (2011)은30 학생들이 자료를 해석이 필요한 대상으로 보기보다는 증거로 사용할 수 있는 객관적인 사실로 받아 들임을 지적하였다. Phillips & Norris (1999)도31 학생들이 잡지나 신문의 과학 관련 기사에 대해서는 편향성을 의심하지 않고, 과학적 추론이나 논증을 할 때도 과학 관련 기사의 정확도와 신뢰도를 비판적으로 판단하지 못함을 보고하였다. 따라서 과학 관련 정보를 평가하고 활용하는 방법에 대한 체계적인 교육이 필요하며 SSI 교육을 활용할 수 있을 것이다.
이제까지 SSI 교육 관련 선행연구는 주로 한 개인이 의사결정에 도달하기까지의 추론 과정이나 집단에서 사회적 상호작용을 거치며 합의를 통해 의사결정에 도달하는 과정에 주목하였다.32 Jho (2014)도33 SSI 교육 연구 중 정보 탐색을 다룬 연구가 매우 적다고 보고하였는데, 학생들이 주로 인터넷이나 대중 매체에서 정보를 찾는 경향이 있고,34 성취도가 높아도 적절한 정보를 검색하고 적용하는 데 어려움을 겪으며,35,36 정보 탐색 능력은 쉽게 향상되지 않는다는 정도의 결과만37 보고되었다. 최근 SSI 관련 과학 정보의 평가 양상이나 미디어 정보를 활용하는 SSI 교육을 다룬 연구들이 늘어나고 있지만,18,20,24,38,39 연구자가 선택한 정보를 제공하는 경우가 대부분이고 학생들 스스로 정보를 탐색하여 선택하는 맥락은 거의 없다.40 따라서 SSI 교육에서 학생들이 필요한 정보를 탐색하고 활용하는 양상을 구체적으로 파악할 필요성이 있다.
한편, 인식론적 신념(epistemological beliefs)은 지식의 본질과 지식 획득 과정의 본질에 대한 개인적 믿음이라고 할 수 있는데,41 정보가 지식의 원천이라는 점을 고려한다면 SSI 관련 정보 탐색에서 정보를 선택하고 사용하는 과정에 인식론적 신념이 영향을 미칠 것으로 예상할 수 있다. 선행연구에서는 학생들의 과학에 대한 인식이나 인식론적 신념이 정보 평가에 영향을 미치고,24,40 인식론적 신념 수준이 높을수록 과학과 관련된 논쟁적인 정보를 더 적절하게 다룬다는 결과가 보고되었다.15,42-44 또한 과학적 인식론적 신념 수준이 높은 학생들은 온라인 과학 정보를 다양한 각도에서 평가하고,45 학생들의 인식론적 신념 수준과 웹 기반의 과학 주장을 정당화하는 유형 사이에도 관계가 있다.46 즉, SSI와 같이 다양한 관점이 존재하는 논쟁적인 주제에 대한 정보를 탐색할 때, 인식론적 신념은 정보의 평가나 탐색한 정보의 활용에 영향을 미치는 중요한 요인이 될 수 있다. 따라서 학생들의 인식론적 신념 수준과 SSI 수업에서 정보를 탐색하고 활용하는 활동 사이의 관계를 연구할 필요성이 있다.
이 연구에서는 예비과학교사들이 SSI 토론 수업에서 필요한 정보를 탐색하는 과정을 관찰하여 정보 탐색 활동의 진행 양상을 조사하고, 소집단 토론의 논증 수준과 관계가 있는 정보 탐색 활동의 특징을 분석하였다.
연구 방법
연구 대상
이 연구에는 서울 소재 사범대학 과학교육과에 재학 중이고 ‘화학교육연구’ 과목을 수강하는 예비교사 24명(남자 15명, 여자 9명)이 참여하였고 전공은 화학교육(12명)과 생물교육(12명)이었다. 연구 참여 의사를 밝힌 29명 중 과학적 인식론적 신념 검사의 점수가 평균에 가까웠던 5명을 제외한 24명을 대상으로 연구를 진행하였고, 이들 중 12명을 사전 및 사후면담 대상으로 선정하였다. 사전 면담 결과 대부분의 예비교사들은 SSI에 대해 처음 알게 되었거나 용어만 들어본 정도의 수준이었으나, SSI의 필요성에는 공감하였다. 예비교사들은 ‘화학교육론’이나 ‘생물교육론’ 그리고 ‘화학교재연구 및 지도법’이나 ‘생물 교재연구 및 지도법’을 수강하였으나, 수업에서의 찬반 토론 경험은 없다고 응답하였다.
검사 도구
예비교사들의 인식론적 신념을 조사하기 위해 Conley et al.(2004)의 과학적 인식론적 신념 검사지를 번역하여 사용하였다.47 연구자 중 1인이 검사 문항을 번역한 후 과학 교육 전문가 2인이 검토하였다. 과학적 인식론적 신념 검사지는 인식론적 신념의 출처(source), 확실성(certainty), 발전(development), 정당화(justification) 등 4개의 하위 차원으로 나뉘며, 출처 5문항, 확실성 6문항, 발전 6문항, 정당화 9문항 등 총 26개의 5단계 리커트 척도 문항으로 구성되어 있다. Conley et al. (2004)의 각 차원별 신뢰도(cronbach’s α)는 .82, .79, .66, .76이었고, 이 연구의 각 차원별 신뢰도(cronbach’s α)는 .83, .76, .81, .78이었다.
연구 절차
연구 참여자들은 총 4차시에 걸쳐 오리엔테이션, 예비 수업, 본 수업에 참여했으며, 한 차시 수업은 약 50~60분간 진행되었다. COVID-19 감염병 예방을 위해 모든 수업 과정과 면담은 비대면으로 진행되었다. 전체 연구 참여자들을 대상으로 안내가 필요한 경우에는 전체 원격 회의로 진행하였고, 소집단별 활동은 소그룹 원격 회의로 진행하였다. 모든 전체 회의와 소그룹 회의에는 연구자가 참여하여 활동 내용을 관찰하고 기록하였다.
1차시 오리엔테이션에서는 SSI 교육과 SSI 토론 수업, 이 연구에서 다룬 SSI 주제인 ‘바이오 연료’에 대한 워크샵을 실시하였다. 1차시가 끝난 뒤 24명의 연구 참여자들을 4인 1조 소집단에 배치하였는데, 과학적 인식론적 신념 수준에 따른 정보 탐색 및 소집단 토론 활동의 특징을 탐색하기 위해 과학적 인식론적 신념 검사 점수 상위 소집단과 하위 소집단을 각각 3개씩 구성하였다. 이때 평균보다 점수가 높은 12명은 상위 소집단(1, 2, 3조)으로, 평균보다 점수가 낮은 12명은 하위 소집단(4, 5, 6조)으로 무선 배치하였다. 상위 소집단의 인식론적 신념 검사 점수 평균은 4.23이었고 하위 소집단의 평균은 3.82이었다. 두 집단의 평균 점수에 대하여 독립표본 t-검정을 실시한 결과, 그 차이는 통계적으로 유의미하였다(t=7.281, p=.000). 4인의 소집단은 다시 2인으로 나누어 두 팀을 구성하였다.
2차시에는 예비교사들이 팀 활동과 소집단 활동으로 구성된 정보 탐색 활동과 소집단 토론 활동에 익숙해지고 비대면 활동을 원활하게 진행할 수 있도록 본 수업 과정을 약식으로 연습해보는 기회를 제공하는 예비 수업을 진행하였다. 예비 수업에는 ‘생물 복제에 찬성하는가 반대하는가’라는 주제를 제시하였다. 2차시가 끝난 뒤 소집단 별로 2명씩 면담 대상자를 선정하여 총 12명을 대상으로 개별 사전 면담을 진행하였다. 사전 면담은 30분 내외가 소요되었고, SSI 교육 및 토론 수업에 대한 경험과 자료 탐색 방법 등을 질문하였다.
3~4차시에는 ‘우리나라에서 바이오 연료 정책을 강화하는 것에 찬성하는가 반대하는가’라는 주제를 제시하고 정보 탐색과 소집단 토론을 진행하였다. 바이오 연료를 토론 주제로 선정한 것은 여러 집단의 이해관계가 대립하는 정답이 없는 비구조화된 전형적인 SSI 문제이면서 연구 참여자들의 전공인 화학이나 생물과도 밀접한 연관이 있기 때문이다. 바이오 연료는 식물, 농작물, 동물 배설물, 생물성 폐기물 등을 생물학적, 열화학적 처리 공정을 통하여 제조한 연료인데, 화석 연료를 대체할 수 있다는 측면에서 중요한 신재생 에너지원이지만 동시에 경제적, 윤리적 문제도 존재한다. 3차시의 정보 탐색 활동에서는 2인이 팀으로 정보를 함께 수집한 후, 두 팀이 다시 모여서 수집한 정보를 공유하였다. 이후 추가로 필요한 정보를 팀별로 다시 수집하고, 추가된 정보를 다시 공유하였다. 3차시의 정보 탐색 활동이 끝난 뒤 개인별로 주제에 대한 자신의 찬반 입장을 선택하고 그 근거를 쓰도록 하였다. 4차시의 소집단 토론 활동을 할 때는 팀별로 각각 찬성과 반대 입장 중 하나를 선택하고 정리한 정보를 바탕으로 소집단 토론을 실시하였다. 이전 차시에서 수집한 정보를 공유하여 찬성이나 반대 입장에서 토론에 쓸만한 정보를 이미 파악한 상태이므로 토론 과정에서 정보에 대한 비판적 접근이나 상호작용이 활발하게 일어날 수 있는 환경이 조성되었다. 소집단 토론이 끝난 후 팀별로 찬반 입장을 바꾸어 소집단 토론을 한 번 더 실시하였다. 모든 토론 활동을 마친 뒤 다시 개인별로 주제에 대한 자신의 찬반 입장과 근거를 쓰도록 하였다. 3~4차시의 모든 팀별, 소집단별 활동은 녹화하여 전사하였다. 4차시 수업이 끝난 뒤 사전 면담 대상자들과 개별적으로 1시간 내외의 사후 면담을 실시하였다. 사후 면담에서는 수업에서의 활동, 정보 탐색 활동에서 고려한 점, 소집단 토론에서의 정보 활용 방법 등에 대해 질문하였다. 또한 SSI 토론 수업에 대한 인식과 어려웠던 점 등도 질문하였다.
분석 방법
가. 정보 탐색 양상 분석
예비교사들이 정보를 탐색하는 과정에서 보이는 특징을 분석하기 위해 연구자 2인이 정보 탐색 활동 전사본을 지속적 비교(constant comparative; Strauss & Corbin, 1990) 방법으로 분석하였다.48 동일한 의미를 담고 있는 개별 진술 혹은 개별 진술의 묶음을 분석의 단위로 삼았다. 예비교사들의 정보 탐색 과정에서 공통적으로 발견되는 특징을 9개의 활동 유형으로 구분하고, 소집단별로 각 활동 유형의 빈도를 분석하였다.
팀별로 수집하고 정리한 자료를 분석하여 사용한 정보의 출처를 분석하였다. 학술 논문, 학위 논문, 연구 보고서 등의 논문과 연구 자료를 기반으로 공공기관이나 사설 기관 웹사이트에서 게시한 기관 정보는 연구 정보로 분류하였다. 기사, 블로그, 칼럼 등은 비연구 정보로 분류하였고, 불특정 다수가 내용을 수정할 수 있는 웹사이트의 정보나 기존 지식을 정리한 경우에는 기타로 분류하였다.
나. SSI 토론의 논증 수준 분석
소집단별로 진행된 SSI 토론의 논증 수준을 분석하기 위해 토론의 전사본을 연구자 2인이 Sadler & Fowler (2006)의 논증 수준 루브릭을 사용하여 분석하였다.49 논증 수준은 정당화 여부, 근거의 여부 및 수준, 반대 관점의 고려 여부를 기준으로 0점에서 4점으로 채점하였다. 0점은 자신의 입장에 대한 정당화에 실패한 경우로 상대의 주장에 무비판적으로 동의하는 경우이다. 1점은 자신의 입장을 정당화하지만 뒷받침하는 합리적인 근거가 없는 경우이다. 2점은 하나의 단순한 근거로 자신의 주장을 뒷받침하는 경우이고, 3점은 정교화된 근거로 자신의 주장을 뒷받침하는 경우이다. 4점은 반대 입장에 대한 고려를 포함한 정교화된 근거로 자신의 주장을 뒷받침하는 경우이다. 동일한 의미를 담고 있는 각 개인의 주장을 분석의 단위로 삼았고, 다른 관점에서의 추가 주장이 이어지는 경우에는 독립적인 단위로 구분하였다. 소집단별로 주장의 개수가 서로 달랐기 때문에 소집단별 비교에서는 논증 수준의 평균을 사용하였다. 이상의 결과에 대해 Mann-Whitney U 검정을 실시하여 논증 수준 상위 집단과 하위 집단의 통계적 유의미성을 분석하였다.
연구 결과
예비교사들의 정보 탐색 양상
SSI 토론 수업에서 예비교사들의 정보 탐색 활동을 분석한 결과, 예비교사들은 Fig. 1과 같은 전형적인 정보 탐색 과정을 거치는 것으로 나타났다. 예비교사들은 토론 주제를 확인하고 역할을 분담하여 정보를 검색하였다. 검색한 정보는 출처 측면과 내용 측면에서 정보의 표면적인 타당성을 검토하였다. 정보의 의미를 파악하는 해석은 단일 정보에 대한 독립적 해석을 실시한 후 여러 정보를 통합하는 통합적 해석이 나타났다. 정보 해석 후에는 정보를 논의에 사용하기 위해 정보의 약점과 보강 근거 등을 평가하고 이를 바탕으로 정보를 선택, 폐기, 정리하는 정보 재구성이 나타났다. 일부 소집단에서는 정보 평가를 바탕으로 부족한 근거를 보완하기 위해 정보 검색의 조건을 다시 설정하는 활동이 나타났다.
Figure 1. A typical information-seeking process.
정보 탐색 과정의 각 단계에서 나타난 예비교사들의 활동 유형별 특징을 Table 1에 나타내었고, 각 소집단의 활동별 빈도를 Table 2에 나타내었다. 4개의 단계로 구성된 정보 탐색 과정에서 총 9개의 활동 유형이 나타났다. 모든 소집단에서 나타난 활동은 총 200회였고, 소집단에 따라 활동의 양과 질에 큰 차이가 있었다.
Table 1. Components of information-seeking activities
Table 2. Number of information-seeking activities of each group
가. 정보 검색(Searching)
정보 검색 단계에서는 주제 확인(A1), 역할 분담(A2), 검색의 조건 설정(A3)의 세 가지 활동이 나타났다. 예비교사들은 어떤 정보를 검색할 것인지 결정하기 위하여 토론의 주제를 먼저 확인하였다. 정보 검색에서의 역할을 분담하는 방식은 찬성이나 반대 입장, 찾을 정보의 개수, 검색할 출처 등 다양하였다. 전반적으로 정보 검색 단계에 해당하는 활동은 다른 단계에 비해 상대적으로 빈도가 낮았는데, 주제 확인과 역할 분담은 활동의 성격상 검색의 초기에만 나타나고 정보 검색을 여러 번 하더라도 반복되지 않기 때문일 것이다. 하지만 출처, 관점, 생성 시점 등과 같은 정보의 검색 조건 설정 활동이 적었던 결과는 예비 교사들이 원하는 정보를 대략적으로 결정한 후 검색하는 방식이 아니라 관련된 정보를 무조건 훑어보는 검색 방식을 사용했기 때문으로 보인다. 즉, 예비교사들은 구체적인 검색어를 이용하기보다 포털 사이트에서 ‘바이오 연료’, ‘바이오 연료 찬성’, ‘바이오 연료 반대’ 등과 같이 토론 주제와 관련된 포괄적인 검색어를 이용하는 경우가 많았다.
나. 정보 검토 (Reviewing)
정보검토단계는출처검토(B1)와내용검토(B2) 활동으로 구분할 수 있는데, 출처 검토보다 내용 검토의 빈도가 상대적으로 높았다. 권위에 의존하여 정보를 무작정 수용하지 않기 위해서는 출처와 내용의 두 가지 측면에서 정보의 신뢰도, 적절성, 편향성 등을 검토하는 것이 효과적일 것이다. 그러나 이 연구에서는 한 개조를 제외한 나머지 조에서 모두 한 정보를 검토할 때 출처와 내용 중 한 가지 측면에서만 검토하였다. 또한 검토 활동 자체를 어려워하는 예비교사도 있었다.
예비교사들이 최종적으로 토론에 사용한 정보의 출처를 분석한 결과, 뉴스 기사, 블로그, 칼럼 등 비연구 정보의 비율이 43%였고, 이 중 뉴스 기사의 비율이 28%로 가장 높았다. 뉴스 기사는 사실을 바탕으로 작성되지만 내용이 자세하지 않아 독자에게 오해를 일으킬 수 있고, 편향성, 사실 왜곡, 비명시성, 미흡성, 불공정성의 문제가 제기된다.50 따라서 예비교사들이 많이 사용한 뉴스 기사, 블로그, 칼럼 등의 정보는 토론 근거로 사용하기에 적합하지 않지만, 쉽게 검색할 수 있어 편리하다는 이유로 예비교사들이 별다른 문제의식 없이 사용하고 있었다. 또한 뉴스 기사, 블로그, 칼럼 등에 정보 출처가 표기되어 있으면 검토의 필요가 없다고 생각했다는 예비교사도 있었고 인용된 정보의 원문을 확인하지 않고 그대로 사용하는 경우도 있었다. 예비교사들이 정보를 인용할 때 출처를 제대로 점검하지 않는 현상은 고의적이라기보다는 중요하지 않다는 생각이나 부주의함에 기인한 것으로 보이지만, 앞으로 학생들을 지도해야 하는 예비교사임을 고려할 때 올바른 정보 인용 방법에 대한 지도가 이루어져야 할 것이다.
기사에 출처가 있으면 다 괜찮다고 생각해서 괜찮지 않을까 생각했어요.
(예비교사 5B 사후면담 전사본)
무슨 연구에 따르면 무슨 교수팀에 따르면⋯ 대체로 그렇게 나와 있으면 그냥 맞겠구나 하고⋯
(예비교사 6B 사후면담 전사본)
한편 내용 검토는 출처 검토보다 상대적으로 빈도가 높았으나 조별로 편차가 크게 나타났다. 내용 검토가 각각 1회와 3회로 가장 적었던(Table 2) 2조와 6조의 예비교사들은 정보의 내용을 그대로 수용한 뒤 곧바로 다음 단계를 시작하였는데, 정보 내용을 검토할 필요성을 인식하지 못했고 전문적인 분야의 정보는 판단할 수 없으므로 검토 없이 정보를 수용했다고 응답하였다. 2조와 6조의 예비교사들처럼 검색한 정보를 어떻게 검토해야 하는지에 대한 지식이 부족한 경우에는 정보의 검토 방법에 대한 교육이 필요하며, 이러한 정보 검토 경험은 비판적이고 능동적으로 지식을 구성해야 한다는 인식으로 이어질 수 있을 것이다.
연구자: 자료들의 적절성 측면에서나 그런 논의는 따로 이루어지지 않았던 건가요?
예비교사 2C: 네 전혀 없었어요.
연구자: 그게 혹시 시간적 문제였던 거예요? 아니면 그냥 필요성을 못 느꼈던 거예요?예비교사 2C: 필요성을 그때 별로 못 느꼈던 것 같아요.
(예비교사 2C 사후면담 전사본)
연구자: 그러면 정부 자료나 아니면 블로그 자료들의 적힌 내용 측면에서 개인적으로 뭔가 고민을 해본다거나 그런 부분은 없었고 그냥 거기 있는 내용을 가져온 건가요?
예비교사6D: 네 거의 그랬던 것 같습니다. 왜냐면 일단 가져올 때 어느 정도 이게 말이 되는지 안 맞는지 판단해야 되는데 바이오 디젤, 바이오매스 이런 게 좀 전문적인 분야다 보니까 저희가 판단할 수 없는 부분들이 좀 있어서 일단 그냥 가져왔습니다.
(예비교사 6D 사후면담 전사본)
다. 정보 해석(Interpreting)
정보 해석 단계는 정보에 담긴 의미를 해석하고 토론에 활용할 수 있는 내용을 찾아내는 과정이다. 일반적으로 정보를 문제 상황에 적용할 수 있는지, 정보에 관련된 과학 개념이 무엇인지, 정보가 다른 관점에서 해석될 수 있는지 등과 같이 개별 정보의 의미를 해석하는 독립 정보 해석(C1)이 먼저 이루어졌다.
예비교사 1C: 이런 거 있다. (바이오매스의) 단점을 극복하기 위한 노력, 인공호수에서 재배한다.
예비교사 1D: 인공호수는 어디에 있는데?
예비교사 1C: 캘리포니아에 있나 봐. 우리나라에는 없잖아. 국내 실정에 맞는 게 없네.
(1-나 정보 수집 활동 전사본)
독립 정보 해석 이후에는 정보들을 비교하여 일관되거나 상충되는 점을 파악하는 통합 정보 해석(C2)을 시도하는 경우도 있었다.
예비교사 4B: 이게 몇 년 사이에 바뀌니까.
예비교사 4A: 이 반대 내용은 흔한 1세대 바이오 연료의 문제 내용이니까⋯
예비교사 4B: 그래서 식량 문제는 많은 연구에서 제시하고 있는⋯
예비교사 4A: 그러니까 문제는 1세대인거야. 식량 베이스는 문제점들이 다 드러나서… 찾아보니 점점 2세대, 3세대 연료 쪽으로 가는 느낌이긴 해.
예비교사 4B: 찬성 쪽으로 가려면 1세대 바이오 연료의 단점들을 인정하고 그거를 개선한 차세대 바이오 연료들 쪽으로 가야 한다는 식으로 이야기를 해야 할 것 같아.
예비교사 4A: 반대는 4세대를 지적하기엔 힘들 것 같아.
(4-가 정보 수집 활동 전사본)
라. 정보 평가 및 재구성(Evaluating and Reorganizing)
정보 평가 및 재구성 단계에서는 정보의 장단점을 평가하여 정보 활용 방법을 바꾸거나 보완점을 모색하는 정보 평가(D1) 활동과 필요한 정보를 추려내거나 불필요한 정보를 폐기하는 등 토론에서 근거로 사용할 정보를 정리하는 정보 재구성(D2) 활동이 이루어졌다. 한편 일부 소집단에서는 정보 평가 과정에서 드러난 문제점을 보완하기 위해 검색 조건을 수정하여 새로운 검색 활동을 추가적으로 실시하는 경우도 있었다.
예비교사의 인식론적 신념 수준과 정보 탐색 양상
선행 연구51-54를 고려할 때, 인식론적 신념 수준이 높은 사람은 복수 출처로부터 여러 정보를 찾아서 통합적으로 이해하고 하나의 정보만으로 결론을 내리지 않으며 출처의 신뢰도를 검증하여 교차 점검된 주장을 더 신뢰하고 통계 및 실험 데이터 등의 과학적 증거를 기반으로 정당화하는 특징을 보일 것으로 예상할 수 있다. 따라서 인식론적 신념 수준에 따른 정보 탐색 양상의 특징을 탐색하기 위하여 인식론적 신념 검사 결과 점수를 기준으로 상위 학생으로 이루어진 소집단(1, 2, 3조)과 하위 학생으로 이루어진 소집단(4, 5, 6조)을 구성하였다. 그러나 이 연구에서는 상위 소집단과 하위 소집단의 정보 탐색 양상에서 뚜렷한 차이를 발견할 수 없었다. 그런데 추가 정보 수집 중에 시간 부족으로 인하여 활동을 중단한 소집단들이 있었고 사후면담에서 ‘짧은 시간 안에 많은 정보를 찾아서 정리하기가 어려웠다’고 응답한 예비교사도 있었던 점을 고려할 때, 인식론적 신념 수준과 정보 탐색 양상 사이에 관련이 없었던 이 연구의 결과는 제한된 정보 탐색 시간에 기인했을 가능성도 있다. 정보 탐색 시간이 충분히 주어졌다면 정보에 대한 추가적인 탐색이 이루어졌을 수도 있기 때문이다. 한편, 전반적으로 예비교사들은 정보 검토 활동이 미흡한 경향이 있었는데, 출처의 신뢰도를 검토해야 할 필요성을 느끼지 못하는 예비교사가 많았다. 이러한 정보 검토에 대한 예비교사들의 인식 부족이 인식론적 신념 수준과 정보 탐색 양상 사이의 관계가 나타나지 않은 원인 중 하나인 것으로 보인다.
토론에서 근거를 말할 때 출처를 어디에서 찾았다는 말은 안하기 때문에 사실 알 수는 없다고 생각하고… 그래서 다른 조에서 찾은 정보의 출처에 대해 의심하지 않았어요.
(예비교사 3C 사후면담 전사본)
저희가 출처에 대한 신뢰성을 판단할 수 없으니까 그냥 넘긴 것 같습니다.
(예비교사 6B 사후면담 전사본)
SSI 토론에서의 논증 수준과 정보 탐색 단계의 활동
SSI 토론 수업에서 토론의 수준과 정보 탐색 활동 사이의 관계를 파악하기 위하여 소집단별로 이루어진 토론의 논증 수준을 분석하였다. 소집단별로 토론에서 나타난 주장의 수는 16개~24개였으며, 논증 평균 점수는 1조 3.06점, 2조 2.55점, 3조 3.00점, 4조 2.62점, 5조 2.83점, 6조 2.29점으로 소집단별로 차이가 있었다. Mann-Whitney U 검정 결과 인식론적 신념 수준 상위 집단과 하위 집단 사이의 차이는 유의미하지 않았다(U=1,542.5, p=.072). 논증 평균 점수를 기준으로 1, 3, 5조를 논증 수준 상위 집단으로, 2, 4, 6조를 하위 집단으로 구분하여 Mann-Whitney U 검정을 실시한결과, 통계적으로유의미한차이가나타났다(U=1,331.5, p=.002).
논증 수준 상위 집단(1, 3, 5조)에서는 정보 평가 활동(D1)이 상대적으로 많았다(Table 2). 정보 평가는 특정한 정보에 근거하여 토론에서 주장할 때의 약점을 사전에 파악하여 이를 대비하거나 보완하기 위한 활동이다. 따라서 정보 평가 활동을 충분히 실시한 소집단들은 토론에서 상대편의 논지를 예상하고 정교화된 근거를 준비하여 대비할 수 있었다. 예를 들어 1조는 정보가 반박될 가능성이 있는지 점검하고 약점을 보완하기 위한 근거를 찾기 위해 추가적으로 정보를 탐색하여 수집하였다.
예비교사 1A: (바이오 연료가) 효율적인 측면에서 보니까 그렇게 높은 것 같지는 않더라고요, 태양열이나 수력 같은 것과 비교해서. 어쨌든 바이오든 태양열이든 수력이든 다 합쳐 봤자 원자력에 못 미치는 현실인데, 생산하는 에너지양의 측면에서 왜 하필 바이오 연료냐⋯
(1조 정보 공유 활동 전사본)
예비교사 1A: 그래도 신재생 에너지 중에선 제일 경제성이 있대. 아까 (바이오 연료가) 석탄만 대체되는 거 아니냐고 상대방이 반박하면 찬성 측에서 이렇게 얘기할 수 있겠네.
(1-가 정보 수집 활동 전사본)
예비교사 1A: 실제로 (바이오 연료가) 화력 발전을 대체하기에는 부족한 양의 전력을 생산하는 것은 맞지만 그럼에도 화력발전소가 만드는 에너지를 모두 신재생 에너지로 대체하겠다고 한다면 가장 가능성이 큰 것은 바이오 에너지입니다. 원자재 측면에서도, 효율 측면에서도 비록 이 바이오 에너지조차 부족한 것은 많지만 다른 신재생 에너지 보다는 제일 가능성이 있기 때문에 바이오 에너지에 대한 미래적인 투자가 더욱 촉진되어야 한다고 생각합니다.
(1조 소집단 토론 전사본)
반대로 논증 수준 하위 집단(2, 4, 6조)에서는 정보 평가 활동이 적거나 나타나지 않았고 일부 이루어진 정보 평가 활동도 진정한 의미의 정보 평가라고 보기 어려웠다. 예를 들어 2조의 경우 정보의 약점을 확인하려는 시도가 있었지만 이를 해결하려는 노력이 나타나지 않았고 하나의 정보에만 근거한 토론이 진행되었다.
예비교사 2B: 바이오 연료를 생산하기 위해서는 보통 아프리카에 에너지 작물을 심는다는 내용이 있었는데, 그런 작물을 위주로 대량으로 심다 보니까 생물 다양성 자체에도 영향을 줄 수가 있고⋯ 그리고 실제로 그 나라 사람들이 필요한 식량 생산을 하는 게 어려워질 수도 있는데⋯ 생물 다양성에 대해서는 당연히 반박을 못 할 것 같네요.
(2조 정보 공유 활동 전사본)
예비교사 2C: 개발도상국에서 바이오 연료를 생산해서 선진국이 에너지를 쓰는 데 생물 다양성 감소 문제도 있고⋯
예비교사 2A: 생물 다양성 감소가 사실 그렇지 않다는 정보가 있나요?
예비교사 2C: 없었던 것 같아요.
(2조 소집단 토론 전사본)
정보를 보완하기 위해 추가 정보를 수집할 때 구체적인 검색 조건을 설정하는 검색의 조건 설정(A3) 활동은 매우 드물었는데, 정보 평가 활동이 많았던 1조와 3조에서는 정보 활용에서의 문제점을 파악하고 이를 보완하기 위해 추가 정보를 검색할 때 어떤 조건을 갖춘 정보를 검색할 것인지 결정하는 활동이 일부 나타났다. Bråten et al.(2013)은 여러 정보를 교차 점검할 때 이해가 촉진되며, 수준 높은 토론을 위해서는 다양한 정보에 담긴 내용과 근거를 판단하는 복수 출처에 의한 정당화 과정이 필요하다고 주장하였다. 1조와 3조에서는 정보를 보완하기 위한 추가 정보를 검색하며 복수 출처에 의한 정당화를 시도하였고, 그 결과 토론의 논증 수준이 높아졌다.
예비교사 1D: 사실 저희 주제가 우리나라의 앞으로의 방향성이잖아요. 근데 우리나라라는 조건을 엮어내려고 한다면 찬성 쪽에서는 그 가채량 문제를 가장, 애초에 석유 자원이 없으니까. 가채량 쪽으로 좀 크게 정하는 게 나을 것 같고.
예비교사 1A: 근데 가채량을, 만약에 화석 연료의 가채량을 가지고 찬성 측 주장을 핀다면은 제가 만약에 반대 측이면, 그거는 근데 화석 연료의 문제 아니냐. 왜 하필 바이오 연료냐라고 때릴 것 같아요. 그니까 다른 신재생 에너지들도 많은데 왜 바이오 연료를 해야 되냐? 화석 연료를 대체할 수 있는 건 태양열도 있고 수력도 있고 원자력도 있는데 왜 굳이 바이오냐 이런 식으로 논리를 펼것 같거든요. 제가 그 주장을, 찬성이 그렇게 주장을 하면은 제가 반대 측이었다면. 그래서 다른 신재생 에너지와 차별화되는 바이오 에너지만의 장점 이런 것들을 조금 더 생각을 하고 보완을 해야 할 것 같아요.
(1조 정보 공유 활동 전사본)
반대로 정보 평가 활동이 부족하거나 제대로 이루어지지 않았던 2, 4, 6조에서는 정보 평가를 바탕으로 평가한 정보를 보완하는 시도인 검색의 조건 설정 활동이 나타날 수 없었다. 한편 5조에서는 정보 평가 활동이 많았음에도 이것이 새로운 검색의 조건 설정으로 연결되지 못하였는데, 이는 자신들의 입장을 먼저 정해두고 정보 평가 활동에서는 수집한 정보가 그 입장에 부합하는지를 점검하는 활동만을 진행한 평가 활동의 특성에 기인한다.
예비교사 5D: 탄화수소를 연료로 사용하게 되면 일산화탄소와 이산화탄소가 배출되는 게 아니냐는 생각이 들어서 결국 우리가 바이오매스로 대체를 해도 기후 변화 문제를 해결할 수 없다는 생각이 들었어요. 바이오매스를 개량해서 사용하게 되면 일산화탄소 배출량 정도는 줄일 수 있다는 연구 결과를 찾았거든요. 그래도 이산화탄소에 관한 얘기는 없으므로 기후변화의 주범 중 하나인 이산화탄소의 배출은 결국 과거와 똑같을 것으로 생각합니다.
(5조 정보 공유 활동 전사본)
한편 여러 정보를 비교하여 통합적으로 해석하는 통합 정보 해석(C2) 활동은 여러 정보들 사이의 관계를 고려하고 이를 종합하여 예측하며 정교화된 근거로 뒷받침된 주장 생성으로 연결되므로 수준 높은 논증으로 이어질 가능성이 있다. 그러나 통합 정보 해석 활동은 1~4조에서만 드물게 나타났고 토론의 논증 수준과도 뚜렷한 관련성이 나타나지 않았다. 이러한 결과는 이 연구에서 나타난 대부분의 통합 정보 해석 활동이 정보를 종합하여 새로운 주장을 생성하는 것이 아니라, 시대별 정보를 비교하여 연구의 흐름을 파악하거나 국내 동향을 알아보는 수준에 불과했기 때문이다.
예비교사 4A: 바이오 연료도 세대가 있잖아요. 식용 작물인 옥수수나 이런 거 쓰던 게 처음 시작이고, 지금은 찾아보니까 미세 조류나 곤충으로 만드는 것들도 있는데… 바이오 연료를 비판하는 연구 자료나 기사들은 다 1세대 바이오 연료들을 식량 공급의 문제라든가 재배하고 수송하는 과정에서 발생하는 탄소 질량이 더 크다든가 이런 쪽으로 비판을 하고 있는 것 같고요. 그리고 그런 단점들을 극복하려고 조류나 곤충 쪽 바이오 연료 연구를 하고 있는 것 같다는 생각이 들었어요. 자료를 찾아보면서.
예비교사 4D: 그런데 되게 애매한 게 지금은 사실상 실현 가능한 수준은 1세대밖에 없고, 2세대가 목재이고 3세대가 조류인데 아마 2세대가 기술 개발 중이거나 막 개발이 된 상황이어서 사실 통계 자료도 많지 않을 것 같고 조류는 아직은 진짜 이론적으로만 개발된 단계인 것 같아요. 지금을 초점으로 둬야 될지 나중으로 초점을 줘야 될지에 따라서 달라질 것 같아요.
(4조 정보 공유 활동 전사본)
결론 및 제언
정보를 수집하고 평가하여 적절하게 활용하는 능력은 현대사회에서 필수적이다. SSI 교육은 사회의 복잡한이해관계를 다루며 의사결정을 위해 다양한 정보를 찾아 활용하는 정보 탐색 과정을 포함하므로 학생들의 정보 활용 능력을 함양할 수 있을 것으로 기대할 수 있다. 예비교사들이 SSI 토론 수업에서 정보를 탐색하고 활용하는 경험은 교사로서 SSI 토론 수업을 진행할 수 있는 수업 전문성 향상을 위해 필요하다. 이 연구에서는 SSI 토론을 위한 협력적인 정보 탐색 활동을 구성하고 예비교사들의 정보 탐색 진행 양상을 조사하였다. 예비교사들은 정보 검색, 정보 검토, 정보 해석, 정보 평가 및 재구성의 정보 탐색 과정을 거치는 것으로 나타났다.
정보 검색 단계에서 예비교사들은 주제에 대해 전반적으로 훑어보는 검색 방식을 주로 사용하였고 원하는 정보를 구체화하여 검색하는 경우는 드물었다. 미래 사회에서는 정보 검색 능력이 점점 더 중요해질 것이므로, 예비교사들의 정보 검색 능력을 함양하기 위한 체계적인 교육이 이루어질 필요성이 있다. 한편, 예비교사들이 SSI 주제를 다루었던 경험이 부족했던 점도 결과에 영향을 미쳤을 수 있다. 미래 교육을 담당할 예비교사들에게는 SSI 교육과 같이 과학·기술로 인해 발생할 수 있는 사회·윤리적 문제를 포함할 필요성이 강조되고 있으므로55 예비교사 교육에서도 다양한 SSI 주제에 대한 교육이 이루어져야 할 것이다.
정보 검토 단계에서 예비교사들은 검토의 필요성과 정보 검토 방법에 대한 이해가 부족한 경향이 있었다. 미래 사회를 대비하기 위하여 우리나라 과학과 교육과정에서도 정보를 비판적으로 이해·평가하는 능력의 함양을 강조하고 있다. 그러나 장차 과학교육을 담당하게 될 예비교사들이 정보 검토에 익숙하지 않다는 상황은 우려스럽다. 교사가 과학 정보를 검토할 때 개인의 경험이 영향을 미치며 교사마다 정보에 대한 판단 기준이달랐다는 선행연구23를 고려할 때 예비교사들에게 정보의 출처와 내용 측면을 비판적으로 검토하는 방법을 교육하고 이를 바탕으로 학생들을 체계적으로 지도할 수 있도록 돕는 프로그램의 개발이 필요할 것이다.
정보 해석 단계에서 예비교사들은 여러 정보를 통합하여 해석하는 데 어려움을 겪는 것으로 나타났다. 다양한 이해관계가 복잡하게 얽혀있는 SSI 의사결정을 위해서는 여러 정보를 통합적으로 해석하고 활용하는 과정이 필수적이고, 이러한 통합적인 정보 해석의 뒷받침 여부는 논증 수준에도 영향을 미칠 수 있다. 따라서 SSI 교육에서 학생들에게 여러 정보를 고려할 때의 접근법과 통합적인 정보 해석을 구체적으로 안내할 수 있는 능력을 함양하기 위한 프로그램이 요구된다.
정보를 주장의 근거로 사용할 수 있도록 준비하는 활동인 정보 평가 활동은 정보에 대한 이해를 촉진하고 토론의 논증 수준에도 영향을 미쳤다. 따라서 SSI 정보 탐색 중 정보 평가 과정에서 학생들이 정보의 의미가 상황에 따라 다양하게 해석될 수 있음을 이해하고 추가 검색을 통해 정보의 문제점을 보완할 수 있도록 지도하는 능력을 기르는 방안을 탐색해야 할 것이다.
한편, 이 연구에서는 예비교사들의 인식론적 신념 수준에 따른 정보 탐색 양상의 차이를 발견할 수 없었다. 그러나 정보 탐색 시간의 제한과 예비교사들의 정보 검토 기능 부족이라는 이 연구의 상황이 결과에 영향을 미쳤을 수 있다. 따라서 예비교사들에게 정보 검토 방법을 연습시키고 충분한 정보 탐색 시간을 제공했을 때 인식론적 신념과 정보 탐색 양상의 관계에 대한 연구가 추가적으로 진행될 필요가 있다.
References
- Briones, R.; Nan, X.; Madden, K.; Waks, L. Health Communication 2012, 27, 478. https://doi.org/10.1080/10410236.2011.610258
- Wilson, R.; Paterson, P.; Chu, J.; Schulz, W.; Larson, H. The HPV vaccination in Japan; CSIS: Washington DC, U.S.A., 2014.
- OECD. PISA 2012 Result in Focus; OECD: Paris, France, 2014.
- Kavanagh, J.; Rich, M. D. Truth decay; Rand Corporation: Santa Monica, U.S.A., 2018.
- Ministry of Education. 2022 Revised Science National Curriculum; Ministry of Education: Sejong, South Korea, 2022.
- Song, J.; Kang, S.-J.; Kwak, Y.; Kim, D.; Na, J.; Do, J.-H.; Park, S. C.; Son, Y.-A; Son, J. W.; Oh, P. S.; Lee, J.-K.; Lee, H. J.; Ihm, H.; Jeong, D. H.; Joung, Y. J.; Kim, J. Korean Science Education Standards (KSES) for the Next Generation; Ahn, S. J., Ed.; KOFAC: Seoul, South Korea, 2019.
- Sadler, T. D.; Zeidler, D. L. Journal of Research in Science Teaching 2005, 42, 112.
- Zeidler, D. L.; Keefer, M. In The Role of Moral Reasoning on Socioscientific Issues and Discourse in Science Education; Zeidler, D. L., Ed.; Springer: Dordrecht, Netherlands, 2003; p.7.
- Zeidler, D. L.; Sadler, T. D.; Simmons, M. L.; Howes, E. V. Science Education 2005, 89, 357.
- Zohar, A.; Nemet, F. Journal of Research in Science Teaching 2002, 39, 35.
- Sadler, T. D. Studies in Science Education 2009, 45, 1.
- Tal, T.; Kali, Y.; Magid, S.; Madhok, J. J. In Socio-scientific Issues in the Classroom; Sadler, T. D., Ed.; Springer: Dordrecht, Netherlands, 2011; p.11.
- Kolsto, S. D. Science Education 2001, 85, 291.
- Tsai, C.-C. In Knowing, Knowledge and Beliefs; Khine, M. S., Ed.; Springer: Dordrecht, Netherlands, 2008, p.273.
- Tu, Y.-W.; Shih, M.; Tsai, C.-C. Computers & Education 2008, 51, 1142.
- Oulton, C.; Dillon, J.; Grace, M. M. International Journal of Science Education 2004, 26, 411.
- Norris, S. P.; Phillips, L. M. Journal of Research in Science Teaching 1994, 31, 947.
- McClune, B.; Jarman, R. Studies in Science Education 2012, 48, 1. https://doi.org/10.1080/03057267.2012.655036
- Oliveras, B.; Marquez, C.; Sanmarti, N. Research in Science Education 2014, 44, 603.
- Tseng, A. S.; Bonilla, S.; MacPherson, A. Journal of Research in Science Teaching 2021, 58, 1152.
- Gray, D. S.; Bryce, T. Cambridge Journal of Education 2006, 36, 171.
- Lee, H.; Chang, H. Journal of Research in Curriculum Instruction 2011, 15, 913. https://doi.org/10.24231/RICI.2011.15.4.913
- Chun, J. How science teachers search for information in SSI lessons; Master's thesis, Seoul National University, Seoul, South Korea, 2021.
- Jo, S.; Ko, Y.; Lee, H. Journal of the Korean Association for Science Education 2021, 41, 59. https://doi.org/10.14697/JKASE.2021.41.1.59
- Clark, D. B.; Slotta, J. D. International Journal of Science Education 2000, 22, 859.
- Osborne, J.; Erduran, S.; Simon, S. Journal of Research in Science Teaching 2004, 41, 994.
- Sadler, T. D. Journal of Research in Science Teaching 2004, 41, 513.
- Yang, F.-Y. International Journal of Science Education 2004, 26, 1345.
- Driver, R.; Newton, P.; Osborne, J. Science Education 2000, 84, 287. https://doi.org/10.1002/(SICI)1098-237X(200005)84:3<287::AID-SCE1>3.0.CO;2-A
- Sandoval, W. A.; Cam, A. Science Education 2011, 95, 383.
- Phillips, L. M.; Norris, S. P. International Journal of Science Education 1999, 21, 317.
- Tekin, N.; Aslan, O.; Yilmaz, S. Journal of Education and Training Studies 2016, 4, 16.
- Jho, H. Journal of Research in Curriculum Instruction 2014, 18, 191.
- Yun, M.-H.; Jeong, M.-S.; Park, W.-H. Journal of Science Education 2007, 34, 85.
- Cho, H.; Yang, I.-H.; Lee, H.; Song, Y.-M. Journal of the Korean Association for Science Education 2008, 28, 495. https://doi.org/10.14697/JKASE.2008.28.5.495
- Hong, J.-L.; Chang, N.-K. Journal of the Korean Association for Science Education 1999, 19, 1.
- Park, Y.-B.; Kim, Y.-S.; Chung, W.-H. Journal of the Korean Association for Science Education 2002, 22, 54.
- Capkinoglu, E.; Cetin, P. S.; Peten, M. D. International Journal of Science Education 2021, 43, 594.
- Kim, J.-H.; Gwak, J.-Y.; Kwon, J.-Y.; Ha, Y.-H.; Lee, J.-A.; Kim, C.-J.; Choe, S.-U. Journal of the Korean Association for Science Education 2018, 38, 203. https://doi.org/10.14697/JKASE.2018.38.2.203
- Mun, J.; Kim, E.; Kim, S.-W. The Journal of Learner-Centered Curriculum and Instruction 2017, 17, 143. https://doi.org/10.22251/jlcci.2017.17.11.523
- Hofer, B. K.; Pintrich, P. R. Review of Educational Research 1997, 67, 88.
- Cho, H. The Journal of Educational Research 2010, 8, 147.
- Hsu, C. Y.; Tsai, M. J.; Hou, H. T.; Tsai, C. C. Journal of Science Education and Technology 2014, 23, 471.
- Mason, L.; Junyent, A. A.; Tornatora, M. C. Computers & Education 2014, 76, 143.
- Yang, F.-Y.; Chen, Y.-H.; Tsai, M.-J. Journal of Educational Technology & Society 2013, 16, 385.
- Cheng, C.-H.; Braten, I.; Yang, F.-Y.; Brandmo, C. Journal of Research in Science Teaching 2021, 58, 980.
- Conley, A. M.; Pintrich, P. R.; Vekiri, I.; Harrison, D. Contemporary Educational Psychology 2004, 29, 186.
- Strauss, A.; Corbin, J. In Basics of qualitative research; Strauss, A.; Corbin, J., Eds.; Sage Publications: Thousand Oaks, U.S.A., 1990; p. 101.
- Sadler, T. D.; Fowler, S. R. Science Education 2006, 90, 986.
- Kim, B.-H. Dongnam Journal of Korean Language & Literature 2020, 1, 5.
- Braten, I.; Britt, M. A.; Stromso, H. I.; Rouet, J.-F. Educational Psychologist 2011, 46, 48.
- Ferguson, L. E.; Braten, I. Learning and Instruction 2013, 25, 49.
- Mason, L.; Boldrin, A.; Ariasi, N. Metacognition and Learning 2010, 5, 67. https://doi.org/10.1007/s11409-009-9048-2
- Hofer, B. K. Educational Psychologist 2004, 39, 43.
- Na, J. Journal of Research in Curriculum Instruction 2021, 25, 108.