A Comparative Study on Academic Achievement and Class Satisfaction of College General Mathematics according to Face-to-face Classes and Remote Classes

대면수업과 비대면 수업에 대한 대학일반수학 학업성취도와 수업만족도 비교 연구

Abstract

The purpose of this study is to comparatively analyze academic achievement and class satisfaction in college general mathematics between face-to-face classes and remote classes. For this study, we selected 97 first-year students from three departments of an engineering college at M University. Among the subjects of the study, 39 students in Department A and 36 students in Department B took remote classes using pre-recorded class videos, and 22 students in Department C took face-to-face classes. The subjects of this study were evaluated by one professor as the same type of problem with the same content for the same textbook. Among the subjects of the study, 35 students in department A, 34 students in department B, and 17 students in department C who entered through rolling admissions were collected and homogeneity tests were conducted. And then we analyzed the scores of these students' midterm and final exams for general mathematics in the first semester of 2021. Also, we compared and analyzed the academic achievement and class satisfaction of general mathematics subjects for face-to-face classes and remote classes for all study subjects. The results of this study are as follows. First, there is a significant difference in students' academic achievement of general mathematics between face-to-face classes and remote classes. Second, there is a significant difference in class satisfaction between face-to-face classes and non- face-to-face remote classes.

본 연구는 코로나19로 인한 대면수업과 비대면 수업에 따른 대학생들의 일반수학 교과목에 대한 학업성취도를 비교·분석하기 위한 것이다. 이를 위하여 M대학교 공과대학 3개 학과 1학년 학생 97명을 연구대상자로 선정하였다. 연구대상자 중 A학과 39명과 B학과 36명은 사전 녹화된 수업동영상을 활용한 비대면 수업으로, C학과 1학년 22명은 대면수업을 진행하였고, 한 명의 교수자에 의해 수업 방식만 달리하여 동일한 교재와 동일한 내용, 동일한 유형의 문제로 평가를 진행하였다. 대면수업과 비대면 수업에 따른 일반수학 학업성취도를 비교·분석하기 위하여 연구대상자 중 수시전형으로 입학한 A학과 학생 35명, B학과 학생 34명, C학과 학생 17명에 대한 고교내신등급을 수집하여 동질성 검사를 실시한 후, 이 학생들의 2021학년도 1학기 일반수학 교과목에 대한 중간고사와 기말고사 점수를 분석하였다. 또한, 연구대상자 전체를 대상으로 대면수업과 비대면 수업에 따른 일반수학 교과목에 대한 학업성취도와 수업만족도를 비교·분석하여 다음과 같은 결론을 얻었다. 첫째, 대면수업과 비대면 원격수업에 대한 학생들의 일반수학 학업성취도는 유의미한 차이가 있다. 둘째, 대면수업과 비대면 원격수업의 수업만족도는 유의미한 차이가 있다.

I. 서론

2020년 초 코로나19의 전 세계적 확산은 우리나라뿐만 아니라 전 세계 모든 국가들의 경제, 사회, 문화, 교육 등 전 분야에 심각한 영향을 주었으며 일상생활에도 많은 변화를 주었다. 코로나19는 각 학교급의 교육뿐만 아니라 대학 교육에도 다양한 변화를 주었다. 교육에서 가장 큰 변화는 코로나19 이전의 교실에서 이루어지는 전통적인 대면 수업방식에서 정보통신기술을 기반으로 한 온라인 수업방식으로의 전환이라고 할 수 있다. 코로나19 이전에도 대학교육에 정보통신기술을 접목하여 e-러닝(e- learning), 온라인학습(online learning), 소셜러닝(social learning), 플립러닝 (Flipped learning), 블렌디드러닝(blended learning) 등의 온라인 강의가 진행되었고, 이러한 온라인 수업은 학습자의 학습 능력 향상이라는 교육적 목적을 위하여 교수자가 사전 준비와 선택으로 운영된 수업의 한 형태라고 할 수 있다. 그러나 코로나19 이후의 온라인 수업은 교수자의 의도와 관계없이 다른 선택이 없는 상황에서 불가피하게 운영된 수업방식이었다. 코로나19 이후 사전 준비없이 갑자기 운영된 온라인 수업은 교수자와 학습자 모두에게 많은 혼란을 야기하였다.

최근 코로나19 상황에서 진행되고 있는 온라인 수업에 대해 수업의 운영 형태와 개선 방안, 수업만족도, 학업성취도 등에 대한 연구들이 진행되고 있다. 코로나19 상황에서의 온라인 수업에 대한 대부분의 연구는 코로나 19에 따른 비대면 수업 유형과 각 유형에 따른 만족도와 선호도 등에 대한 연구[1-3], 코로나19 이전의 대면수업과 이후의 비대면 수업에 대한 학생들의 학업 성취도를 비교·분석한 연구[4-6], 코로나19 전후의 대면수업과 비대면 수업에 대한 수업만족도와 관련한 연구 [7][8] 등이 주를 이루고 있다. 그러나 코로나19 전후의 대면수업과 비대면 수업에 대한 학생들의 학업 성취도를 비교 분석한 연구들은 비교대상이 대면수업은 2019 학년도 자료, 비대면 수업은 2020학년도 자료를 근거로 비교·분석한 연구들로 연구대상간의 동질성에 대한 의문이 있었으며, 수업만족도를 비교·분석한 연구들은 강의를 담당한 교수자들의 차이를 반영한 결과인가에 대한 의문이 있을 수 있다. 또한, 이들 연구의 대부분은 사회학이나 경영학과 관련된 연구들[4][6][9]이거나 대학 전체에 개설된 교양과목이나 전공과목들에 대한 만족도나 인식을 조사한 연구들[2][3][7][8][10]이고, 수학 교과와 관련된 연구는 초등학생들의 학업 성취도[5]나 고등학교의 원격수업만족도 등과 관련된 연구[1]들로 대학 일반수학과 관련된 연구가 전혀 없어 대학 일반수학 관련 연구 또한 필요하다고 할 수 있다. 또한, 코로나 19 상황에서 동일한 교수자와 동일 집단 학생들을 대상으로 한 대면수업과 비대면 수업에 대한 학생들의 학업 성취도와 수업만족도에 대한 실증적인 연구가 필요하다고 여겨진다.

따라서 본 연구는 코로나19 상황에서 한명의 교수자에 동일한 교재와 수업내용, 동일한 집단을 대상으로 대면과 비대면의 수업방식만 다르게 수업을 진행한 후, 학생들의 학업성취도와 수업만족도를 비교·분석한 실증연구를 통해 시사점을 얻고자 하였다.

본 연구는 코로나19로 인한 대면수업과 비대면 수업의 유형에 따른 대학생들의 일반수학 교과목에 대한 학업 성취도와 수업만족도를 비교분석하기 위하여 다음과 같은 연구 문제를 설정하였다.

첫째, 대면수업과 비대면 수업의 수업 유형에 따른 일반수학 교과목의 학업성취도에는 유의미한 차이가 있는가?

둘째, 대면수업과 비대면 수업의 수업 유형에 따른 수업 만족도에는 유의미한 차이가 있는가?

Ⅱ. 이론적 배경

1. 원격수업

최근 정보통신기술의 급속한 발전은 교육 분야에 많은 변화를 가져왔다. 온라인을 기반으로 한 학습이 도입된 초기 단계에서는 교수자는 지정된 정보통신 매체를 이용하여 이미 계획된 학습 내용을 전달하는 역할을, 학습자는 제공된 학습 내용을 수동적으로 시청하여 받아들이는 소극적인 역할을 하였다[2]. 그러나 정보통신기술의 발달은 교육 내용, 교수·학습 방법, 교육 평가 등 교수·학습 전 과정에서 지금보다 더 나은 수준의 학습자 중심의 교육을 요구하고 있으며[11], 구성주의 관점에 따른 교육적 요구에 따라 온라인 기반 학습의 패러다임이 교수자에서 학습자 중심으로 바뀌면서 학습자가 주도적으로 학습 내용을 선택하여 학습하고, 이러한 과정을 통해 문제해결과 창의적 아이디어 창출을 위한 학습 역량을 개발하는 것이 핵심이 되었으며, 학습시스템은 이를 도와주는 역할을 하는 상황으로 변화하였다[2]. 최근 스마트 기기의 보급 및 확산과 더불어 스마트 기기는 학생들의 일상생활의 일부분이 되었으며 이로 인해 교육에서의 패러다임의 변화도 가져오기 시작하였다[12]. 개인 중심의 학습경험과 지식이 강조되면서 개인이 주도적으로 학습을 구성해나가는 구성주의 패러다임과 OS환경을 사용자가 직접 구성할 수 있다는 스마트 기기의 결합은 교수·학습방법에 있어 새로운 환경을 제공하였다[13].

최근 온라인을 기반으로 이루어지는 교육은 e-러닝, 웹기반학습, 소셜러닝, 모바일학습, 사이버강의, 원격수업, 원격학습 등의 용어로 사용되고 있다. 이러한 용어들은 사용된 정보통신기술 기술에 따라 PC와 네트워크 환경으로 단방향성 동영상 강의를 제공했던 e-러닝, 유비쿼터스 환경에서의 U-러닝, 모바일 환경에서의 M- 러닝, 쌍방향 소통이 가능하고 VR콘텐츠도 가능한 스마트 러닝 등 교수ㆍ학습을 기반으로 사용된 정보통신기술 기술에 따라 그 명칭이 바뀌는 경향이 있다[3]. 이와 같이 원격으로 이루어지는 교육은 논의되는 맥락이나 사용된 환경에 따라 다양하게 정의하고 있지만 본연구에서는 원격으로 이루어지는 교육을 통칭하여 원격수업이라고 표현하고자 한다.

교육부에서는 원격수업을 교수·학습 활동이 서로 다른 시간 또는 공간에서 이루어지는 수업 형태로 규정하고, 수업의 공간적 특성 및 시간적 특성을 기준으로 동시적 원격수업 및 비동시적 원격수업으로 구분 가능하며 실시간 화상 교육 등 동시적 원격수업 또한 원격수업으로 정의하고 있다[14]. 교육부는 코로나19 대응 원격수업 유형으로 실시간 쌍방향 수업, 단방향 수업인 콘텐츠 활용 중심 수업과 과제수행 중심수업 등을 제시하였다[15]. 실시간 쌍방향 수업은 ZOOM, MS팀즈 등과 같은 원격교육 플랫폼을 이용하여 교사와 학생 간 실시간 쌍방향으로 화상 수업의 형태로 이루어지는 수업을 의미한다. 단방향 수업의 형태인 콘텐츠 활용 중심 수업은 사전에 제작된 강의 동영상 또는 학습콘텐츠를 업로드한 후 학생들이 이를 시청하고 교사는 학생들이 학습한 내용을 확인하고 피드백을 하는 강의 중심의 수업의 형태이고, 과제수행 중심수업은 학생들이 학습콘텐츠를 시청한 후 댓글 등으로 원격 토론을 하는 강의와 활동이 결합된 유형이라고 할 수 있다[15].

원격수업은 학습공간과 교육의 기회의 확대뿐만 아니라 학습자에게 풍부한 학습자원의 접근성 및 편리성을 제공해 줌으로 인하여 대면 교육의 문제점을 해결할 수 있는 대안으로 떠올랐지만[16-18], 원격수업은 효과적 학습 환경 조성에 가장 큰 영향을 주는 교수·학습 상황에서의 교수자와 학습자간 상호작용이 이루어지지 않기 때문에 대면 교육방식보다 효과적인 학습을 가져오지 못할 수도 있고[2][13][19-21], 비대면 원격수업에서의 학생들의 학업성취도가 대면수업에서의 학업성취도 보다 저조하게 나타날 수 있다[22][23]. 또한, 대학교육에서의 원격수업은 개인적이고 지속적인 활용, 일상생활에 대한 적용, 개인 커뮤니케이션에 대한 접근이 가능하고, 개인화를 통한 자기 주도적 학습이 가능하다는 장점이 있는 반면에[24], 학습자의 자기주도적 학습능력 결여, 수업몰입의 어려움, 스마트러닝 기반 시설의 미흡, 시각적 피로감 누적과 스마트기기 활용 교육콘텐츠의 부족 등의 장애요인도 포함하고 있다[2][3][13].

M대학교에서는 2021년 1학기 수업의 형태는 코로나 19로 인하여 30명 미만의 수업은 대면수업으로, 30명 이상의 경우 원격수업 또는 원격수업과 대면수업의 혼합 형태인 혼합수업으로 진행하였다. 비대면 원격수업은 ZOOM을 이용한 실시간 원격수업 또는 사전 녹화된 강의 동영상을 LMS에 탑재하여 운영하는 비실시간 원격수업으로 운영되었다. 학생들에 대한 평가는 대면평가를 원칙으로 하되, 원격수업으로 운영되는 수업에 대한 평가는 수강생의 수와 강의실 규모를 고려하여 교수자가 대면 또는 비대면을 선택하도록 하였다.

2. 코로나 19 시대의 대면수업과 비대면 수업 대한 선행 연구

대학교육에서 원격수업은 e-러닝, 웹기반학습, SNS 기반 소셜러닝, 플립드러닝, 블렌디드러닝, K- MOOC 등의 유형으로 이루어지고 있다. 최근 코로나 19로 인하여 온라인을 기반으로 원격수업에 대한 수요가 증가하면서 원격수업의 효과에 대한 연구가 활발히 이루어지고 있고[1][2][4][9][10], 코로나 19 상황에서의 전통적인 대면 수업과 온라인 원격수업에 대한 비교 연구 또한 많이 이루어지고 있다[3][5-8].

김은혜 외[4]는 코로나 19로 인하여 비대면으로 이루어진 회계원리 과목에 학내 학습관리시스템을 중심으로 학습참여활동에 대한 85명의 학생들의 학업 성취도를 분석한 결과 학습관리시스템에서 제공되고 있는 각 학습 참여 활동의 편차가 매우 큰 것으로 나타났으며, 학업 성취도가 높은 학생과 낮은 학생으로 나누어 보았을 때 학습참여 활동의 평균차이가 발생하는 것으로 나타났다고 하였다. 또한, 학습관리시스템의 학습 참여 활동과 성적 사이에는 상관관계가 있는 것으로 나타났으며, 이는 비대면 원격수업에서는 스스로 수업에 잘 참여하는 학습자의 역할이 중요하다고 하였다.

이동주 외[2]는 코로나19 상황에서 대학 원격교육 실태와 개선 방안을 알아보기 위하여 영어교육학과 학부생과 대학원생 206명을 대상으로 한 학기 동안 진행된 원격수업의 유형에 따른 만족도와 선호도를 조사한 결과 거의 대부분의 학생들은 원격수업에 대해 대체적으로 만족하고 있었지만, 과제물 중심의 수업 유형에 대해서는 비교적 낮은 만족도를 보였다. 대면 수업과 비대면 수업에 대한 선호도에서는 거의 차이가 없었지만, 대면 수업의 경우 교수자와 동료학생과의 상호작용과 다양한 교수·학습 방법을 활용할 수 있어 수업의 질이 보장되고 친숙한 수업의 유형이므로 대면 수업을 좀 더 선호하였다고 하였다.

오동주 외[9]는 코로나19가 교육현장에 미치는 인식, 행동, 가치 및 태도의 변화 양상과 이로 인해 발생하는 문제점과 그에 대한 대안을 제시하고자 초등학생 59명, 중학생 50명, 고등학생 46명, 대학생 37명, 교사 60명 등의 설문 자료를 분석한 결과, 인식측면에서 학생들은 코로나 19 이후 원격수업에 대한 수업만족도가 급격하게 낮아지고 있는데, 이는 비대면 수업이 기존 대면 수업에 비해 수업의 질이 떨어진다고 볼 수 있다고 하였다. 특히, 학생들의 수업만족도, 효능감 저하 등은 추후 학력의 차이로 나타날 것이며, 이를 해결하는 방안으로 온라인 수업에서 학습자의 자기 주도 학습능력을 강화할 수 있는 맞춤형 학습시스템을 구축해야 한다고 하였다.

홍성연[10]은 코로나19로 인한 비대면 원격교육 환경에서 대학 교양교과목의 영역별 수업성찰에 대한 설문을 조사ㆍ분석한 결과, 수업목표의 달성도, 수업 방법의 적절성, 평가방법의 적절성은 기대만큼 달성했거나대체적으로 적절한 것으로 나타났지만, 그렇다고 기대한 만큼의 효과를 얻지는 못한 것으로 나타났다고 하였다.

김홍겸[1]은 코로나19 인한 원격수업에 대한 만족도, 원격수업의 만족도와 학생들의 수학학습과의 관련성을 알아보기 위하여 고등학생 157명을 대상으로 설문 조사를 실시한 결과, 원격수업의 만족도에 따라 수학학습의 하위요소가 다르게 나타났다고 하였다. 수학학습의 하위요소에 대한 사후 검정을 실시한 결과 수학가치 인식에서는 매우 만족하는 집단과 매우 만족하지 않는 집단에서의 유의미한 차이가 있었으며, 수학학습 의욕, 수학학습 자기관리와 수학학습전략은 대체로 만족하는 집단과 매우 만족하는 집단 사이에 유의미한 차이가 있다고 하였다.

이시철 외[7]는 코로나19에 따른 초기 대응과 학생들의 수업만족도에 대해 분석한 결과 정상적인 대면 수업이 이루어진 2019년 수업만족도에 비해 코로나 19로 인하여 2020년 봄학기 수업만족도에서 부정적 평가가 확실히 증가하였다고 보고하고 있다.

임수현 외[5]는 코로나19를 기점으로 나타난 초등학교 4학년과 6학년의 수학 학업성취도에 대한 변화를 분석하기 위하여 교육종단연구에서 사용한 문항들과 동일한 문항으로 수학 학업성취도 평균 점수를 분석한 결과, 연구에 참여한 4학년 학생의 점수는 코로나19 이전 서울교육종단연구에 참여한 같은 학교 학생의 점수보다 통계적으로 유의미하게 낮게 나타났다고 하였다. 상위권 학생의 비율이 높았던 초등학교의 경우 코로나 19 전후 점수분포도의 유의미한 차이는 없었지만, 중위권 학생의 비율이 높았던 초등학교에서 4학년의 수학 점수분포도에서 유의미한 차이가 있었으며, 특히 중위권 학생의 비율이 감소하는 현상이 뚜렷하게 나타났다고 하였다.

조성일[6]은 대면수업과 비대면 수업에 따른 경제학과에서 개설된 전공과목을 수강하고 있는 학생들의 학업 성취도를 비교·분석하기 위하여 2019년 대면수업 수강생 87명과 2020년 온라인 수업 수강생 130명의 시험점수를 분석한 결과, 온라인 수업 수강생의 평균점수와 중위점수는 대면수업 수강생의 점수보다 모두 하락하였고, 특히 B등급 학생들의 비중은 1/2 수준으로 감소하였으며, F등급 학생들의 비중은 2.5배 가량 증가하였다고 하였다. 또한, 학과와 학년에 무관하게 온라인수업을 수강한 학생들의 점수는 대면수업을 수강한 학생들의 점수보다 낮게 나타났다고 보고하였다.

이헌수[3]는 코로나19 상황에서 대학에서 진행한 비대면 수업의 유형에 따른 교수자와 학습자의 인식을 분석한 결과, 학생들이 선호하는 원격수업 유형으로 수업 동영상 콘텐츠 제작 방식이나 강의 자료를 활용한 음성녹음 방식으로 나타났는데, 이는 학생들이 자신이 수업을 듣는 장소나 시간 등을 자유롭게 선택할 수 있고 수업을 반복해서 들을 수 있다는 점에서 학생들이 선호하는 수업방식이라고 하였다. 또한, 동영상 콘텐츠를 활용한 원격수업은 자기주도 학습능력이 뛰어난 학생들에게 만족도가 높은 수업방식이라고 하였다. 원격수업은 학습자의 수업에 대한 몰입도가 떨어질 수 있어 원격수업의 교육적 효과를 위해서는 학습자의 자기주도 학습능력이 요구된다고 하였다.

앞에 살펴본 대면수업과 비대면 수업에 대한 학생들의 학업성취도나 수업만족도를 비교·분석한 연구들은 2019학년도 자료와 2020학년도 자료를 비교·분석한 연구들이고, 수학이외의 사회학, 경영학, 교양과목과 관련된 연구들이 주를 이루고 있다. 또한, 수학 교과와 관련된 연구는 초등학생이나 고등학생에 국한되어 진행되어왔다.

따라서 본 연구는 한명의 교수자에 의해 동일한 교재와 동일한 수업 내용으로, 대면과 비대면의 수업 방식만을 다르게 한 두 집단(고교 수학 내신 성적을 바탕으로 동일한 집단으로 판정된 두 집단)을 대상으로 일반수학 교과목에 대한 학업성취도와 수업만족도에 대해 연구하고자 한다.

Ⅲ. 연구 방법

1. 연구 대상

코로나19로 인한 대면수업과 비대면 수업에 따른 대학생들의 일반수학 교과목에 대한 학업성취도와 수업 만족도를 비교·분석하기 위하여 M대학교 공과대학 A 학과 39명, B학과 1학년 학생 36명과 C학과 1학년 학생 22명을 연구대상자로 선정하였다. 연구대상자로 선정된 A학과와 B학과 학생들은 사전 녹화된 동영상을 이용하여 비대면 원격수업으로 수업을 진행하였고, C 학과 학생들은 강의실에서 대면으로 수업을 진행하였다. 연구대상자로 선정된 3개 학과 학생들은 한 명의 교수자에 의해 동일한 교재와 동일한 내용으로 수업 방식만 달리하여 수업을 진행하였으며, 동일한 유형의 문제로 평가하였다.

M대학교는 2021학년도 1학기 개강 후 처음 4주간은 코로나 19의 확산으로 인하여 모든 수업이 비대면 원격수업으로 진행되었고, 3월 29일부터 수강생이 30명 미만인 과목은 대면수업으로, 30명 이상은 비대면 수업으로 진행되었다. 따라서 학교의 방침에 따라 수강생이 30명 이상인 A학과와 B학과는 사전 녹화된 동영상 강의로 비대면 수업을 진행하였고, 30명 미만인 C 학과는 대면 수업을 진행하였다. 일반수학 교과목을 수강하고 있는 학생들의 평가는 중간고사와 기말고사 모두 대면시험으로 실시하였다. 일반수학 주차별 강의 내용은 [표 1]과 같다.

표 1. 일반수학 주차별 강의내용

2. 연구방법 및 절차

2.1 연구방법

대면수업과 비대면 수업에 따른 대학일반수학 교과목에 대한 성취도의 차이를 분석하기 위하여 수업 유형에 따른 학생들의 중간고사와 기말고사 점수를 분석하는 정량연구 방법을 사용하여 분석하였다. 연구대상자로 선정된 3개 학과 학생들은 한 명의 교수자에 의해 동일한 교재와 동일한 내용으로 수업 방식만 달리 하여 수업을 진행하였으며, 동일한 시험문제로 평가하였다.

표 2. 1학기말 강의평가 문항

대면수업과 비대면 수업에 따른 일반수학 교과목에 대한 수업만족도를 분석하기 위하여 M대학교에서 학기 말에 실시하는 강의평가를 활용하였다. 강의평가는 총 7개 문항으로 구성되어 있으며, 각 문항은 객관식 문항으로 구성되어 있다[표 2]. 강의평가에 대한 객관식 문항은 강의 목표 달성도(Q1), 수업내용의 강의목표와의 일관성(Q2), 강의수준의 적절성(Q3), 학생의 능력과 이해 수준을 고려한 강의 진행속도(Q4), 과제물의 양(Q5), 핵심적인 내용에 대한 이해도(Q6), 전반적인 강의 만족도(Q7)로 구성되어 있다. 강의평가는 Likert 5점 척도 (1점=전혀 그렇지 않다, 2점=대체로 그렇지 않다, 3점= 보통이다, 4점=대체로 그렇다, 5점=매우 그렇다)로 평가하였다.

2.2 자료 수집 및 분석

대면수업과 비대면 수업에 따른 일반수학 학업 성취도를 비교․분석하기 위하여 연구대사자 중 수시모집으로 입학한 A학과 학생 35명, B학과 학생 34명, C학과 학생 17명의 고교내신등급을 수집하여 동질성 검사를 실시였다. 그리고 이 학생들의 2021학년도 1학기 일반수학 교과목에 대한 중간고사와 기말고사 시험지를 수집하여 학업 성취도를 분석하였다. 또한, 대면수업과 비대면 수업의 운영 방식에 따른 학생들의 수업만족도를 비교·분석하기 위하여 전체 연구대상자의 1학기말 강의평가 결과를 수집하여 분석하였다.

본 연구에서 학생들의 성적을 비교·분석하기 위하여 통계분석 프로그램인 SPSS 27.0을 사용하여 등분산을 가정하지 않은 t-검정을 실시하였다.

Ⅳ. 연구 결과

1. 대면수업과 비대면 수업에 대한 학업성취도 결과 분석

1.1 A학과와 C학과의 일반수학 학업성취도 분석

본 연구는 동질집단인 학생들을 대상으로 대면수업과 비대면 수업의 수업유형에 따른 일반수학 교과목의학업성취도에 차이가 있는지를 알아보기 위하여 수시전형으로 입학한 학생들을 대상으로 1학기 일반수학 교과목에 대한 학업성취도를 조사하였다. 비대면 수업으로 진행한 A학과 학생 35명과 대면수업으로 진행한 C학과 학생 17명의 중간고사 성적과 기말고사 성적을 조사한 결과 [표 3]과 같이 나타났다. [표 3]에서 보는 바와 같이, A학과와 C학과 학생들의 고교수학 내신등급에는 거의 차이가 없는 것으로 나타났다. 두 학과 학생들의 일반수학 교과목에 대한 중간고사 점수의 평균을 살펴보면, A학과 학생들의 중간고사 평균 점수는 13.3점, C학과 학생들의 중간고사 평균 점수는 19.2점으로 조사되어 비대면 수업으로 진행된 A학과 학생들의 점수보다 대면수업으로 진행된 C학과 학생들의 중간고사 성적이 더 높은 것으로 나타났다. 기말고사 성적을 살펴보면, A학과 학생들의 기말고사 평균 점수는 11.4점, C학과 학생들의 기말고사 평균 점수는 23.1점으로 나타나 중간고사 점수보다 기말고사 점수의 차이가 훨씬 큰 차이를 보이고 있음을 알 수 있다. 또한, 두 학과 학생들의 중간고사와 기말고사의 합계에 대한 평균 점수의 차는 17.5로 나타나 A학과 학생들보다 C 학과 학생들의 점수가 훨씬 더 높음을 알 수 있다. 이와 같은 결과는 C학과의 1학기 동안의 수업운영의 형태에서 기인한 결과로 보인다. C학과의 경우 중간고사 전까지의 수업 운영 방식은 1학기 개강 후 처음 4주간은 비대면으로, 그 후 수업은 대면으로 운영된데 반해, 중간고사 이후에는 순수하게 대면수업방식만으로 수업이 진행되었다. 이와 같은 수업방식으로 인해 A학과와 C 학과의 중간고사 점수보다 기말고사 점수에서 큰 폭의 차이가 나타난 것으로 판단된다.

표 3. A학과와 C학과의 학업성취도 결과

[표 3]의 학업성취도 결과가 통계적으로 유의미한가 알아보기 위하여 t-검정을 실시하였다. 대면수업과 비 대면 수업으로 진행한 수업을 듣는 두 학과 학생들의 고교 수학 내신등급에 차이가 있는지 통계적으로 분석 하기 위하여 t-검정을 실시한 결과 검정통계량은 │t│ =0.024이고 유의확률은 p=0.981이므로 유의수준 a =0.05에서 통계적으로 유의적이라고 할 수 없다[표 4]. 즉, 두 학과 학생들의 고교 수학 내신등급에는 차이가 없고, 두 집단은 동일한 집단이라고 할 수 있다. 중간고 사 성적에 대한 A학과와 C학과 학생들의 점수에 대해 t-검정을 실시한 결과 두 모평균의 차에 관한 검정통계 량 값은 │t│=2.284이고 유의확률은 p=0.029이므로 통 계적으로 두 학과의 중간고사 평균 점수에는 차이가 있 다고 할 수 있다. 즉, 대면수업으로 진행된 C학과 학생 들의 중간고사 평균 점수가 비대면 수업으로 진행된 A 학과 학생들의 평균 점수보다 높다고 할 수 있다. 기말 고사 성적을 분석한 결과 검정통계량은 │t│=3.890이고 유의확률은 p=0.001로 나타나 두 학과의 기말고사 평 균 점수는 차이가 있다고 할 수 있다. 즉, 대면수업으로 진행된 C학과 학생들의 기말고사 평균 점수가 비대면 수업으로 진행된 A학과 학생들의 평균 점수보다 높다 고 할 수 있다. 또한, 중간고사 성적과 기말고사 성적의 합계를 분석한 결과, 검정통계량은 │t│=3.601이고 유의확률은 p=0.001로 나타나 통계적으로 두 학과의 일반 수학 평균 점수에는 차이가 있다고 할 수 있다. 즉, 대 면수업으로 진행된 C학과 학생들의 일반수학 과목의 평균 점수가 비대면 수업으로 진행된 A학과 학생들의 평균 점수보다 높다고 할 수 있다.

표 4. A학과와 C학과의 학업성취도 검정통계량

1.2 B학과와 C학과의 일반수학 학업성취도 분석

동질집단인 학생들을 대상으로 수업유형에 따른 일 반수학 교과목의 학업성취도에 차이가 있는지를 알아 보기 위하여 수시전형으로 입학한 학생들을 대상으로 비대면 수업으로 진행한 또 다른 학과인 B학과 학생 34명과 대면수업으로 진행한 C학과 학생 17명의 중간 고사 성적과 기말고사 성적을 조사하였다. [표 5]에서 보는 바와 같이, B학과 학생들의 고교수학 내신등급 평 균이 C학과 학생들의 평균보다 더 좋음을 알 수 있다. 두 학과의 일반수학 학업성취도를 살펴보면, 비대면 수 업으로 진행한 B학과 학생들의 중간고사 평균 점수는 13.32점, 대면수업으로 진행한 C학과 학생들의 중간고 사 평균 점수는 19.18점으로 조사되어 비대면 수업으 로 진행된 B학과 학생들의 점수보다 비대면 수업으로 진행된 C학과 학생들의 중간고사 성적이 더 높은 것으 로 조사되었다. 기말고사 성적을 살펴보면, B학과 학생 들의 기말고사 평균 점수(11.68점)보다 C학과 학생들 의 기말고사 평균 점수(23.12점)가 더 좋은 것으로 조 사되었다. 또한, 두 학과 학생들의 중간고사와 기말고사 의 합계에 대한 평균 점수의 차는 17.29로 나타나 B학 과 학생들보다 C학과 학생들의 점수가 더 높음을 알 수 있다. 이와 같은 결과는 A학과와 C학과의 학업성취도 분석 결과에서 살펴본 것과 같이 C학과의 중간고사 전 후의 수업방식으로 인해 B학과와 C학과의 중간고사보 다 기말고사 점수에 큰 폭의 차이가 나타난 것으로 판단된다.

표 5. B학과와 C학과의 학업성취도 결과

[표 5]의 학업성취도 결과가 통계적으로 유의미한가 알아보기 위하여 t-검정을 실시하였다. 두 학과 학생들 의 고교 수학 내신등급에 대해 t-검정을 실시한 결과 [표 6]에서 보는 바와 같이 검정통계량 │t│=1.521이고 유의확률 p=0.136으로 나타나 유의수준 a=0.05에서 두 학과 학생들의 고교 수학 내신등급에는 통계적으로 차이가 없다고 할 수 있다. 중간고사 성적에 대한 B학 과와 C학과 학생들의 점수에 대해 t-검정을 실시한 결 과 검정통계량 값이 │t│=1.943이고 유의확률은 p =0.058이므로 유의수준 a=0.05에서는 통계적으로 유 의미하다고 할 수 없지만 =0.10에서는 통계적으로 유의미하다고 할 수 있다. 즉, 유의수준 a=0.05에서는 C학과의 중간고사 점수가 B학과의 중간고사 점수보다 높다고 할 수는 없지만, 유의수준 a=0.10에서는 C학 과의 중간고사 점수가 B학과의 중간고사 점수보다 높다고 할 수 있다. 기말고사 성적을 분석한 결과 검정통계량 값은 │t│=3.641이고 유의확률이 p=0.001이므로 통계적으로 고도로 유의적(***)이라고 할 수 있다. 즉, 대면수업으로 진행된 C학과 학생들의 기말고사 평균 점수가 비대면 수업으로 진행된 B학과 학생들의 기말 고사 평균 점수보다 높다고 할 수 있다. 또한, 중간고사 성적과 기말고사 성적의 합계를 분석한 결과, 검정통계량 값은 │t│=3.202이고 유의확률은 p=0.003으로 나타나 고도로 유의적(**)이라고 할 수 있다. 즉, 대면수업으로 진행된 C학과 학생들의 일반수학 평균 점수가 비대면 수업으로 진행된 B학과 학생들의 평균 점수보다 높다고 할 수 있다.

표 6. B학과와 C학과의 학업성취도 검정통계량

1.3 대면과 비대면 수업에 대한 학업성취도 분석

동질집단인 학생들을 대상으로 대면수업과 비대면 수업의 수업유형에 따른 일반수학 교과목의 학업성취도에 차이가 있는지를 알아보기 위하여 수시전형으로 입학한 학생들을 대상으로 비대면 수업으로 진행한 A 학과와 B학과 학생 69명과 대면수업으로 진행한 C 학과 학생 17명의 중간고사 성적과 기말고사 성적을 조사하였다.

표 7. 비대면 수업과 대면수업의 학업성취도 결과

[표 7]에서 보는 바와 같이, 비대면으로 진행한 A 학과와 B학과 학생들의 고교수학 내신등급 평균이 대면으로 진행한 C학과 학생들의 평균보다 더 좋음을 알 수 있다. 또한, 비대면 수업을 수강한 학생들의 중간고사 평균 점수는 13.33점, 대면수업을 수강한 학생들의 중간고사 평균 점수는 19.18점으로 조사되어 비대면 수업을 수강한 학생들의 점수보다 대면수업을 수강한 학생들의 중간고사 성적이 훨씬 높은 것으로 나타났다. 기말고사 성적을 비교해보면, 비대면 수업을 수강한 학생들의 기말고사 평균 점수는 11.52점, 대면수업을 수강한 학생들의 기말고사 평균 점수는 23.12점으로 나타나 중간고사 점수보다 기말고사 점수의 차이가 훨씬 큰 차이를 보이고 있음을 알 수 있다. 또한, 두 학과 학생들의 중간고사와 기말고사의 합계에 대한 평균 점수의 차는 17.43점으로 나타나 비대면 수업을 수강한 학생들보다 대면수업을 수강한 학생들의 점수가 훨씬 더 높음을 알 수 있다. 이는 앞의 A학과와 C학과, B학과와 C학과의 학업성취도 분석 결과에서 그 이유를 찾을 수 있다.

표 8. 비대면 수업과 대면수업의 학업성취도 검정통계량

[표 7]의 대면수업과 비대면 수업에 대한 학생들의 학업성취도 결과가 통계적으로 유의미한가 알아보기 위하여 학생들의 점수에 대해 t-검정을 실시하였다. 비대면과 대면으로 진행된 수업을 수강한 학생들의 고교수학 내신등급에 대해 t-검정을 실시한 결과 검정 통계량은 │t│=0.894이고 유의확률 p=0.379로 나타나 유의수준 a=0.05에서 학생들의 고교 수학 내신등급에는 차이가 없어 두 집단은 동일한 집단이라고 할 수 있다 [표 8]. 중간고사 성적에 대한 비대면 수업을 수강한 학생들과 대면수업을 수강한 학생들의 점수에 대해 t-검정을 실시한 결과 검정통계량은 │t│=2.371이고 유의확률은 p=0.025이므로 유의수준 a=0.05에서 통계적으로 유의적(*)이라고 할 수 있다. 즉, 대면수업을 수강한 학생들의 중간고사 평균 점수가 비대면 수업을 수강한 학생들의 평균 점수보다 높다고 할 수 있다. 기말고사성적을 분석한 결과 검정통계량은 │t│=4.105이고 유의확률은 p=0.000이므로 통계적으로 고도로 유의적(***) 이라고 할 수 있다. 즉, 대면수업을 수강한 학생들의 기말고사 평균 점수가 비대면 수업을 수강한 학생들의 평균 점수보다 높다고 할 수 있다. 또한, 중간고사 성적과 기말고사 성적의 합계를 비교분석한 결과, 검정 통계량은 │t│=3.811이고 유의확률은 p=0.001로 나타나 고도로 유의적(***)이라고 할 수 있다. 즉, 대면수업을 수강한 학생들의 일반수학 과목의 평균 점수가 비대면 수업을 수강한 학생들의 평균 점수보다 높다고 할 수 있다.

2. 대면수업과 비대면 수업에 대한 수업만족도 분석

대면수업과 비대면 수업의 수업유형에 따른 일반수학 교과목에 대한 수업만족도를 알아보기 위하여 2021 학년도 1학기 말에 실시한 일반수학 교과목에 대한 강의평가를 조사한 결과 [표 9]와 같이 나타났다. [표 9]에 서 보는 바와 같이 강의평가 전체 항목에서 대면수업의 평가점수가 비대면 수업의 평가점수보다 높은 것으로 조사되었다. 강의평가 문항 중 대면수업에서 가장 높은 점수를 갖는 문항과 비대면 수업에서 가장 낮은 점수를 갖는 문항은 같은 문항으로 ‘학생의 능력과 이해수준을 고려한 강의의 진행 속도(Q4.)’를 묻는 문항이었다.

표 9. 비대면 수업과 대면수업의 수업만족도 결과

이는 대면수업의 경우 교수자는 수업 중 질문이 아닌 학습자의 표정이나 비언어적인 행동 등으로도 학습자의 이해도를 즉각적으로 판단하여 추가적인 보완 설명 등 교수자와 학습자 사이에 실시간 상호작용과 피드백을 통해 일정시간 동안 수업이 진행되지만, 동영상을 활용한 비대면 수업의 경우 교수자와 학습자 사이에 실시간 상호작용과 피드백이 이루어지지 않아 대면 수업보다 더 짧은 시간에 동일한 분량의 수업 내용을 진행되므로 학생들은 강의의 진행 속도가 빠르다고 느낄 수 있어 이러한 결과가 나온 것이라고 판단할 수 있다. 강의 평가 문항 중 대면수업과 비대면 수업 사이에 두 번째로 점수 차가 큰 문항이 수업만족도(Q7)와 관련된 문항으로 나타났는데, 이는 Q4의 결과에서 언급한 원인에서 기인한 결과로 여겨진다. 강의에 대한 전반적인 만족도(Q7)를 살펴보면, 비대면 원격수업으로 이루어진 A학과와 B학과의 수업에 대한 만족도는 각각 4.17 로 나타났으며, 대면수업으로 이루어진 C학과는 4.64 로 조사되어 대면으로 진행된 수업이 비대면 원격수업으로 진행된 수업보다 수업만족도가 더 높음을 알 수 있다.

표 10. 비대면 수업과 대면수업의 수업만족도 검정통계량

[표 9]의 대면수업과 비대면 수업에 대한 학생들의 학업성취도 결과가 통계적으로 유의미한가 알아보기 위하여 학생들의 점수에 대해 t-검정을 실시하였다. [표 10]에서 보는 바와 같이, Q1(강의 목표 달성도)의 검정통계량은 │t│=2.326이고 유의확률은 p=0.026, Q5 (과제물 양)의 검정통계량은 │t│=2.289이고 유의확률은 p=0.028로 나타나 유의수준 a=0.05에서 대면수업과 비대면 수업 사이에는 통계적으로 유의미(*)한 차이가 있다고 할 수 있다. 즉, Q1과 Q5에 대한 대면수업의 평가 점수가 비대면 수업의 평가 점수보다 통계적으로 높다고 할 수 있다. Q2(수업내용의 강의목표와의 일관 성)의 검정통계량은 │t│=3.488이고 유의확률은 p=0.001(***), Q4(강의 진행속도)의 검정통계량은 │t│ =3.026이고 유의확률은 p=0.003(**)이므로 유의수준 a=0.05에서 대면수업과 비대면 수업 사이에는 통계적으로 고도로 유의미한 차이가 있다고 할 수 있다. 즉, Q1과 Q5에 대해 대면수업의 평가 점수가 비대면 수업 의 평가 점수보다 통계적으로 높다고 할 수 있다. Q3 (강의 수준의 적절성)의 검정통계량은 │t│=1.698이고 유의확률은 p=0.098이므로 유의수준 a=0.05에서는 통계적으로 유의미하다고 할 수 없지만 a=0.10에서는 통계적으로 유의미하다고 할 수 있다. 즉, 유의수준 a=0.05에서는 Q3에 대한 대면수업의 수업평가 점수가 비대면 수업보다 더 높다고 할 수 없지만, 유의수준 a=0.10에서는 대면수업의 점수가 비대면 수업의 점수보다 높다고 할 수 있다. Q6(핵심적인 내용의 이해)의 검정통계량은 │t│=1.631이고 유의확률은 p=0.113이므로 유의수준 a=0.05에서 통계적으로 유의미하다고 할 수 없다. 즉, Q6에 대한 대면수업의 수업평가 점수가 비대면 수업보다 더 높다고 할 수 없다. Q7(전반적인 강의 만족도)의 검정통계량은 │t│=2.817이고 유의확률은 p=0.008이므로 유의수준 a=0.05에서 대면수업과 비대면 수업 사이에는 통계적으로 고도로 유의미(**)한 차이가 있어 대면수업의 수업만족도가 비대면 수업의 수업 만족도보다 통계적으로 높다고 할 수 있다. 강의평가 결과를 전체적으로 살펴볼 때, 대면수업에 대한 강의 평가결과가 비대면 수업의 강의 평가보다 더 높다고 할 수 있고, 대면수업의 수업만족도가 비대면 수업의 수업 만족도보다 높다고 할 수 있다.

Ⅴ. 결론

본 연구는 코로나19로 인한 대면수업과 비대면 수업에 따른 대학생들의 일반수학 교과목에 대한 학업 성취도를 비교·분석하기 위하여 M대학교 공과대학 3개 학과 1학년 학생 97명을 연구대상자로 선정하였다. 연구대상자 중 A학과 39명과 B학과 36명은 사전 녹화된 수업 동영상을 활용한 비대면 원격수업으로, C학과 1학년 22명은 대면으로 수업을 진행하였고, 한 명의 교수자에 의해 수업 방식만 달리하여 동일한 교재와 동일한 내용, 동일한 유형의 문제로 평가를 진행하였다. 연구대상자 중 수시모집으로 입학한 A학과 학생 35명, B 학과 학생 34명, C학과 학생 17명에 대한 고교 내신 등급을 수집하여 동질성 검사를 실시한 후, 이 학생들의 2021 학년도 1학기 일반수학 교과목에 대한 중간고사와 기말고사 점수를 분석하였다. 또한, 연구대상자 전체를 대상으로 대면수업과 비대면 수업에 따른 일반수학 교과목에 대한 학업성취도와 수업만족도를 비교·분석하였다. 그 결과 다음과 같은 결론을 얻었다.

첫째, 대면수업과 비대면 원격수업에 대한 학생들의 일반수학 학업성취도는 유의미한 차이를 보였다. 본 연구에서 고교수학 내신등급에서 동질집단으로 판정된 3 개 학과 학생들을 대상으로 학업성취도를 분석한 결과, 대면수업으로 진행한 C학과 학생들의 일반수학 학업 성취도가 비대면으로 진행한 A학과와 B학과 학생들의 학업성취도 보다 유의미하게 높은 것으로 나타났다. 이와 같은 본 연구의 결과는 대면수업이 비대면 원격수업보다 학업성취도가 더 높다는 다른 선행연구들의 연구 결과들과 일치함을 알 수 있다[5-6]. 동영상을 활용한 비대면 원격수업은 장소나 시간 등을 자유롭게 선택할 수 있고, 반복학습이 가능하다는 점에서 학생들이 선호하는 수업방식이지만 대부분의 학습자는 학습 환경을 스스로 통제할 수 없어 수업에 대한 몰입도가 떨어져 교육적 효과를 나타나기 어렵다. 따라서 동영상을 활용한 비대면 원격수업에서 교육적 효과가 나타나기 위해서는 학습자의 자기주도적 학습능력이 요구된다고 할 수 있다.

둘째, 대면수업과 비대면 원격수업의 수업 만족도에도 유의미한 차이를 보였다. 본 연구의 결과, 대면 수업에 대한 모든 강의평가 점수가 비대면 수업에 대한 강의 평가 점수보다 높게 나타났으며 특히, 수업내용의 강의목표와의 일관성(Q2), 학생의 능력과 이해수준을 고려한 강의 진행속도(Q4)와 전체적인 강의 만족도(Q7)와 관련된 문항은 통계적으로 고도로 유의미한 결과를 얻었다. 또한, 강의 목표 달성도(Q1)와 과제물의 양(Q5)과 관련된 문항은 유의수준 =0.05에서 통계적으로 유의미한 결과를 얻었고, 강의수준의 적절성(Q3)에서는 유의수준 =0.10에서 통계적으로 유의미한 결과를 얻었다. 이와 같은 결과로부터 대면수업의 수업만족도가 비대면 수업의 수업만족도 보다 높다고 할 수 있으며, 이는 대면수업의 효과성을 주장한 다른 선행연구들의 연구 결과와 일치한다[7][9].

본 연구의 결과를 바탕으로 다음과 같이 제언하고자 한다.

첫째, 대면 수업은 수업 시간표에 맞춰 강의실에서 수업이 제시간에 진행되는 반면, 비대면 수업은 학습자가 원하는 시간과 장소에서 수업을 반복해서 들을 수 있는 장점이 있는데 이러한 장점이 오히려 학습자가 수업 듣는 것을 미루어 누적된 학습량을 감당하지 못하는 역효과를 줄 수도 있다. 또한, 대면수업은 교수자의 적절한 통제하에 수업이 진행됨으로 수업에 보다 더 집중할 수 있는 환경인 반면, 동영상을 활용한 비대면 수업은 학생 스스로 주변 환경을 통제하지 못할 경우 수업의 방해 요소로 작용할 수 있다. 이러한 비대면 수업에서의 수업 손실을 최소화하기 위하여 교수자는 학습자의 수업 집중도나 이해도를 체크하기 위하여 매 시간 또는 매 주차별 수업 내용에 대한 간단한 퀴즈 등을 활용하는 방식을 적용하거나 학생들의 수업 진도율을 점검하여 수업진도율이 낮은 학생들에게 출석을 독려할 필요가 있다. 또한, 비대면 수업의 경우 대면수업에 비해 실시간 피드백이나 상호작용면에서 한계가 있다는 단점이 있다. 비대면 수업에서 학생들의 질문에 대한 피드백을 위하여 LMS에 Q&A란 또는 수업 토론방에 개설하거나 SNS 등을 활용하여 학생들의 수업에 대한 질문에 가급적 빠른 응답하는 등의 교수자의 노력이 필요하다.

둘째, 원격수업이 안정적이고 효과적으로 운영하기 위하여 학생 맞춤형 학습관리시스템(LMS)을 구축할 필요가 있다. 강의 동영상이나 강의 자료가 학내 학습관리시스템에 탑재되었을 때나 학생들이 수업 진도율이 미흡할 때 자동으로 학생들에게 메시지가 전달되는 기능이나 학생들의 수업 몰입도를 위하여 동영상 강의 중간에 Quiz 등의 기능을 추가하여 바로 피드백을 할 수 있는 기능이 추가되어야 할 필요가 있다.

본 연구의 제한점은 다음과 같다. 본 연구는 대면수업과 비대면 수업에 따른 대학 일반수학의 학업 성취도와 수업만족도를 비교분석하기 위하여 지방소재 중위권 대학의 공과대학 3개 학과 학생들을 대상으로 연구를 진행하여 결과를 얻었다. 본 연구가 지방소재 중위권 대학의 공과대학 3개 학과 학생들을 대상으로 대학 일반수학 교과목에 대한 연구 결과이므로 수도권 소재 대학, 상위권 대학이나 다른 교과목에 일반화하는데 한계가 존재할 수 있다. 따라서 본 연구 결과를 바탕으로 전국대학 전체, 수도권 대학 또는 다른 교과목으로 연구의 대상을 확장할 필요가 있다.

본 연구를 바탕으로 다음과 같은 후속연구가 필요하다. 본 연구는 대면수업과 비대면 수업에 따른 대학 일반수학의 학업성취도와 수업만족도를 비교·분석하기 위하여 비대면 수업의 한 유형인 사전 제작된 동영상 강의를 활용한 비실시간 원격수업과 대면수업의 학업 성취도와 수업만족도를 비교·분석하였다. 또 다른 원격수업의 형태인 ZOOM과 같은 실시간 원격수업과 전통적인 대면 수업에서의 학업성취도와 수업만족도에 대해서도 본 연구의 결과와 같은 결과가 나오는지에 대한 후속 연구가 필요하다. 또한, 본 연구는 중간·기말고사성적과 학기말 강의평가 결과만을 가지고 대면수업과 비대면 수업의 학업성취도와 수업만족도를 비교·분석하였다. 원격수업에서 학생들의 학업성취도나 수업 만족도에 영향을 줄 수 있는 학생들의 주차별 동영상 강의 시청 회수(동영상 강의 몰아보기), 과제, 질문 등 학생들의 수업 참여나 몰입도와 같은 또 다른 변인과 관련된 후속연구도 필요하다.