Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

Comparative analysis of Lecture Evaluation using Decision Tree: Ways to Improve University Classes after COVID-19

  • Bok-Ju Jung (Center for Teaching & Learning, Gangseo University) ;
  • Sang-Chul Lee (Dept. of G2 Big Data Management, Gangseo University)
  • Received : 2023.04.04
  • Accepted : 2023.04.24
  • Published : 2023.04.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, we attempted to examine the changing ways of thinking about lecture evaluation before and after COVID-19. To this end, decision tree analysis(Decision Tree) was used among data mining techniques based on lecture evaluation data for liberal arts and major classes conducted before and after COVID-19 for A university. According to the results of the study, liberal arts changed from 'method' to 'content', and 'knowledge improvement' was an important factor both before and after majors. In particular, 'Assignment' was found to be an important factor after the COVID-19 in common in the evaluation of lectures in the liberal arts department, which means that in the future, professors will be provided with appropriate teaching methods during class, interaction with students, and feedback on assignments or test results, indicates the need for competence. Based on the results of this study, a plan to improve communication with students and activation of blended learning was suggested.

본 연구에서는 코로나 이전과 이후의 강의평가에 대한 생각이 어떻게 변화하고 있는지를 분석하고자 하였다. 이를 위해서 A대학을 대상으로 코로나 이전과 이후에 실시한 교양과 전공 수업에 대한 강의평가 자료를 토대로 데이터마이닝 기법 중에서 결정나무분석(Decision Tree)를 사용하였다. 연구결과에 의하면, 교양은 '강의방식(Method)'에서 '강의내용(content)'으로, 전공은 전과 후 모두 '지식향상(Knowledge)'이 중요한 요인으로 나타났다. 특히 교양과 전공 강의평가에서 공통적으로 코로나 후에 '과제및평가적합(Assignment)'이 중요한 요인으로 나타났는데, 이는 향후 교수에게는 수업 중 적절한 교수법, 학생들과의 상호작용, 과제나 시험 결과 피드백 등의 교수역량이 필요함을 시사한다. 이러한 연구 결과를 바탕으로 학생들과의 소통 활성화 방안 지원과 블렌디드 러닝 활성화에 대한 개선방안을 제시하였다.

Keywords

I. Introduction

4차 산업혁명 시대의 기술혁신과 변화는 대학교육에서 미래인재의 역량강화를 위한 교육과정 및 교수-학습의 변화를 시도하게 하였다[1]. 그러나 대학교육의 혁신이 시도되고 있던 2020년, 코로나19로 전 세계의 사회, 경제, 교육까지 모두 변화되면서 한순간에 전국 대학교육의 수업 방식을 비대면으로 진행하게 되었고 교수-학습 과정에서 많은 변화를 경험하였다.

그러나 교육학자들은 향후 우리나라의 대학교육은 코로나19 이전과 다를 것이라는 예측이 일반적이며, 코로나19 이후 대학교육의 변화 대비를 위한 방안을 마련하는 것에 대하여 시급함을 인식하고 있다. 즉, 코로나19 이후에도 과거의 대면 수업으로 회귀하기보다 대면과 비대면이 공존하는 형태로 대학교육이 이루어질 것이라는 예상을 하게 한다. 교육부 역시 비대면 수업방식의 원격수업을 임시적인 방편이 아닌 뉴노멀시대의 교수-학습 혁신의 방향으로 인정하였으며, 20%로 제한되어 있던 원격수업 운영 비율을 대학 자율에 맡기겠다고 발표한 바 있다[2]. 이러한 이유로 사회는 대학교육의 수월성 제고와 교육의 질 관리 차원으로 대학 책무성과 그에 따른 질적 보장을 요구하고 있다[3].

따라서 지금까지 진행되었던 교수설계 전략을 그대로 구현하는 것은 현실적 한계점을 가질 수밖에 없다. 그러나 대학은 ‘수업의 질’을 어떻게 관리해야 효과적인지에 대한 논의가 필요함에도 당장 직면한 제도적 문제와 기술적 문제를 수습하기에 급급하다. 따라서 이러한 문제를 극복하고 수업의 실제적인 개선 유도를 위한 방안 중의 하나는 강의평가를 분석하는 것이다.

강의평가는 강의 개선과 교수역량에 대한 평가지표로서 대부분의 대학에서 활용되고 있다. 교수의 강의 활동에 대한 학생들의 실질적인 피드백 자료를 제공하기 때문이다[4][5][6][7]. 따라서 대면과 비대면 방식의 수업을 효과적으로 계획하고 운영하기 위해 코로나 이전과 이후의 대학 강의평가 결과가 어떻게 변화되었는지 연구하고자 한다. 코로나 이후의 강의평가는 학생들이 경험한 원격수업의 특성이 반영되어 있을 것이다. 본 연구에서는 학생들의 강의평가 항목을 분석하여 코로나 이전과 코로나 이후의 강의평가에 대한 생각이 어떻게 변화하고 있는지를 분석하여 실질적으로 수업의 질 개선에 기여할 수 있도록 하고자 한다. 이를 위해 강의평가 문항에서 중요한 요인이 무엇인지 비교 분석하고, 코로나 이후 시대의 수업 개선을 위해 무엇을 고려해야 되는지 개선방안을 제시하고자 한다.

II. Theoretical background

1. Lectures Evaluation Definition and Characteristics

강의평가의 개념은 미국에서 Student Evaluation of Educational Quality[8], Student Rating System[9] 등의 도구를 사용하여 측정하면서 시작되었다. 강의평가란 교육 방법이나 내용, 시험 및 성적에 대한 적절성, 교수의 수업 활동, 교육시설 등 교수-학습의 전반적인 평가를 실시하고, 그에 따른 질적 개선을 하려는 과정을 의미한다[10].

강의평가를 실시하는 목적은 강의를 질적 개선을 위해 강의와 관련된 제반적인 문제점 등을 파악하는 것이다[11][12]. 이러한 강의평가는 총괄적 목적과 형성적 목적으로 분류된다[13]. 총괄적 목적(summative)은 교원이나 프로그램의 상·벌과 관련된 행정적 절차를 위하여 강의 정보를 수집 및 진단하고 평가하는 것이다. 반면, 형성적 목적(formative)은 강의의 개선을 위해 강의와 관련된 정보를 수집 및 진단하고 평가하는 것이다[12][14].

또한 강의평가는 교수에 대한 보상과 불이익을 부여하기 위한 제도로 활용되기도 한다[15]. 예컨대, 강의평가 점수의 공개로 수강 신청이나 폐강에 영향을 미칠 수 있으며[16], 우수 강의 선정, 교수의 재임용이나 승진, 정년 보장등 다양한 의사결정을 위한 자료로 사용되고 있다[17].

2. Lectures Evaluation Influencing Factors

강의의 질에 영향을 미치는 핵심 요인은 교수의 강의역량이지만 강의능력은 강의 활동의 특성상 외적 요인의 복합적 영향을 받기 때문에 제대로 평가받지 못하였다. 강의평가에 영향을 미치는 변인들에 대한 연구들은 국내·외에서 비교적 많이 수행되어 왔고, 대체적으로 교수특성 요인, 학생특성 요인, 강좌특성 요인의 세 가지 주요 변인으로 고려되고 있다[18].

첫째, 교수특성 요인은 교수의 직급(강의전담교수, 조교수, 부교수, 정교수, 시간강사 등) 및 직위(전임과 비전임[19][20][21][22], 연령[23][24][25], 성별[24], 봉사실적 및 연구업적[19][23], 교내 행정[23], 강의시수[23] 등이 검토되었다. 전반적인 결과를 살펴볼 때 교수의 직위가 높을수록(전임이 시간강사보다) 강의평가 점수가 대체적으로 높게 나타났다[19][22][23][24]. 이와는 반대로 교수의 연령이 낮을수록(조교수가 정교수보다) 많은 연구들에서 강의 평가가 높다는 결과를 보고하고 있다[19][23][24][25]. 따라서 연령에 따른 차이를 최소화하기 위해 빠르게 변화하는 대학 교육환경과 학생들에 대한 이해를 기반으로 교수 역할의 인식 전환이 요구된다[19].

둘째, 학생특성 요인은 수강하는 학생들의 학년[19][20][21], 성별[19][20], 해당 과목에서의 기대학점, 전체성적, 취득 평점[11][18][20][26], 수업 참여도 및 출석률[18], 학습동기[11], 학과[18] 등이 주요 변수로 검토되었다. 대체적으로 학년이 올라갈수록[11][22][24][25][26], 남학생이 많을수록[25][26], 해당 과목에서의 기대학점, 전체 성적, 취득 평점이 높을수록[22][24][26] 강의평가가 높게 나타났다.

마지막으로 강좌특성 요인은 교양·전공과목으로 구분되는 이수 구분, 강좌 종류[11][18][19][22][23][26], 실습과목과 이론과목으로 구분되는 강의방식[18][25][26], 개설학과[18][24], 강좌 규모[4][18][19][20][24][26][27][28] 등의 변인들이 선행연구에서 검토되었다. 이 중 강의평가에 영향을 미치는 강좌특성 요인으로 가장 많이 탐색된 것은 강좌 규모와 이수 구분 변인이었으며[18], 대체적으로 교양보다 전공이 강의평가가 높게 나타났다[22].

특히 강좌특성 요인 중 강좌 규모는 강의평가에 영향을 미치는 주요 변인으로 연구되어져 왔다. 수강인원에 따른 강좌 규모는 수업 중 학생들과의 상호작용 정도, 과제나 시험 결과 피드백, 적절한 교수법 사용 등 강좌 구성이나 진행에 영향을 미치기 때문에 간과할 수 없는 영향요인이다[19][29]. 전반적인 결과를 살펴볼 때 학생들은 대형강좌를 선호하지 않으며[19][30], 대학에서 강좌 규모에 따른 교수 효과성에 대한 학생들의 평가는 반비례하였다[31]. 이렇듯, 강좌 규모는 개별화 학습 및 상호작용[28], 학습의 질[32], 정보전달이나 자료제시[21]에 영향을 주기 때문에 대학 교육에서 교육의 효과성이나 만족도 예측의 중요한 변인으로 여겨지고 있음을 알 수 있다.

III. The Proposed Scheme

1. Data

강의평가를 분석하기 위해서 본 연구에서는 서울 소재 A대학교에서 자료를 수집하였다. 코로나 전과 후를 비교하기 위해 2020년을 기준으로 데이터를 분리하여 수집하였다. 코로나 전의 강의평가를 분석하기 위해서 2018년과 2019년도의 자료를 수집하였으며, 코로나 이후의 강의평가를 분석하기 위해서 2020년과 2021년도 자료를 수집하였다. 분석에 사용된 분석자료는 <Table 1>과 같다.

Table 1. Response

CPTSCQ_2023_v28n4_197_t0001.png 이미지

분석에 사용된 자료를 보면, 코로나 전에는 62.4%, 코로나 후에는 37.6%로 나타났나. 교양과 전공별로 분리해서 살펴보면, 코로나 전에는 교양 45.2%, 전공 54.8% 였으나, 코로나 이후에는 교양 38.%, 전공 61.5%로 나타났다. 전체적으로 보면 교양 42.7%, 전공 57.3%가 분석에 사용되었다. 계열별로 살펴보면 교양 42.7%, 인문사회계열 34.7%, 자연계열 16.6%, 예체능계열 6%로 나타났으며, 코로나 전과 후는 비슷한 것으로 나타났다.

2. Measurement

본 연구에서 사용된 측정도구는 A대학교의 학기말 강의 평가 문항 중에서 7개 문항을 사용하였다. A대학교의 경우에는 코로나 전과 이후에 강의평가 문항을 수정하였으기 때문에, 본 연구에서는 코로나 전과 후를 비교하기 위해 비교가 가능한 문항 만을 선택해서 사용하였다. 분석에 사용된 문항은 강의목표적합(Goal), 강의내용명료(Content), 학생참여촉진(Participation), 강의방식적합(Method), 과제및평가적합(Assignment), 지식향상(Knowledge), 강의만족(Satisfaction) 등 총 7개 문항이 사용되었다. 평가문항은 “매우그렇다(5점)”부터 “매우아니다(1점)” 리커르트 5점 척도로 측정되었다. 분석에 사용된 강의평가 측정도구는 <Table 2>와 같다.

Table 2. Measurement

CPTSCQ_2023_v28n4_197_t0002.png 이미지

3. Methods

본 연구에서는 강의평가 결정요인을 분석하기 위해 데이터마이닝 기법 중에서 결정나무분석(Decision Tree)를 사용하였다. 결정나무분석은 결정규칙(decision rule)을 나무구조(tree)로 도표화하여 분류(classification)와 예측(prediction)을 수행하는 분석방법이다[33]. 본 연구에서는 목표변수를 수치형 변수인 강의만족도로 설정하였기 때문에 결정나무분석 중에서 회귀나무 (Regression Tree) 방법을 사용하였으며, 이를 위해 CART(Classification And Regression Tree)를 이용하였다.

CART를 사용하기 위해 R 프로그램 및 R 패키지를 이용하였으며, Tidymodels 프레임워크 및 패키지를 사용하였다[34][35]. Tidymodels에서는 하이퍼 파라미터(Hyperparameters) 튜닝(tuning)과 교차검정(Cross Validation)을 이용하여 최적화 모형을 구축할 수 있다. 결정나무분석을 위한 하이퍼 파라미터로는 비용복잡도(cost_complexity)와 노드최소관측치수(min_n)를 사용하였으며, 간명한 설명을 위해 최종 나무 깊이(tree_depth)는 4로 고정하여 분석하였다. 교차검정을 위해서는 10겹 (10-fold) 교차검정을 사용하였다. 예측모형의 적합도를 평가하기 위해서는 평균 제곱근 오차(RMSE; Root Mean Squared Error)를 이용하였다.

IV. Results

1. Comparative analysis of Liberal Arts

결정나무분석을 활용하여 코로나 전과 후의 교양 강의 평가를 결정하는 요인을 비교분석한 결과는 <Fig 1>과 <Fig 2>와 같다. 먼저 코로나 전의 결정나무분석 결과를 보면, 첫 번째 마디가 강의방식적합(Method)으로 나타났으며, 강의방식적합(Method) >= 3.5이면 강의평점 상위그룹으로, 강의방식적합(Method) < 3.5면 하위그룹으로 나뉘는 것으로 나타났다. 코로나 후의 결정나무분석 결과를 보면, 첫 번째 마디가 강의내용명료(Content)로 나타났으며, 강의내용명료(Content) >= 3.5이면 강의평점 상위그룹으로, 강의내용명료(Content) < 3.5면 하위그룹으로 나뉘는 것으로 나타났다.

CPTSCQ_2023_v28n4_197_f0001.png 이미지

Fig. 1. The results of decision tree in Liberal Art in pre COVID-19

CPTSCQ_2023_v28n4_197_f0002.png 이미지

Fig. 2. The results of decision tree in Liberal Art in post COVID-19

강의평점이 높은 상위집단의 마디를 분석해 보면 다음과 같다. 코로나 전에는 강의방식적합(Method) >=4.5 이면서 과제및평가적합(Assignment) >= 4.5 이면 강의평점이 5.0점으로 나타났다. 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.6점으로 높게 나타났다. 코로나 후에는 강의내용명료(Content) >=4.5 이면서 지식향상(Knowledge) >= 4.5 이면 강의평점이 5.0점으로 나타났다. 지식향상(Knowledge) >= 4.5 일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.6점으로 높게 나타났다.

강의평점이 낮은 그룹의 경우에는 전반적으로 모든 항목에서 점수가 낮게 나타났다. 다만, 코로나 이후에 특이한 규칙이 발견되었는데, 강의내용명료(Content) < 3.5 임에도 불구하고 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의평점이 4.1로 높게 나타났다.

결정나무분석한 결과를 중요도(Importance)로 종합해서 보면 <Fig. 3>과 같다. 먼저 전체적인 중요도(Importance)를 비교분석한 결과, 중요한 요인이 다르게 나타났다. 코로나 전에는 강의방식적합(Method)이 가장 중요한 요인으로 나타났으며, 강의내용명료(Content), 강의목표적합(Goal), 학생참여촉진(Participation) 등이 중요한 요인으로 나타났다. 반면에 코로나 후에는 강의내용명료(Content)가 가장 중요한 요인으로 나타났으며, 과제및 평가적합(Assignment), 지식향상(Knowledge)이 중요한 요인으로 나타났다.

CPTSCQ_2023_v28n4_197_f0003.png 이미지

Fig. 3. Comparison of importance between pre and post COVID-19 in Liberal Art

결론적으로 코로나 전과 후의 교양 강의평가를 분석해 보면, 코로나 전에는 강의방식(Method)이 강의평가에 중요한 요인이었으나, 코로나 후에는 강의내용(Content)이 중요한 요인으로 바뀐 것으로 나타났다. 특히 코로나 이후에는 강의평가 하위그룹에서 과제및평가적합(Assignment)이 중요한 요인으로 나타났다.

2. Comparative analysis of Major

결정나무분석을 활용하여 코로나 전과 후의 전공 강의 평가를 결정하는 요인을 비교분석한 결과는 <Fig 4>와 <Fig 5>와 같다. 먼저 코로나 전의 결정나무분석 결과를 보면, 중요도 결과와는 달리, 첫 번째 마디가 강의방식적합(Method)으로 나타났으며, 강의방식적합(Method) >= 3.5이면 강의평점 상위그룹으로, 강의방식적합(Method) < 3.5면 하위그룹으로 나뉘는 것으로 나타났다. 코로나 후의 결정나무분석 결과를 보면, 첫 번째 마디가 지식향상(Knowledge)로 나타났으며, 지식향상(Knowledge) >= 3.5이면 강의평점 상위그룹으로, 지식향상(Knowledge) < 3.5면 하위그룹으로 나뉘는 것으로 나타났다.

CPTSCQ_2023_v28n4_197_f0004.png 이미지

Fig. 4. The results of decision tree in Major in pre COVID-19

CPTSCQ_2023_v28n4_197_f0005.png 이미지

Fig. 5. The results of decision tree in Major in post COVID-19

강의평점이 높은 상위집단의 마디를 분석해 보면 다음과 같다. 코로나 전에는 강의방식적합(Method) >=4.5 이면서 과제및평가적합(Assignment) >= 4.5 이면 강의평점이 5.0점으로 나타났다. 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.점으로 높게 나타났다. 코로나 후에는 지식향상(Knowledge) >= 4.5 이면서 학생참여촉진(Participation) >= 4.5 이면 강의평점이 5.0점으로 나타났다. 학생참여촉진(Participation) >= 4.5 일 경우에는 지식향상(Knowledge) < 4.5 이여도 강의평점이 4.8점으로 높게 나타났다.

강의평점이 낮은 그룹의 경우에는 전반적으로 모든 항목에서 점수가 낮게 나타났다. 다만, 코로나 이후에 특이한 규칙이 발견되었는데, 강의내용명료(Content) < 3.5 임에도 불구하고 학생참여촉진(Participation) >= 4.5 일 경우에는 강의평점이 4.4로 높게 나타났다.

결정나무분석한 결과를 중요도(Importance)로 종합해서 보면 <Fig. 6>과 같다. 전체적인 중요도(Importance)를 비교분석한 결과, 코로나 전과 후 모두 지식향상(Knowledge)이 가장 중요한 요인으로 나타났다. 반면, 코로나 전에는 강의방식적합(Method)이 두 번째로 중요한 요인으로 나타났으며, 코로나 후에는 과제및평가적합(Assignment)이 중요한 요인으로 나타났다.

CPTSCQ_2023_v28n4_197_f0006.png 이미지

Fig. 6. Comparison of importance between pre and post COVID-19 in Major

결론적으로 코로나 전과 후의 전공 강의평가를 분석해보면, 코로나 전과 후에 전반적으로 지식향상(Knowledge)이 중요한 요인으로 나타났다. 코로나 전에는 강의방식(Method)이 코로나 후에는 과제및평가적합(Assignment)이 중요한 요인으로 바뀐 것으로 나타났다. 특히 코로나 이후에는 강의평가 하위그룹에서 학생참여촉진(Participation)이 중요한 요인으로 나타났다.

V. Conclusions and Limitation

많은 대학들이 대학 교육의 질 관리와 수월성 제고를 위해 강의평가가 이루어지고 있다. 하지만 코로나19로 전국 대학이 비대면 수업방식으로 진행하게 되면서 교수는 대면·비대면 방식으로 수업을 효과적으로 계획하고 운영하는 것이 중요한 역량으로 여겨지게 되었다. 이러한 문제를 극복하고 수업의 실제적인 개선 유도를 위한 방안 중의 하나로 강의평가를 분석하는 것이 필요하다. 따라서 본 연구에서는 코로나 이전과 이후의 강의평가에 대한 생각이 어떻게 변화하고 있는지를 분석하고자 하였다. 이를 위해서 A대학을 대상으로 코로나 이전과 이후에 실시한 강의평가 자료를 토대로 데이터마이닝 기법 중에서 결정나무분석(Decision Tree)를 사용하였다. 또한 교양과 전공 수업에 대한 학생의 요구사항이 다르기 때문에 구분하여 분석을 실시하였다. 의미연결망분석 결과에 의하면 코로나 이전과 이후, 교양과 전공 수업 별로 학생들이 중요하게 생각하는 강의평가 요인에 차이가 있는 것을 확인하였다.

먼저 교양 강의평가의 경우 다음 두 가지의 결과를 확인할 수 있었다. 첫째, 결정나무분석 결과를 보면, 첫 번째 마디가 강의방식적합(Method)가 >=3.5이면 강의평점이 높은 i)상위그룹, < 3.5이면 강의평점이 낮은 ii)하위그룹으로 나뉘는 것으로 나타났다. i)상위그룹의 경우 ①코로나 전에는 강의방식적합(Method) >=4.5 이면서 과제및평가 적합(Assignment) >= 4.5 이면 강의평점이 5.0점으로 나타났고, 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.6점으로 나타났으며, ②코로나 후에는 강의내용명료(Content) >=4.5 이면서 지식향상(Knowledge) >= 4.5 이면 강의평점이 5.0점으로 나타났고, 지식향상(Knowledge) >= 4.5일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.6점으로 나타났다. ii)하위그룹의 경우 전반적으로 모든 항목에서 점수가 낮게 나타났으나, 코로나 후에 강의 내용명료(Content) < 3.5 임에도 불구하고 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의평점이 4.1로 높게 나타났다.

둘째, 결정나무분석 결과를 중요도(Importance)로 종합해서 보면 ①코로나 전에는 강의방식적합(Method), 강의내용명료(Content), 강의목표적합(Goal), 학생참여촉진(Participation) 순으로 중요한 요인으로 나타났으며, ②코로나 후에는 강의내용명료(Content), 과제및평가적합(Assignment), 지식향상(Knowledge)순으로 중요한 요인으로 나타났다.

따라서 결정나무분석과 중요도 결과 ①코로나 전에는 강의방식(Method)이 강의평가에 중요한 요인이었으나, ②코로나 후에는 강의내용(Content)이 중요한 요인으로 바뀐 것으로 나타났다. 또한 코로나 이후에는 강의평가 하위 그룹에서 과제및평가적합(Assignment)이 중요한 요인으로 나타났다. 이러한 결과는 코로나 이전은 대면 수업이었기 때문에 교수가 강좌특성에 맞게 적절한 교수법을 사용하여 학습에 대한 흥미 유발과 적극적인 학습참여를 할 수 있게 하는가를 중요하게 생각하고 있었으나, 코로나19 이후 비대면으로 진행되면서 원격수업에서는 강의내용을 더 중요하게 생각하는 것을 의미한다. 대학생 시기의 학습은 의식적이고 의도적인 활동이 요구되는 과정이다. 이러한 활동이 잘 이루어지게 하기 위해서 교수는 강의내용에 대한 강의계획서 작성 능력, 효과적인 전달 능력, 강좌목표와 내용에 적절한 교재 선택 및 자료개발 능력이 온·오프라인 수업 환경에 적절하게 융합하는 역량이 필요할 것이다.

다음으로 전공 강의평가 경우에도 두 가지의 결과를 확인할 수 있었다. 첫째, ①코로나 전 결정나무분석 결과 강의방식적합(Method) >= 3.5이면 강의평점이 높은 i)상위 그룹, 강의방식적합(Method) < 3.5면 강의평점이 낮은 ii)하위그룹으로 나뉘는 것으로 나타났다. ②코로나 후의 결정나무분석 결과, 지식향상(Knowledge) >= 3.5이면 i)상위그룹, 지식향상(Knowledge) < 3.5면 ii)하위그룹으로 나뉘는 것으로 나타났다. i)상위그룹의 경우 ①코로나 전에는 강의방식적합(Method) >=4.5 이면서 과제및평가적합(Assignment) >= 4.5 이면 강의평점이 5.0점으로 나타났고, 과제및평가적합(Assignment) >= 4.5 일 경우에는 강의방식적합(Method) < 4.5 이여도 강의평점이 4.점으로 높게 나타났으며, ②코로나 후에는 지식향상(Knowledge) >= 4.5 이면서 학생참여촉진(Participation) >= 4.5 이면 강의평점이 5.0점으로 나타났고, 학생참여촉진(Participation) >= 4.5 일 경우에는 지식향상(Knowledge) < 4.5 이여도 강의평점이 4.8점으로 높게 나타났다. 다음으로 ii)하위그룹의 경우 전반적으로 모든 항목에서 점수가 낮게 나타났으나, 코로나 후에 강의내용명료(Content) < 3.5 임에도 불구하고 학생참여촉진(Participation) >= 4.5 일 경우에는 강의평점이 4.1로 높게 나타났다. 둘째, 결정나무분석 결과를 중요도(Importance)로 종합해서 보면 코로나 ①전과 ②후 모두 지식향상(Knowledge)이 가장 중요한 요인으로 나타났다. 반면, ①코로나 전에는 강의방식적합(Method)이 두 번째로 중요한 요인으로, ②코로나 후에는 과제및평가적합(Assignment)이 중요한 요인으로 나타났다.

따라서 코로나 전과 후의 전공 강의평가를 분석해 보면, 결정나무분석과 중요도 결과 코로나 ①전과 ②후에 전반적으로 지식향상(Knowledge)이 가장 중요한 요인으로 나타났으며, 다음으로 ①코로나 전에는 강의방식(Method)이, ②코로나 후에는 과제및평가적합(Assignment)이 중요한 요인으로 바뀐 것으로 나타났다. 그리고 코로나 이후에는 ii)하위그룹에서 학생참여촉진(Participation)이 중요한 요인으로 나타났다. 이는 강의방식도 중요하지만, 강의특성에 맞는 강좌를 구성하여 전공관련 지식이 얼마나 향상되었는지 학생들이 가장 중요하게 생각하고 있다는 것을 의미한다. 특히 교양과 전공 강의평가에서 공통적으로 코로나 후에 과제및평가적합(Assignment)이 중요한 요인으로 나타났는데, 이는 향후 교수에게는 수업 중 적절한 교수법, 학생들과의 상호작용, 과제나 시험 결과 피드백 등의 교수역량이 필요함을 시사한다.

한편, A대학은 소규모 대학 특성상 소규모 강좌가 많이 운영되므로 학생들과 상호교감의 기회가 많이 제공될 수 있을 것이다. 학생참여는 대학에서 수업 내용을 이해하기 위한 토론 및 질문 활동, 사고 활동, 교수나 동료와의 교류에 능동적이고 적극적으로 참여하는 것이다. 학생참여의 질과 양은 학습과 지식향상의 양과 비례한다. 학생이 교수와의 접촉이 많고, 교수가 학생들의 성장과 발전에 관심을 가지면, 학생은 학업에 관한 관심을 높이고 적극적으로 참여하여 높은 교육적 성취를 얻게 되기 때문이다[36][37][38]. 이러한 이유로 대학 자체적으로 운영하는 LMS 학습관리 시스템(Learning Management System), 구글 클래스룸, SNS, ZOOM 등 디지털 소프트웨어를 활용하여 커뮤니케이션의 활성화 방안을 모색해야 한다. 그러므로 코로나 이후에는 단지 수업을 제공하는 것이 아니라 그 과정에서 학습에 적극적인 참여가 될 수 있도록 유도하는 교수설계와 교수법을 선정하여 학생들의 학생참여를 촉진 시킬 수 있도록 유도해야 한다.

본 연구의 결과 논의를 바탕으로 개선방안을 제시하면 다음과 같다. 첫째, 학생들과의 소통 활성화 방안 지원이 필요하다. 즉, 소통을 중심으로 한 학습자 중심 수업 개선이 필요하다. 비대면 강의의 가장 큰 단점은 학생들과의 상호작용이 활발하지 못한다는 점이다. 원격수업에서 교수는 학생들과 원활한 의사소통과 같은 상호작용을 향상시키기 위한 노력이 요구된다. 강의 개선을 위한 강의평가는 결국 교수역량 강화를 위한 것이며 최종적으로 학생들의 학습을 향상시키는 것이다. 따라서 학생들의 강의 만족도 향상과 더불어 주체적으로 수업에 참여하는 능동적인 학습자로 만들 수 있도록 학습자 중심 수업 방법을 고민해야 할 것이다.

그러나 유의할 부분은 학생들의 일방적인 참여를 독려하기 보다 수업 중 학생들의 성향에 따른 반응을 살피는 유연한 수업 운영이 필요함을 뒷받침한다. 고명희와 은선민(2023)의 연구에 따르면, 교수들이 현장에서 느끼는 추측으로 성격이 긍정적이고 밝은 학생은 바라보는 관점이 긍정적이고 적극적일 수 있으며, 이는 수업을 통해 배운 내용에 오히려 감사한 마음을 갖고 강의평가 점수를 높게 줄 수 있다는 의견이 있었다. 이와 반대로 성격이 부정적이거나 밝지 않은 학생은 수업의 질과 상관없이 강의평가 점수를 낮게 줄 수도 있을 것이다[26].

둘째, 블렌디드 러닝(Blended Learning)을 활용하기 위한 지원이 필요하다. 블렌디드 러닝은 단순히 대면 강의실 수업과 비대면 원격수업의 물리적 결합에 그치는 것이 아니라, 두 개의 다른 수업 환경을 유기적으로 연계해야 학습의 효과를 도출할 수 있다. 블렌디드 러닝은 대면 수업의 단점을 IT 정보기술에 기반을 둔 온라인 수업을 보완하여 온·오프라인 두 교수 모형의 장점을 살린 수업 모형이기 때문이다. 특히, 학생 특성에 따라 맞춤형 수업을 할 수 있으므로 자기주도 학습을 가능하게 하여[39], 교육 현장에서 효과적이고 새로운 교수학습 모형으로 발전 가능성을 보여준다. 따라서 온·오프라인이 병행된 수업을 위한 교수의 수업 능력이 필요하며, 이와 관련된 수업설계 및 교수법 워크숍 등 수업에 활용할 수 있도록 지원할 필요가 있다.

셋째, 교수 직급에 따른 생애주기별 맞춤형 교수법이나 수업 컨설팅 등 교수역량 강화를 위한 프로그램 지원이 필요하다. 교육환경이나 학생들의 특성은 빠르게 변화하고 있다. 정교수 직급의 경우 이러한 변화를 잘 이해하고, 오랜 강의 경력과 연륜을 극대화 할 수 있도록 경험을 기반으로 하는 경험 기반의 교수법과 관련된 교육을 제공하거나, 블렌디드 기반 강의가 원활히 이루어 질 수 있도록 매체지원이나 디지털 소프트웨어 활용 등 실질적인 도움이 필요하다.

마지막으로, 신뢰롭고 타당한 강의평가 문항 연구가 필요하다. 강의평가 주체는 학생들이기 때문에 과연 강의를 평가할 만한 분별력과 판단력을 가졌는지 확실하지 않다. 타당도 역시 강의 내용과 관련이 없는 강의 외적인 요인이 큰 영향을 미칠 수도 있다[40]. Stroebe(2016) 연구에 따르면 미국 대학생들의 수업 선호도를 파악한 결과, 평균 평점이 수십년 동안 계속 증가했으나, 높은 강의평가를 받는 수업이란 평균적인 수준의 학생들 대상으로 재미있고, 적은 노력으로도 높은 학점을 받을 수 있는 수업이라는 것을 알게 되었고, 이러한 학생들의 기대를 만족시키기 위해 교수들은 최대한 이에 부응하는 수업을 진행해 오고 있다고 하였다[41]. 결국 강의평가는 강의를 더 좋은 방향으로 변화시키기 보다 강의평가 점수를 향상시키기 위해 교육 과정의 기준을 낮추거나, 적은 노력으로도 학점을 잘 받을 수 있도록 수업의 학생참여나 과제를 줄이고, 시험을 단순화 하는 등 오히려 학생들의 학습에 부정적인 결과를 초래하고 있다[26][42]. 또한 Dowell과 Neal(1983)은 학생들이 제대로 배운 것도 없는데 강의평가 점수를 잘 맞도록 수업과 시험을 편하게 한 결과로 얻게 되는 강의평가 결과는 효과적인 교육을 한 것이 아니고 고객을 만족시킨(consumer satisfaction)것이라고 비판하기도 하였다[43]. 따라서 교과목을 통해 배운 정도는 어떤 요소를 중점적으로 측정할 것인지 연구가 먼저 선행되어야 한다.

그러나 이러한 연구 결과에도 불구하고 본 연구는 다음과 같은 두 가지의 한계점을 가지고 있다. 첫째, 본 연구는 코로나 이전과 이후의 강의평가에 대한 학생들의 생각이 어떻게 변화되었는지를 분석하는 것이다. 하지만 코로나 전과 후를 비교하기 위해 비교가 가능한 문항만을 선택해서 사용하였기 때문에 교수특성 요인과 강좌특성 요인에 대한 결과가 대체적이다. 이에 수업 개선을 위한 교수-학습 개선방안을 명확히 설명할 수 없는 한계를 가질 수 있다. 따라서 수강하는 학년, 성별, 기대학점, 출석률 등 학생특성 요인이 강의평가 변인들과 어떠한 영향력이 있는지 심층적으로 살펴볼 필요가 있다.

둘째, 본 연구는 코로나19로 인해 전환되었던 원격수업을 보완하여 향후 어떤 방향으로 유연하게 교수설계를 해야 하는지 개선방안을 제시하고 있다는 점에서 의의가 있다. 하지만 향후 후속 연구에서는 블렌디드 러닝의 강의평가를 기반으로 학습효과를 위한 개선 분석이 요구된다.

References

  1. Y. H. Lee, J. H. Yoon, S. K. Hong, J. I. Lim, and B. B. Baek, "A Meta-Analysis of the New Challenges and Approaches for Future Education," Journal of Education & Culture, Vol. 24, No. 5, pp. 127-153, August 2018 DOI: 10.24159/joec.2018.24.5.127
  2. Ministry of Education, A digital-based innovation support plan for future education transformation, https://www.korea.kr/news/policyNewsView.do?newsId=148877326
  3. J. K. Kim, "Developing a Student Evaluation Instrument for College Teaching," Journal of the Korea Academia-Industrial , Vol. 18, No. 6, pp. 187-196, June 2017. DOI: 10.5762/KAIS.2017.18.6.187
  4. Y. S. Song, "Analysis of Factors Affecting Satisfaction of Teaching Evaluation in the University," Journal of Competency Development & Learning, Vol. 13, No. 2, pp. 141-163, June 2018. DOI: 10.21329/khrd.2018.13.2.141
  5. S. I. Han, H. J. Kim, and J. Y. Lee, "A Comprehensive Study of Korean Students' Evaluations of University Teaching," The Journal of Educational Administration, Vol. 23, No. 3, pp. 379-403, October 2005.
  6. N. Denson, T. Loveday, and H. Dalton, "Student evaluation of courses: what predicts satisfaction?," Higher Education Research & Development, Vol. 29, No. 4, pp. 339-356, Jun 2010. DOI: 10.1080/07294360903394466
  7. M. S. Lemos, C. Queiros, P. M. Teixeira, and I. Menezes, "Development and validation of a theoretical based, multidimensional questionnaire of students' evaluation of university teaching," Assessment & Evaluation in Higher Education Vol. 36, No. 7, pp. 843-864, Jul 2010. DOI: 10.1080/02602938.2010.493969
  8. H. W. Marsh, "Multidimensional Students' evaluations of teaching effectiveness: A test of alternative higher-order structures," Journal of Educational Psychology, Vol. 83, No. 2, pp. 285-296, 1991. DOI: 10.1037/0022-0663.83.2.285
  9. IDEA, Instructional development and effectiveness assessment student ratings of instruction, http://www.idea,ksul.ed
  10. S. J. Lim, and H. S. Byun, "University Online Course Satisfaction and Improvement: Analysis of Students' Written Comments Using BTM (Biterm Topic Model)," Journal of Educational Technology, Vol. 37, No. 4, pp. 889-915, December 2021. DOI: 10.17232/KSET.37.4.889
  11. S. A. Shin, O. B. Kim, J. I. Park, E. J. Kim, and T. W. Chung, "Exploring the Direction of University Lectures in the Post-Corona Era : Focused on Analysis of Mid-semester Lecture Evaluation Data Mining and Semantic-network Analysis," Journal of Education & Culture, Vol. 26, No. 5, pp. 195-228, October 2020. DOI: 10.24159/joec.2020.26.5.195
  12. S. M. Hobsoan, and D. M. Talbot, ""Understanding student evaluation: What all faculty should know,"" College Teaching, Vol. 49, No. 1, pp. 26-31, March 2010. DOI: 10.1080/8756755 0109595842
  13. S. I. Han, H. J. Kim, and J. Y. Lee, "A Comprehensive Study of Korean Students' Evaluations of University Teaching," The Journal of Educational Administration, Vol. 23, No. 3, pp. 379-403, October 2005.
  14. J. A. Kulik, "Student Ratings: Validity, Utility, and Controversy," New directions for institutional research, Vol. 109, pp. 9-25, January 2001. DOI: 10.1002/ir.1
  15. P. S. Kim, and C. H. Hwang, "A Study on Application of Lecture Evaluation at Korean Universities," Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 9, No. 9, pp. 29-40, September 2019. DOI: 10.35873/ajmahs.2019.9.9.003
  16. S. S. Cho, "A Case Study on the Effect of Student Characteristics among the Influential Factors in the Teaching Evaluation at Universities," Journal of Engineering Education Research, Vol. 19, No. 6, pp. 38-43, November 2016. https://doi.org/10.18108/JEER.2016.19.6.38
  17. E. G, Yoon, "A Study on the Variables Affecting the Evaluation of Lectures- Focusing on Liberal Arts Education," Korean Journal of General Education, Vol. 12, No. 5, pp. 185-210, October 2018.
  18. K. S. Yang, ""Meta-research on the influence of course, instructor, and student characteristics in student evaluation of teaching at universities,"" The Korean Journal of Educational Methodology Studies, Vol. 26, No. 2, pp. 293-322, May 2014. https://doi.org/10.17927/tkjems.2014.26.2.293
  19. G. Y. Lee, and Y. J. Lee, "Analysis on Instructor and Course Characteristics and the Differences in Achievement Levels of University Course Evaluation: Centering on position, course division, class size," Korea University Institute for Educational Studies, Vol. 30, No. 4, pp. 189-212, November 2017. DOI: doi.org/10.24299/kier.2017.30.4.189
  20. J. S. Cho, "Determinants of student course evaluation using hierarchical linear model," Journal of the Korean Data & Information Science ociety, Vol. 24, No. 6, pp. 1285-1296, October 2013. DOI: 10.7465/jkdi.2013.24.6.1285
  21. K. A. Feldman, "Class size and college students' evaluations of teachers and courses: A closer look," Research in Higher Education, Vol. 21, pp. 45-116, March 1984. DOI: 10.1007/BF00975035
  22. K. F. Ting, "A multilevel perspective on student ratings of instruction: Lessons from the Chinese experience," Research in Higher Education, Vol. 41, pp. 637-661, October 2000. DOI: 10.1023/A:1007075516271
  23. J. H. Kim, Y. E. Hong, and K. J. Park, "The Effect of Determinants Related to Management University on the Lecture Evaluation of Student: Based on Data of Y University," The Review of Business History, Vol. 26, No. 2, pp. 201-224, June https://doi.org/10.22629/KABH.2011.26.2.008
  24. S. G. Baek, and H. J. Shin, "Multilevel Analysis of the Effects of Student and Course Characteristics on Student Course Evaluation: Focused on the Undergraduate Liberal Education Program," Journal of Educational Evaluation, Vol. 21, No. 2, pp. 1-24, June
  25. B. G. Choi, J. Y. Kim, "Multilevel Analysis of the Effects of Student and Course Characteristics on Student Evaluations of University Teaching," The Journal of Yeolin Education, Vol. 21, No. 1, pp. 77-100, January 2013.
  26. M. H. Ko, and S. M. Eun, "A Review of a University Course Evaluation Research in Korea: Focusing on the Learner Variable (1994-2022)," Journal of Learner-Centered Curriculum and Instruction, Vol. 23, No. 4, pp. 443-465, February 2023. DOI: 10.22251/jlcci.2023.23.4.443
  27. C. L. Scheck, A. J. Kinicki, and J. L. Webster, "The effect of class size on student performance: Development and assessment of a process model," Journal of Education for Business, Vol. 70, No. 2, pp. 104-111, November 1994. DOI: 10.1080/08832323.1994.10117734
  28. K. Akerhielm, "Does class size matter?," Economics of education Review, Vol. 14, No. 3,pp. 229-241, September 1995. DOI: 10.1016/0272-7757(95)00004-4
  29. M. W. Nam, and E. S. Cho, "A study of college semester - end lecture evaluation weight control and class size difference verification," Korean Journal of the Learning Sciences, Vol. 8, No. 2, pp. 153-168, August 2014.
  30. S. J. DeCanio, "Student evaluations of teaching-a multinominal logit approach," The Journal of Economic Education, Vol. 17, No. 3, pp. 165-176, Summer 1986. DOI: 10.1080/00220485.1986.10845161
  31. K. Bedard, and P. Kuhn, "Where class size really matters: Class size and student ratings of instructor effectiveness," Economics of Education Review, Vol. 27, No. 3, pp. 253-265, June 2008. DOI: 10.1016/j.econedurev.2006.08.007
  32. K. Trigwell, "Measuring teaching performance," University rankings: Theoretical basis, methodology and impacts on global higher education, pp. 165-181, 2011. 
  33. G. Shmueli, N. R. Patel, and P. C. Bruce, "Data Mining for Business Intelligence: Concepts, Technigues, and Appl Galit Shmueli," John Wiley & Sons, pp. 1-566, 2018.
  34. https://www.r-project.org
  35. https://www.tidymodels.org
  36. A. W. Astin, "Four critical years: Ef ects of college on beliefs, attitudes, and knowledge," San Francisco: Jossey-Bass, 1977.
  37. G. D. Kuh, " What we are learning about student engagement from NSSE. Change", Vol. 35, Np. 2, pp. 24-32, March 2010. DOI: 10.1080/00091380309604090
  38. E. T. Pascarella, and P. T. Terenzini, "How college affects students: A third decade of research," San Francisco: Jossey-Bass, pp. 1-848, 2005.
  39. N, Dabbagh and A. Kitsantas, "Personal Learning Environments, social media, and self-regulated learning: A natural formula for connecting formal and informal learning," The Internet and higher education, Vol. 15, No. 1, pp. 3-8, January 2012. DOI: 10.1016/j.iheduc.2011.06.002
  40. M. H. Kim, "Validity and Reliability of Lecture Evaluation," Asian Journal of Education, Vol. 6, No. 3, pp. 1-24, July 2005.
  41. W. Stroebe, "Why good teaching evaluations may reward bad teaching: On grade inflation and other unintended consequences of student evaluations," Perspectives on Psychological Science, Vol. 11, No. 6, pp. 800-816, November 2016. DOI: 10.1177/1745691616650284
  42. D. L. Crumbley, and K. L. Reichelt, "Teaching effectiveness, impression management, and dysfunctional behavior: tudent evaluation of teaching control data," Quality Assurance in Education, Vol. 17, Np. 4, pp. 377-392, September 2009. DOI: 10.1108/09684880910992340
  43. D. A. Dowell, and J. A. Neal, "The validity and accuracy of student ratings of instruction," The Journal of Higher Education, Vol. 54, No. 4, pp. 459-463, November 2016. DOI: 10.1080/00221546.1983.11778216