DOI QR코드

DOI QR Code

Assessment of Emergency Remote Teaching for Clinical Interview Skills due to COVID-19: Its Implication for Future Online Medical Education

코로나19로 인한 일개 의과 대학의 비대면 의료 면담 실습수업 사례 분석

  • 이상옥 (부산대학교 의과대학 인문사회의학교실) ;
  • 김유리 (부산대학교 의과대학 인문사회의학교실) ;
  • 김성수 (부산대학교 의과대학 인문사회의학교실)
  • Received : 2021.09.16
  • Accepted : 2021.10.25
  • Published : 2022.01.28

Abstract

The purpose of this study is to share and assess the experiences of the emergency remote teaching method adopted for the medical communication course at a medical school due to the COVID-19 pandemic. The standardized patients hired for this 'Emergency Remote Teaching (hereafter ERT)' course said that students' interactions with them were less enthusiastic and less realistic, However, in the one-on-one virtual practice, the students seemed to be more focused than in the existing face to face practice. There were no differences in the unit practice test scores between ERT and the face-to-face course while in the face-to-face final exam, the test scores of FTF students were statistically higher than those of the ERT students, which might have resulted from the different methodologies of teaching. Further research on the virtual medical communication course is necessary to prepare medical students for the adoption of the telemedicine which could be accelerated in the near future.

본 연구는 코로나19 범유행 동안의 의료 면담 교육 지속을 위하여 화상 회의 방식의 긴급 비대면 수업(Emergency Remote Teaching:이하 ERT)을 도입한 일개 의과 대학의 사례를 보고하는 것이다. ERT 실습과 기존 면대면 실습과의 차이에 초점을 두고 표준화 환자 인터뷰를 통하여 수업 운영 경험을 기술하고 학생들의 학업성취도를 통계적으로 분석하여 교육 효과를 살펴보았다. 표준화 환자들은 면담 과정에서 원격 상대와 눈 맞춤을 하기 어려우며, 대화 시의 생동감과 재미가 다소 떨어지나, 대면 실습보다 대화 내용에 대한 집중도는 높은 느낌을 받았다는 의견을 내놓았다. 비대면 수업의 수강생들은 온라인으로 실시한 단원별 테스트에서 기존 면대면 수업 수강생과 비슷한 성적을 받았으나, 대면으로 치러진 기말고사에서는 유의하게 낮은 성적을 받았는데, 이러한 결과는 면대면 접촉과 비디오 매개 커뮤니케이션의 차이에서 기인한 것으로 해석된다. 본 연구의 사례가 비대면 의사-환자 커뮤니케이션의 중요성을 환기하고, 포스트 코로나 시대에 대비한 원격 의료 면담 훈련법 개발로 확장될 수 있기를 기대한다.

Keywords

I. 서론

2020년의 시작과 함께 중국 우한에서 창궐한 신종코로나바이러스 감염증(이하 코로나19)이 대유행으로 번지면서 강의실, 교단, 책걸상으로 상징되던 전통적인 대학 교육 현장은 각종 온라인 플랫폼이라는 가상공간으로 한순간에 옮겨갔다[1].

국내 의과 대학도 예외는 아니다. 한국 의과대학·의학전문대학원협회가 지난해 2월에 공표한 ’지역 사회 감염 확산 저지를 위한 집단 강의 실습 중지 권고안’에 따라 기초와 임상 등 모든 의학 교육이 비대면으로 전환되면서, 의료 면담 실습 교육도 온라인 방식으로 변형해야 하는 갑작스러운 도전에 직면하게 되었다[2].

자연적 재해나 사회적 재난 같은 비상 상황 시 교수자, 표준화 환자1, 학습자 등이 공간적으로 분리된 상태에서 교육을 이어 나가는 ‘긴급 비대면 수업 (Emergency Remote Teaching, 이하 ERT 수업)’은 교수 자와 학습자의 시ㆍ공간적 거리를 고려한 제도적 장치인 전통적 원격 교육과는 달리, 면대면 수업 (Face-to-Face Teaching, 이하 FTF 수업) 장면의 교육 콘텐츠를 전달 방식만 비대면으로 변환한 방식이므로, 원래의 수업에서 목표로 한 학습 효과를 내지 못할 가능성이 있다고 지적한다[3-7].

의과 대학생들을 대상으로 하는 의료 면담 술기 실습 교육은 소그룹 형 참여 훈련[8], 동료 평가 [9-11], 학생 간 모의 진료(peer role-play) 영상 제작[12][13], 표준화 환자와의 환자-의사 역할극(simulated patients role-play)[14][15] 등의 임상 현장을 모사(模寫)한 다양한 프로그램을 통하여 진단과 치료에 필요한 환자의 신체적ㆍ심리적ㆍ사회적 정보를 수집하고, 환자와의 라포를 형성하는 등의 의료 커뮤니케이션 기법을 훈련하는 경험적 학습 과정이다[16][17].

ERT 수업 주체 간의 상호작용은 전화, 이메일, 메신저, 컴퓨터, 모바일 등의 매체가 반드시 개입되는데, 이러한 원격 매체는 각각 고유의 특성에 따라 전달 할 수 있는 정보의 양과 종류에 차이가 있다[18]. 의료 면담 실습수업은 학생들이 동료 혹은 표준화 환자와의 지속적이고 반복적인 대면 상호 작용을 통해 언어적 정보와 비언어적 단서를 주고받는 감각과 능력을 훈련하는 과정이므로, 실습 시의 커뮤니케이션 수단이 면대면 접촉에서 원격 매체로 바뀌어도 기존 교육이 효과적으로 지속하는지 여부는 반드시 검토되어야 할 문제이다. 그러나, 코로나19 이후의 ERT 의학 교육 관련 연구에서는 동영상을 통한 이론 강의[19], 화상 임상 교육[20][21] 등에 대해 보고되었지만, 아직까지 국내외 모두 ERT 의료 면담 실습의 효과에 대해 연구된 바는 없다.

이러한 필요성에 따라, 본 연구에서는 부산 P 의과대학에서 화상 회의(video conferencing)방식으로 실시한 ERT 의료 면담 실습수업의 운영 과정과 교육 지속 효과에 대하여 소개하고, 이를 바탕으로 포스트 코로나 시대에서의 의료 면담 실습 교육에 대하여 논하고자 한다. 그 구체적인 내용은 다음과 같다.

첫째, ERT 전환 이후의 의료 면담 실습수업 구성을 소개한다.

둘째, 화상 의료 면담 실습수업 운영 과정을 표준화 환자 인터뷰를 통해 기술한다.

셋째, 화상 실습으로 학습한 학생들의 학업 성적을 기존 학생들의 성적과 통계적 방법으로 비교 분석하여 ERT 수업의 교육 지속 효과를 가늠한다.

II. ERT 의료 면담 실습수업의 구성

본 연구의 대상 과목인 부산 P 의과대학의 ‘의료 면담법’ 강의는 의대생의 공감적 커뮤니케이션 능력 배양을 목적으로 하는 의사 - 환자 역할극 실습 중심의 의료커뮤니케이션 술기 실습 교육(communication skills training for medical students) 이다. 교수자의 지도로 학생과 표준화 환자가 주체가 되어 강의실에서 동료 간 역할극 및 표준화 환자 모의 면담 프로그램을 통해 면대면 대인 상호 작용을 연습하는 현장 참여형 실습으로 진행된다.

그러나, 정부의 코로나19 방역 지침에 부응하여 ‘의료 면담법’ 강의도 수업의 내용과 구조는 기존의 방식대로 유지한 상태에서 교수학습방식만 온라인으로 전환한 ERT 수업 체제를 2020년 1학기의 강의부터 전면개시하게 되었다.

전체 학사 일정과 강의는 P 대학의 스마트 교육 플랫폼인 ‘PLATO’를 통해 이루어졌으며, 교수자의 이메일주소를 공유하고 수업 전용 SNS 대화방을 개설하여 교수자와 학습자 간의 소통 창구를 별도로 마련하였다. 이러한 원격 소통 장치를 통한 쌍방향 상호작용은 학습자에 대한 교수자의 영향력을 높이고, 교육적 지원을 개별화하는 역할을 한다[22].

ERT 수업은 P 의과 대학 멀티미디어 실에서 교수자, 표준화 환자 그리고 수업 진행 스텝들이 참여한 가운데 PLATO와 화상 회의 프로그램인 zoom(이하 zoom)을통해 원격 학습자에게 중계되었다. 물리적으로 떨어져 있는 다수 참여자의 음성과 영상이 실시간ㆍ쌍방향으로 교환되는 화상 회의(video conferencing) 커뮤니케이션 환경에서는 발화자와 수신자 간의 즉각적인 피드백이 가능하고, 다양한 비언어적 단서의 교환이 이루어지므로, 의사 소통 과정에서 느낌과 감정을 면대면 경험과 유사한 수준으로 표현할 수 있어[23-26], 온라인 의학교육[27] 및 온라인 진료[28][29]에 적합한 수단이다.

원격 중계 센터 입실자는 모두 방역 지침에 따라 손 소독과 열 체크를 하였으며, 원격 학습자들과 커뮤니케이션을 하는 표준화 환자는 사전에 방역 거리에 따라 배치된 지정 PC 석에서 수업을 진행하였다[그림 1].

CCTHCV_2022_v22n1_431_f0001.png 이미지

그림 1. 의료 면담법 원격 수업 중계실

원격 학습자들이 지정된 zoom의 실습조 대화방에 입장하면, 수업 조교가 대화방을 순회하며 출결 체크를 하였으며, 수업이 시작된 이후에도 학생들에게 화면을 계속 켜 놓도록 공지하여 학생들의 수업 참여 상태가 실시간으로 확인될 수 있게 하였다.

1. 동료 역할극 및 동료 평가

본 연구의 대상인 ‘의료 면담법’ 강의에서는 역할극 상황에 대한 학습자들의 집중도를 높이고, 수행에 대한 다양한 피드백을 제공하기 위해 동료 역할극과 동료 평가를 병행 실시해오고 있다.

의료 면담 술기 교육에서의 동료 역할극(peer role-play)은 학생들이 의사와 환자의 관점을 모두 경험할 수 있는 학습 방법으로, 학습자들의 임상 대처 능력 향상을 위한 시뮬레이션 기반 의학 교육(SBME) 의일환이다[30][31]. 한편, 동료 평가(peer assessment) 는 학습자가 평가자의 시각을 가져 봄으로써 학습 내용과 평가 과정에 대해 새롭게 바라볼 수 있으며, 조별 활동일 경우 여러 동료에게서 오는 피드백을 통해 학습 문제에 다양한 시각을 얻을 수 있는 학습 촉진 효과가 있어[32], 의학 교육에서도 각 분야에서 활용된다[33-36].

∙기본 실습수업 형태

각 실습조를 단위로 진행되며, 매 차시 당일 학습 단원의 내용을 각색한 시나리오에 따라 조원 중 의사 역할자와 환자 역할자가 1대 1 의료 면담 역할극을 하는 동안, 나머지 2명~3명은 이를 평가하고 피드백한다. 의사 역할과 환자 역할은 모든 조원이 번갈아 맡으며, 실습 시간 동안 이러한 과정을 계속 반복한다.

∙ERT 실습수업 방식

원격의 학생들이 수업 전용 SNS를 통해 공지된 링크를 따라 zoom에 생성된 각 실습조 회의 방으로 입장한 후, 접속한 조원 4~5인과 주어진 시나리오에 따라 동료실습 및 평가를 진행하였다[그림 2]. 시나리오 문서와 동료 평가지의 내용은 면대면 수업과 동일하게 구성되었으며, 구글 웹 문서를 통해 배포하여 학습자들이 온라인 상태로 이용할 수 있게 설계하였다.

CCTHCV_2022_v22n1_431_f0002.png 이미지

그림 2. 온라인 동료 역할극 실습 화면

2. 표준화 환자 모의 면담 및 평가

표준화 환자(standardized patients or simulated patients)는 특정한 의료적 상태의 환자를 현실감 있게 묘사하도록 훈련된 일반인으로서, 의료 면담 실습 시 학생의 상대 역할을 담당하고 피드백을 제공하는 중요한 역할을 한다[37]. 본 연구 대상 과목에서는, 진정성 있고 일관된 심신의 상태를 더 효과적으로 표현할 수 있는 표준화 환자 역할 전문 연극인을 학생들의 실습파트너로 초빙하였다. 이들은 ‘의료 면담법’ 수업에서 학생들의 실습 파트너이자 단원별 테스트 및 실기 고사에서 실기 수행을 평가하는 평가자의 역할을 한다.

∙기본 실습수업 형태

표준화 환자와의 모의 면담 실습은 연습과 평가로 구성되며 수업 전 과정에서 단계별 실습 4회, 총 실습 1 회로 총 5회 실시된다. 실습조별로 진행되며, 10명의 표준화 환자가 연습 시에 조당 1명, 평가 시에는 조당 2~3명이 순환 투입되어 미리 배정된 학생들과 1대1 모의 면담을 한다. 수행에 대한 피드백은 연습 후에 주어지며, 평가 결과는 단원별 테스트의 점수로 학생 성적에 반영된다. 표준화 환자는 매 차시 강의가 시작되기 전에 별도로 마련된 대기실에서 교수자로부터 훈련 진행에 대한 교육을 받으며, 모의 면담의 설정과 내용은 당일의 훈련 지침에 따른다.

∙ERT 실습수업 방식

표준화 환자 교육은 원격중계센터에서 이루어졌으며, 수업 진행을 위한 화상 회의 프로그램과 웹 문서 사용법 설명이 기존 교육 내용에 추가되었다. 교육이 끝난 후 표준화 환자들은 안내된 링크에 따라 온라인 실습 방을 순차적으로 방문하며 조원과 화상 면담을 진행하였다[그림 3]. 표준화 환자 평가는 내용과 방법은 기존수업과 동일하나, 평가지는 구글 웹의 온라인 문서를 이용하였다. 표준화 환자는 면담을 이어가면서 동시에 상대 학생의 점수를 평가지의 체크리스트에 표시하는데, 원격 수업에서는 면담 시 화면을 주시해야 하므로 웹 문서를 실습방 창 옆에 띄워 시선 이탈을 최소화하고자 하였다.

CCTHCV_2022_v22n1_431_f0003.png 이미지

그림 3. 온라인 표준화 환자 모의 면담 실습 화면

III. ERT 의료 면담 실습수업 운영 과정: 표준화 환자 인터뷰

1. ERT 실습수업 경험

본 연구에서는 ERT 의료 면담 실습의 맥락을 설명하고, 수업 운영에 따른 효과 및 문제점을 기존 FTF 수업과 비교하여 확인하고자 표준화 환자를 대상으로 심층 인터뷰를 하였다. 표준화 환자는 원격 중계 센터 현장의 수업 운영진인 동시에, 온라인 일선(frontline)에서 원격 학습자의 파트너 및 평가자라는 다양한 역할을 하고 있다. 또한, 이들 중 대부분은 다년간 해당 수업에 계속 참여해 오고 있어 기존 수업과 ERT 수업을 모두 경험하였으므로, 표준화 환자의 피드백은 화상 의료 면담 실습의 맥락과 학생의 반응에 대한 자세한 이해를 제공해 줄 수 있을 것이다.

인터뷰는 매회 실습수업 종료 후 교수자의 진행으로 다과가 제공된 편안한 분위기에서 그룹으로 진행되었으며, 배석한 수업 조교 5인이 내용을 기록하였다. 10 명의 표준화 환자 중 기존 FTF 수업부터 계속 실습에 참여해 온 8인을 대상으로 하였는데, 응답자의 연령은 30대 중반에서 50대 중반에 속하였으며, 성별은 남성과 여성이 5대 3의 비율로 구성되었다[표 1].

표 1. 표준화 환자 정보 및 인터뷰 대상여부

CCTHCV_2022_v22n1_431_t0001.png 이미지

인터뷰에서는 코로나 19 상황으로 인해 대중들에게 익숙해진 ‘비대면’으로 실습방식을 표현하였으며, 두 개의 질문을 단계적으로 사용하였다. ‘먼저 ‘비대면 ’으로수업해 보시니까 어떠셨어요?’라고 질문하여 수업 당시의 맥락을 환기하게 했고, 이어 ‘직접 보고 하는 것과 비대면으로 하는 것에 차이가 있나요?’라는 수업 방식 간 비교를 요청하였다. 수집된 인터뷰 내용은 ‘화상 의료 면담의 느낌’, ‘원격 중계 과정에서 발생한 문제점’의두 가지 범주의 6개 주제로 묶어 정리하였다.

1.1 화상방식의 의료 면담 실습에 대한 느낌

1) 주목도와 집중도가 높음

FTF 실습 시에는 대상 학생과 1대 1로 얼굴을 마주 보며 대화를 이어가는 동안 실습조의 다른 학생들은 옆에서 관찰하고 기록하는 구조로 수업이 진행되었으나, 화상 실습에서는 대화방에 입장해 있는 실습조 학생 4~ 5인의 얼굴이 모니터 앞의 표준화 환자에게 집중되는 구도에서 수업이 진행된다[그림 3]. 화상 회의 프로그램 창의 이러한 구조로 인해 대화 상대의 메시지에 강하게 집중하게 된다는 의견이 있었다.

“화면 속 학생들이 전부 내 얼굴을 빤히 쳐다보고 있더라고요. 강의실에서는 사람이 전체가 다 보이니까 서로 표정도 잘 보이고 몸짓도 보면서 이야기를 하잖아요. 그런데, 컴퓨터로 하니까 큰 화면에 내 얼굴이 꽉 차고 그 위로 학생들 얼굴만 있는 화면이 떠 있으니까 부담되기도 하고…... 그렇지만 대화에 집중은 더 잘되는 것 같아요. 말하다가 조금이라도 틀리면 안 될 것 같아서 더 신경 써서 말하게 되네요.” (표준화 환자 A씨, 50대 여성)

2) 대화자 간의 눈 맞춤이 어려움

화상 실습 시 표준화 환자들이 가장 자주 언급한 문제는 화면 가득 서로의 얼굴이 나오므로, 상대에게서 자신이 강하게 응시받고 있다는 느낌은 들지만 정작 상대 학생과 눈을 맞추기 힘든 경우가 많다는 점이었다. 학생들이 화상 면담 참여에 이용한 기기는 데스크톱, 노트북, 모바일 혹은 태블릿 등으로 다양하였는데, 기기에 따라 화면과 카메라의 위치가 다른 것으로 인하여 대화를 진행하는 쌍방이 눈을 맞출 수 없는 문제가 발생한 것으로 파악되었다.

“시선이 안 마주치는 학생하고 면담할 땐 솔직히 답답하고 곤란해요. 커닝을 하는지 카메라 때문인지 헷갈리기도 하고…. 그렇다고 학생이 카메라만 쳐다보면 제 표정을 못 볼 테니 환자 감정을 못 읽게 되니까 그렇게 할 수는 없죠. 직접 보면서 할 때는 눈도 마주치고 얼굴표정도 다 볼 수 있고, 저도 제스처도 많이 사용할 수 있었는데 컴퓨터로 하면 아무래도 그런 게 좀 아쉽다고 할까요.” (표준화 환자 B씨, 30대 남성)

3) 상호작용 시의 생동감과 재미가 다소 떨어짐

원거리에 있는 상대방과 화상을 통해 의료 면담을 진행하는 것에 거부감이나 생경함 등 심리적 불편함이 발생할 수 있을 것이라는 교수자의 당초 우려와는 달리, 표준화 환자들은 온라인 대화에 빨리 적응을 하였으며 원활한 수업을 이어갔다. 그러나, 원격으로 면담을 이어가는 것이 면대면으로 학생들과 강의실 현장에서 상호작용하는 것 보다 재미가 없다는 목소리가 있었다.

“학생들과 대화를 하기는 하는데 아무래도 강의실에서 직접 보고 하는 것보다는 멀게 느껴지더라고요. 첨엔 좀 대화가 겉도는 느낌? 좀 어색하기도 했고. 그래서 얘기 시작하기 전에 학생한테 손을 흔들어 달라고 하던가, 제가 학생 인사에 몸짓으로 크게 반응을 하던가 이런 식으로 서로 실시간으로 반응을 했어요.” (표준화 환자 C씨, 50대 남성)

1.2. 원격 중계 과정에서 발생한 문제점

1) 면담 시 원격 중계 센터 내 표준화 환자 목소리의 상호 간섭 발생

방역 지침 준수와 소리 간섭을 고려하여 표준화 환자가 쓸 좌석의 거리를 멀리 띄워 배치하였으나, 일부가 수업을 진행하는 과정에서 환자 역할에 몰입하다 보면 목소리가 커지거나 톤이 높아지는 경우가 있어 주변 자리에서 수업을 진행하던 사람이 자리 변경을 요청하기도 하였다.

“제 앞에 계시는 선생님 목소리가 워낙 크셔서… 특히 구토 증상 연기하셨을 때 구역질 소리가 제 헤드폰을 뚫고 들어오는 거예요. 너무너무 열정적으로 연기하시는 건 좋지만 구역질 소리가 계속 들리니까 제 속도 불편한 것 같아서 힘들었어요.” (표준화 환자 E씨, 40대 여성)

2) 원격 학습자의 통일되지 않은 학습 장소가 대화 방해 요소로 작용되기도 함

원격으로 실시되는 수업이므로, 학생들은 각자 화상대화에 참석하기 좋다고 생각하는 장소를 선택하여 실습수업에 참여하였다. 이 때문에 표준화 환자가 학생과 의료 면담을 주고받는 가상공간마다 빛의 양과 각도, 주변 소음, 분위기 등이 달라 원활하게 대화를 이어가고 상대의 표정을 관찰하는 것이 어려운 경우가 발생하기도 했다.

“어떤 학생은 어두운 배경에 얼굴에만 조명이 들어오니까 얼굴만 이렇게 크~게 보이고 몸이나 손짓이 잘 안보이기도 했고, 또 어떤 경우는 역광이라 거의 실루엣만 보이는 학생도 있었거든요. 앵글 안 맞는 정도는 조정해 보라고 할 수 있는데, 컴퓨터 위치나 집 구조 같은 거는 어떻게 안되니까… 그냥 학생들이 하는 말만 집중했어요.” (표준화 환자 D씨, 40대 남성)

3) 학습자의 원격 시스템 사용 착오

‘의료 면담법’과목을 전례가 없는 화상 실습수업으로 전환하는 과정에서 가장 염려했던 부분 중 하나가 시스템의 순조로운 운용이었다. 화상 회의 방식(video conferencing) 교육은 교류 작용 참여자 간의 신속 정확한 상호작용을 가능하게 하고, 면대면 상황과 동일한 경험을 제공하지만[38], 네트워크 문제로 강의 진행에 차질을 빚을 수도 있으며, 원격 시스템 사용이 충분히 훈련되지 못한 교수자 혹은 사용자는 교육의 질을 저해시킬 수 있다[39]. 특히, ‘의료 면담법’ 에 참여한 표준화 환자 개개인의 컴퓨터 프로그램 친숙도와 활용 정도를 파악하기 어려우므로, 원활한 수업 진행을 위하여 충분한 시간을 들여 장치와 프로그램 사용에 대한 사전교육을 실시하였다. 수업은 전체적으로 원활하게 진행되었으나, 실습조 회의방 개설과 진·출입 부분에서 학생들이 만든 예기치 않은 오류로 다소간의 지체가 발행하기도 하였다.

“화면에 띄워진 링크를 타고 실습조를 클릭했는데, 방에 안 들어가지는 거예요. 제가 뭘 잘못해서 그런 줄 알았는데, 알고 보니 학생들이 방에 비밀번호를 걸어 놔서…. (웃음). 그거 말고는 문제가 없었어요. 혹시 제가 실수할까 봐 첨엔 약간 긴장했는데, 교수님이 설명도 잘해 주시고, 다른 표준화 환자 선생님들이 옆에서 가르쳐주기도 해서 괜찮았어요.” (표준화 환자 F씨, 40대 여성)

2. ERT 실습수업 경험에 대한 논의

원격 실습수업에 참여한 표준화 환자들은 학생들과의 화상 면담에 대해 현장에서 진행하던 FTF 상호작용과 비교하여 상호작용 시의 생동감과 재미가 다소 떨어지며, 눈 맞춤을 하기 어려우나, 상대 학생에 대한 집중도는 높았다는 의견을 내놓았다. 비디오 매개 커뮤니케이션(video mediated communication: 이하 VMC) 은 FTF 대화 보다 시각적·맥락적 정보가 부족하여 화면 속 상대를 응시하는 시간이 더 길고[40], 카메라와 화면 사이의 물리적 편차인 ‘시차(視差:parallex)’로 인해 대화 상대와 시선을 맞출 수 없는 조건을 가지고 있다[41]. VMC의 이러한 한계로 인해 표준화 환자들은 원격 학습자와 눈 맞춤을 할 수 없는 상황임에도 불구하고 화면 속 상대에게 더 집중하게 되며, 학생들이 자신을 강렬하게 응시한다고 느낀 것으로 보인다. 한편, 원격 수업 중계 부분에서는 시스템상의 오류와 표준화 환자를 포함한 수업 운영진의 조작 실수는 발생하지 않았으나, 원격 학습자의 학습 장소 선정과 시스템 사용 미숙 등의 문제가 발견되었다. 이는 FTF 수업과는 달리 수업 운영진이 현장에서 즉각적으로 도움 줄 수 없는 원격 수업의 본질적 한계에서 비롯된 것으로 사료된다.

IV. ERT 의료 면담 실습수업의 교육 지속 효과 분석: 학업 성취도

ERT 전환 후의 의료 면담 실습수업 효과의 지속 여부를 가늠하기 위해, ERT 수업 시와 FTF 수업 시(기존수업)의 수강생 학업 성취도 차이를 통계적 방법으로 분석하였다. 교육 목적의 달성도를 나타내는 학업 성취도는 학습을 통해 길러진 능력으로 정의되며[42], 학교 현장에서의 학습 성과를 측정하는 데 있어 가장 대표적인 기준이다[43]. 학업 성취도 산출에는 일반적으로 시험 성적[44-47], 과제물[48], 토론 참여[49], 동료 평가 [50] 등이 포함되며, 교육 목적 및 수업 운영의 특성에 따라 평가 항목이 구성된다[51]. ‘의료 면담법’은 대인 상호작용 훈련 프로그램을 통하여 의료 커뮤니케이션능력을 배양하는 것을 목적으로 하는 과목이다. 그러므로, 해당 교과 과정의 학점 산출 항목 중 의료 면담 술기 수행 수준을 반영하는 단원별 테스트와 기말고사의 성적을 분석 자료로 채택하였다.

1. 자료원의 특성

본 연구의 자료는 부산 P 의과 대학의 본과 1학년 과정에 개설된 ‘의료 면담법’ 과목을 이수한 학생들의 최종 성적 파일에서 담당 교수의 승인 하에 수집하였다. ERT 수업 자료로 코로나 19 사태 이후 첫 번째 수업인 2020년의 131명(남학생 76명, 여학생 55명)의 성적이, FTF 수업 자료로는 ERT 직전 해인 2019년에 동일한 과정을 이수한 127명(남학생 83명, 여학생 44명)의 성적이 쓰였다[표 2].

표 2. ERT 수업과 FTF 수업의 전체 학생 구성

CCTHCV_2022_v22n1_431_t0002.png 이미지

2. 시험 설명 및 성적 산정 방법 ∙단원별 테스트

단원별 테스트는 모의 면담 실습수업이 있는 차시마다 이행된 표준화 환자 평가 점수를 평균 처리한 성적을 말한다. 1명의 표준화 환자가 학생 의사 1명과 1 대 1로 모의 면담을 진행한 후 상대 학생의 수행 정도를 평가한다. 평가지 당 문항 수는 5~10개 사이이며, 최저 0점에서 최고 3점의 범위를 가지는 각 문항의 합산이 최종 성적에 반영된다. 단원별 테스트는 수업 시간에 실시되므로, 시험 역시 ERT 수업 시에는 비대면으로, FTF 수업 시에는 대면으로 치러진 특징이 있다.

∙기말고사

기말고사는 전 차시 수업이 종료된 후 시행하는 시험으로, 공감적 의료 커뮤니케이션 기술을 전체적으로 종합하여 모의 면담에 적용하는 숙련도와 완성도가 평가 기준이 된다. 해당 시험은 응시자, 표준화 환자, 객관 평가자 각 1인씩 3명이 PBL 룸에 입실하여 넓은 간격을 두고 치러지는 시험이므로, ERT 수업 시나 FTF 수업 시 모두 면대면 방식으로 실시하였다. 응시자인 학생 의사와 표준화 환자가 1 대 1 모의 면담을 하는 동안 객관 평가자는 의료 커뮤니케이션 기술을, 표준화 환자는 공감적 태도와 표현의 수행 정도를 5점 척도로 구성된 문항에 표시한다. 최종 성적은 평가 주체들이 부여한 점수의 합산으로 반영된다.

3. 분석 방법

해당 교과 과정의 학점 산출 항목 중 의료 상호 작용 술기 수행 수준을 반영하는 단원별 테스트와 기말고사의 성적을 분석 자료로 채택하여 다음의 분석을 하였다.

1) 단원별 테스트와 기말고사의 전체 성적 특성 및 수업 방식에 따른 차이를 기술 통계와 독립 표본 T 테스트로 검정하였다.

2) 단원별 테스트와 기말고사의 성적 구간별 특성 및 수업 방식에 따른 관계 및 차이를 기술 통계와 교차분석으로 알아보았다.

4. 분석 결과

4.1 단원별 테스트와 기말고사의 수업 방식 간 전체성적 차이

단원별 테스트와 기말고사의 성적 차이를 알아보기 위하여 먼저 두 시험에 관한 기술 통계를 시행하였다. 그 결과, 단원별 테스트의 최저 점수는 ERT 수업이 40 점, FTF 수업이 46.7점이었으며, 최고 점수는 만점인 100점이었다. 평균 점수는 ERT 수업이 76.5±14.1, FTF 수업이 76.8±12.0로 약 0.3점의 차이가 있었다. 기말고사의 경우, 최고 점수는 두 가지 방식의 수업에서 모두 만점이 차지하였으며, 최저 점수는 ERT 수업 63.3점이며, FTF 수업은 73.3점인 것으로 나타났다. 평균 점수는 ERT 수업을 들은 학생들이 89.3±8.2점으로, FTF로 수업을 들은 학생들의 92.8±6.3점과 약 3.5점의 차이를 보였다.

기술 통계 결과에서 나타난 두 시험의 수업 방식 간 성적 차이에 대한 통계적 유의성 검정을 위해 ‘단원별 테스트와 기말고사는 수업 방식에 따라 성적의 차이가 있다’라는 연구 가설을 각각 설정하고 수업 방식을 독립 변수로, 학생 성적을 결과 변수로 하여 독립 표본 T 테스트를 하였다.

유의 수준 0.05에서 검정한 결과, 단원별 테스트의 차이는 유의하지 않았으며, 기말고사에서는 유의 확률이 0.000으로 나타나 연구 가설이 채택되었다. 따라서, 수업 방식에 따른 단원별 테스트의 차이는 없었으나, FTF 수업 후의 기말고사를 치른 학생들이 ERT 수업 후 같은 평가를 받은 학생들에 비해 평균 2.58점 더 높은 성적을 받은 것이 통계적으로 확인되었다[표 3].

표 3. 수업 방식에 따른 전체 학생의 단원별 테스트와 기말고사

CCTHCV_2022_v22n1_431_t0003.png 이미지

p<.05, **p<.01

4.2 단원별 테스트와 기말고사의 성적 구간 별 학생분포 차이

학습자의 학업성취와 관련이 있는 학습 환경 및 조건은 특히 학업성취 수준별로 다르게 작용할 수 있음으로 [52], 본 연구에서는 두 가지 시험의 성적을 각각 상중하 집단으로 나누어 수업 방식에 따른 차이를 정교하게 탐색하여 보았다.

단원별 테스트와 기말고사 성적의 사분위수를 각각 구한 후, 25% 이상의 점수는 상위권, 75% 이하의 점수는 하위권으로, 나머지 50%를 중위권으로 분류하여 성적 구간을 나누었으며, ERT 수업과 FTF 수업 간의 구간별 성적 분포 차이는 ‘단원별 테스트와 기말고사의 성적 구간별 학생 수는 수업 방식에 따라 다를 것이다 ’를연구 가설로 설정한 후 교차분석으로 검정하였다.

분석 결과, 단원별 테스트의 성적 구간별 학생 수는 수업 방식과 독립적이나[표 4], 기말고사에서의 두 변수 간의 관계는 유의한 것으로 검정 되었다(χ2=11.789, p=.003).

표 4. 단원별 테스트의 수업 방식 간 성적 구간별 학생 분포(n=258) 수업 방식

CCTHCV_2022_v22n1_431_t0004.png 이미지

p<.05, **p<.01

분할표에 의하면 기말고사의 하위권에는 ERT 수업과 FTF 수업이 42명(32.1%)과 23명(18.1%), 중위권에는 72명(55.0%)과 69명(54.3%)이 각각 해당하였으며, 상위권의 경우에는 ERT 수업에서 17명(13.0%)이, FTF 수업은 35명(27.6%)의 학생이 속해 있었다[표 5]. 즉, ERT 수업 후의 기말고사는 하위권과 중위권에 속하는 학생의 비율이 높았으나, FTF 수업 후의 기말고사에서는 상위권 학생의 비율이 높은 것으로 나타났다.

표 5. 기말고사의 수업 방식 간 성적 구간별 학생 분포 (n=258)

CCTHCV_2022_v22n1_431_t0005.png 이미지

p<.05, **p<.01

5. 분석 결과에 대한 논의

ERT 의료 면담 실습수업의 수강생들은 온라인으로 실시한 단원별 테스트 성적에서 FTF 수업 수강생과 비슷한 성적을 받았으나, 시험장에서 실제 표준화 환자와 대면하여 치른 기말고사의 성적은 낮은 것으로 나타났다. 학업 성취 구간을 상중하로 나누어 살펴보아도 비슷한 양상을 보였다. 단원별 테스트에서는 성적 구간별 학생 수의 분포가 수업 방식에 따라 다르지 않았다. 그러나, 기말고사는 ERT 수업이 FTF 수업보다 하위권과 중위권에 포함된 학생이 많고, 상위권에 포함된 학생이 적었다.

VMC 매체는 원격 미디어 중에서 면대면 접촉과 가장 유사하다고 평가받지만, 그럼에도 불구하고 화상 회의 프로그램을 매개로 하여 생성된 비언어적인 행동은 육안을 통해 인지하는 행동과 완전히 일치하지는 않는다. 면대면 접촉은 의사소통 참여자가 상호 동일한 환경에서 물리적으로 공존하며 오감을 이용하여 상대의 목소리와 몸짓, 분위기에서 나오는 언어적ㆍ준 언어적 정보 및 비언어적 단서를 폭넓게 인지하고 사용할 수 있는 채널이다[53]. 그러나, VMC 매체를 통해 수신되는 원격 상대방에 대한 정보는 특정 각도에서 부분적으로 관찰할 수 있으며, 상대의 신체 및 주변 환경 전체를 볼 수 없는 한계가 있어, ICT 기기 및 프로그램이 매개하는 과정에서 왜곡되기도 하여, VMC와 FTF의 대인 상호 작용은 다르게 일어날 가능성이 있다[54][55].

매체에 따른 커뮤니케이션 효과의 차이는 의료 커뮤니케이션 상황에서도 적용된다. 선행 연구에 따르면, VMC 진료 시에는 모니터 상대방의 모습이 화면 전환에 따라 인터벌을 두고 전송이 되는 현상으로 인해 환자의 언행, 특히 비언어적 표현에 대한 의사의 반응이 적시에 전달되지 못하여, 대면 진료 시에 비해 상담 시간이 짧고, 공감 발화 및 칭찬 발화 등 환자 중심적 행위의 출연 빈도가 낮은 것으로 분석되었다. 또한, 의사가 진료 기록과 카메라 응시를 동시에 할 수 없어 환자에게서 시선을 떼는 시간이 많은 등 온라인 환경으로 인한 일련의 문제가 나타났다[56].

이러한 논리에 근거하여, 본 연구의 통계 분석 결과에서 나타난 수업 방식 간 학업 성취 양상은 실습수업과 실기시험에 사용된 매체의 차이에 기인한 것으로 추정할 수 있다. 기존의 수업을 수강한 학생들은 두 가지 시험 모두 ‘대면 실습- 대면 시험’의 조건에서 성적을 받았지만, ERT 수업을 들은 학생들은 ‘화상 실습 – 화상 시험’의 단원별 테스트와 ‘화상 실습 – 대면 시험’의기 말고 사로 평가를 받게 되었다. ERT 수업 수강생이 화상을 통하여 동일한 표준화 환자들과 동일한 내용으로 여러 차례 한 면담 한 경험이 있더라도 모니터 밖에서 실제로 표준화 환자와 대면한 상태에서의 면담 진행에는 또 다른 사회적 맥락과 정보가 요구되기 때문에 상대적으로 낮은 평가를 받은 것으로 해석된다.

V. 결론

본 연구는 일개 의과대학에서 실시한 화상 회의 방식의 ERT 의료 면담 실습수업 사례를 보고하는 것을 주목적으로 하여, ERT 도입 후의 수업 운영 과정과 교육 지속 효과를 표준화 환자 인터뷰와 학생들의 학업 성취도에 대한 통계 분석을 통하여 각각 확인하였으며, 이를 대인 커뮤니케이션 매체 속성 별 차이로 논하였다.

이러한 작업은 두 가지 실제적 의의를 가질 것으로 사료된다.

첫째, 현재 전 세계 사람들의 발을 묶어 두고 있는 코로나 19 사태처럼, 사회적 재난이나 자연재해로 인한 비상 상황이 재출현할 경우의 의료 면담 실습 교육 지속에 대한 참고 자료가 될 수 있다.

둘째, 원격 의료 면담 술기 교육에 대한 가능성을 타진하고 원격 실습 운영에 대한 기초적인 아이디어를 제공할 것이다.

그러나, 본 연구에서 논의한 비대면 의료 면담 실습사례와 수업 효과는 감염병 대유행이라는 미증유의 상황 하에 실시된 ERT에 관한 연구이므로, 일개 대학의 일개 연도 강의라는 단일 사건에 사례가 국한된 태생적인 한계를 가지고 있다. 특히 통계 분석 결과에 대한 논의를 일반화하여 ‘원격 의사-환자 커뮤니케이션을 위한 면담 기법’의 개발로 확장하기 위해서는 원격 교육과 의료 교육, 그리고 커뮤니케이션 등이 융합된 다 학제적 체계에서 반복적인 검증이 필요하다.

많은 전문가들은 이번 코로나19 사태로 강하게 각인된 ‘비상 상황의 일상화’가 고도화된 ICT 기술과 결합하여 ‘비접촉 인간 상호 작용’이 늘어날 것으로 예측한다[57]. 의료 영역에서도 비대면 진료가 접근성, 편의성, 비용의 측면에서 대면 진료에 비해 장점을 가진다는 평가를 받으면서 국외의 임상 현장에의 도입이 점차 늘어나고 있으며[29]. 우리나라의 경우, 코로나19 대비체제로 제한적인 부분에서 비대면 진료를 허용한 이후, 원격 의료의 효용성 및 필요성에 대한 긍정적인 논의가 진행되고 있다[58]. 이러한 물결이 가져올 ‘언택트’ 사회에서, 의사는 전통적인 의료 커뮤니케이션 기술뿐 아니라 원격 의사-환자 커뮤니케이션을 이해하고 이에 맞는 매체를 선택할 수 있는 능력을 갖출 필요가 있으며, 의과 대학에서는 학생이 포스트 코로나 시대를 대비할 수 있도록 관련 교육을 마련하여야 할 것이다.

References

  1. 최바울, 권신정, 이정은, 통계로 본 코로나19 발생 추이와 현황, 통계청 통계개발원, 2020.
  2. http://www.doctorsnews.co.kr/news/articleView.html?idxno=134492
  3. C. Hodges, S. Moore, B. Lockee, T. Trust, and A. Bond, The difference between emergency remote teaching and online learning, Educause Review, 2020.
  4. A. Bozkurt and R. C. Sharma, "Emergency remote teaching in a time of global crisis due to CoronaVirus pandemic," Asian Journal of Distance Education, Vol.98, No.1, pp.1-4, 2020.
  5. K. Karakaya, "Design considerations in emergency remote teaching during the COVID-19 pandemic: a human-centered approach," Educational Technology Research and Development, Vol.1, No.5, pp.295-299, 2020.
  6. S. Affouneh, S. Salha, and Z. N. Khlaif, "Designing Quality E-Learning Environments for Emergency Remote Teaching in Coronavirus Crisis," Med Sci, Vol.11, No.2, pp.1-3, 2020.
  7. F. Ferri, P. Grifoni, and T. Guzzo, "Online Learning and Emergency Remote Teaching: Opportunities and Challenges in Emergency Situations," Societies, Vol.10, No.4, pp.2075-4698, 2020.
  8. R. Sutherland, K. Reid, D. Kok, and M. Collins, "Teaching a fishbowl tutorial: sink or swim?," The clinical teacher, Vol.9, No.2, pp.80-84, 2012. https://doi.org/10.1111/j.1743-498X.2011.00519.x
  9. R. Ladyshewsky and E. Gotjamanos, " Communication skill development in health professional education: the use of standardized patients in combination with a peer assessment strategy," Journal of allied health, Vol.26, No.4, pp.177-186, 1997.
  10. D. Nestel and T. Tierney, "Role-play for medical students learning about communication: guidelines for maximising benefits," BMC medical education, Vol.7, No.1, pp.1-9, 2007. https://doi.org/10.1186/1472-6920-7-1
  11. R. L. Hulsman, J. F. Peters, and M. Fabriek, "Peer-assessment of medical communication skills: the impact of students' personality, academic and social reputation on behavioural assessment," Patient Education and Counseling, Vol.92, No.3, pp.346-354, 2013. https://doi.org/10.1016/j.pec.2013.07.004
  12. T. Jacobsen, A. Baerheim, M. R. Lepp, and E. Schei, "Analysis of role-play in medical communication training using a theatrical device the fourth wall," BMC Medical Education, Vol.6, No.1, pp.1-8, 2006. https://doi.org/10.1186/1472-6920-6-1
  13. A. Gelis, S. Cervello, R. Rey, G. Llorca, P. Lambert, N. Franck, and B. Rolland, "Peer Role-Play for Training Communication Skills in Medical Students: A Systematic Review," Simulation in Healthcare, Vol.15, No.2, pp.106-111, 2020. https://doi.org/10.1097/SIH.0000000000000412
  14. H. S. Barrows, "An overview of the uses of standardized patients for teaching and evaluating clinical skills. AAMC," Academic Medicine: Journal of the Association of American Medical Colleges, Vol.68, No.6, pp.443-453, 2003. https://doi.org/10.1097/00001888-199306000-00002
  15. L. A. Wind, J. Van Dalen, A. M. Muijtjens, and J. J. Rethans, "Assessing simulated patients in an educational setting: the MaSP (Maastricht Assessment of Simulated Patients)," Medical Education, Vol.38, No.1, pp.39-44, 2004. https://doi.org/10.1111/j.1365-2923.2004.01686.x
  16. F. D. Duffy, G. H. Gordon, G. Whelan, K. Cole-Kelly, and R. Frankel, "Assessing competence in communication and interpersonal skills: the Kalamazoo II report," Academic Medicine, Vol.79, No.6, pp.495-507, 2004. https://doi.org/10.1097/00001888-200406000-00002
  17. L. Dyche, "Interpersonal skill in medicine: the essential partner of verbal communication," Journal of general internal medicine, Vol.22, No.7, pp.1035-1039, 2007. https://doi.org/10.1007/s11606-007-0153-0
  18. 김종기, 한지연, "모바일 SNS 사용이 30~ 40대 기혼여성의 대인관계 강화와 자존감에 미치는 영향: 사용촉진 요인을 중심으로," 정보시스템연구, 제23권, 제1호, pp.53-71, 2014.
  19. M. H. Rajab, A. M. Gazal, and K. Alkattan, "Challenges to Online Medical Education During the COVID-19 Pandemic," Cureus, Vol.12, No.7, pp.e8966-e8966, 2020.
  20. K. C. Shih, J. C. H. Chan, J. Y. Chen, and J. S. M. Lai, "Ophthalmic clinical skills teaching in the time of COVID-19: a crisis and opportunity," Medical education, Vol.54, No.7, pp.663-664, 2020. https://doi.org/10.1111/medu.14189
  21. R. Hilburg, N. Patel, S. Ambruso, M. A. Biewald, and S. S. Farouk, "Medical education during the coronavirus disease-2019 pandemic: learning from a distance," Advances in Chronic Kidney Disease, Vol.27, No.5, pp.412-417, 2020. https://doi.org/10.1053/j.ackd.2020.05.017
  22. M. MOORE, "Three types of interaction," The American Journal of Distance Education, Vol.3, No.2, pp.1-6, 1989. https://doi.org/10.1080/08923648909526659
  23. 오영범, 이창두, "원격화상시스템을 활용한 영어 수업이 수업만족도와 자기효능감에 미치는 영향," 디지털융복합연구, 제10권, 제8호, pp.317-326, 2012. https://doi.org/10.14400/JDPM.2012.10.8.317
  24. 최수정, 강경준, 고일상, "이러닝시스템의 매체풍부성, 매체유용성, 매체경험이 학습자 만족에 미치는 영향," Journal of Information Technology Applications & Management, 제14권, 제2호, pp.27-47, 2007.
  25. J. A. Campbell, "Participation in videoconferenced meetings: user disposition and meeting context," Information & management, Vol.34, No.6, pp.329-338, 1998. https://doi.org/10.1016/S0378-7206(98)00073-1
  26. C. Fullwood, "The effect of mediation on impression formation: A comparison of face-to-face and video-mediated conditions," Applied Ergonomics, Vol.38, No.3, pp.267-273, 2007. https://doi.org/10.1016/j.apergo.2006.06.002
  27. S. Kimura, E. Ooseki, Y. Aburakawa, and M. Yamaguchi, "Evaluation and formulation of the sense of social telepresence in video-mediated communication systems: Contribution of eye contact to enhancing social telepresence," Journal of the Society for Information Display, Vol.29, No.3, pp.179-195, 2021. https://doi.org/10.1002/jsid.976
  28. 최주은, 김유정, 김진영, 이중식, "오프라인 진료실 경험 확장을 위한 온라인 인터랙션 제안," 한국HCI학회 학술대회, pp.354-358, 2017.
  29. S. E. Shaw, L. M. Seuren, J. Wherton, D. Cameron, S. Vijayaraghavan, J. Morris, and T. Greenhalgh, "Video Consultations Between Patients and Clinicians in Diabetes, Cancer, and Heart Failure Services: Linguistic Ethnographic Study of Video-Mediated Interaction," J Med Internet Res, Vol.22, No.5, pp.e18378-e18378, 2020. https://doi.org/10.2196/18378
  30. A. Gelis, S. Cervello, R. Rey, G. Llorca, P. Lambert, N. Franck, and E. Rolland, "Peer Role-Play for Training Communication Skills in Medical Students: A Systematic Review," Simulation in Healthcare, Vol.15, No.2, pp.106-111, 2020. https://doi.org/10.1097/SIH.0000000000000412
  31. H. M. Bosse, M. Nickel, S. Huwendiek, J. H. Schultz, and C. Nikendei, "Cost-effectiveness of peer role play and standardized patients in undergraduate communication training," BMC medical education, Vol.15, No.1, pp.1-6, 2015. https://doi.org/10.1186/s12909-014-0281-2
  32. 배수정, 박주용, "대학수업에서 누적동료평가점수를 활용한 성적산출방법의 타당성," 인지과학, 제27권, 제2호, pp.221-245, 2016. https://doi.org/10.19066/cogsci.2016.27.2.002
  33. 이영미, 오연재, 안덕선, 윤석민, "의학과 학생을 위한 커뮤니케이션 교육과정 시행 경험," 한국의학교육, 제19권, 제2호. pp.171-175, 2007.
  34. L. Brooks, and D. Bell, "Teaching, learning and assessment of medical ethics at the UK medical schools," Journal of Medical Ethics, Vol.43, No.9, pp.606-612, 2017. https://doi.org/10.1136/medethics-2015-103189
  35. C. Roberts, C. S. Jorm, Gentilcore, and J. Crossley, "Peer assessment of professional behaviours in problem-based learning groups," Medical education, Vol.51, No.4, pp.390-400, 2017. https://doi.org/10.1111/medu.13151
  36. 조정준, 강성우, 이승준, 정수정, 이재호, "해부실습에 서 동료평가에 대한 의과대학생들의 인식과 필요성," 해부.생물인류학, 제32권, 제3호, pp.109-113, 2019.
  37. L. A. Wind, J. Van Dalen, A. M. Muijtjens, and J. J. Rethans, "Assessing simulated patients in an educational setting: the MaSP(Maastricht Assessment of Simulated Patients)," Medical Education, Vol.38, No.1, pp.39-44, 2004. https://doi.org/10.1111/j.1365-2923.2004.01686.x
  38. 박미혜, 허운나, "인터넷과 화상회의를 활용한 원격수업운영에 관한 사례연구-네덜란드 University of Twente의 코스운영을 중심으로," 교육공학연구, 제16권, 제4호, pp.225-258, 2000.
  39. V. Motamedi, "A critical look at the use of videoconferencing in United States distance education," Education, Vol.122, No.2, pp.386-395, 2001.
  40. G. Doherty-Sneddon, A. H. Anderson, C. O'Malley, S. Langton, S. Garrod, and V. Bruce, "Face-to-face and video-mediated communication: A comparison of dialogue structure and task performance," Journal of Experimental Psychology: Applied, Vol.3, No.2, pp.105-125, 1997. https://doi.org/10.1037/1076-898X.3.2.105
  41. C. F. Hsu, Y. S. Wang, C. L. Lei, and K. T. Chen, "Look at me! Correcting eye gaze in live video communication. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)," Vol.15, No.2, pp.1-21, 2019.
  42. 주현식, "청소년의 여가활동이 스트레스 해소 및 학업성취도에 미치는 영향에 관한 연구," 관광레저연구, 제13권, 제1호, pp.81-97, 2001.
  43. 박혜정, 최명숙, "대학교육에서 e-러닝의 학습효과와 관련된 변인들의 관계분석," 교육공학연구, 제24권, 제1호, pp.27-53, 2008.
  44. 김보나, 이옥형, 강태훈, "대학e-Learning에서 학습자의 컴퓨터 관련특성이 학습효과에 미치는 영향," 학습자중심교과교육연구, 제11권, 제2호, pp.23-44, 2011.
  45. 권영애, 이애리, "이러닝 학습성과에 미치는 영향 관계 분석에 관한 연구," 디지털산업정보학회 논문지, 제16권, 제2호, pp.69-81, 2020.
  46. Y. J. Joo, K. Y Lim, and S. M. Kim, "A model for predicting learning flow and achievement in corporate e-learning," Educational Technology & Society, Vol.15, No.1, pp.313-326, 2012.
  47. Q. Li, R. Baker, and M. Warschauer, "Using clickstream data to measure, understand, and support self-regulated learning in online courses," The Internet and Higher Education, Vol.45, p.100727, 2020. https://doi.org/10.1016/j.iheduc.2020.100727
  48. T. Soffer, and A. Cohen, "Students' engagement characteristics predict success and completion of online courses," Journal of computer assisted learning, Vol.35, No.3, pp.378-389, 2019. https://doi.org/10.1111/jcal.12340
  49. 조은미, 한안나, "온라인학습공동체에서 사회적 실재감이 학습몰입과 학습효과에 미치는 영향," 교육정보미디어연구, 제16권, 제1호, pp.23-43, 2010.
  50. 김지윤, 최은영, "시뮬레이션실습이 접목된 문제중심 학습에 대한 간호학생의 PBL 학습요소별 인식과 학업성취도," 성인간호학회지, 제20권, 제5호, pp.731-742, 2008.
  51. 김유진, 박주호, "사이버대학생의 학습실재감, 학습몰입 및 학업성취도 간의 관계," 아시아교육연구, 제13권, 제3호, pp.143-170, 2012. https://doi.org/10.15753/AJE.2012.13.3.006
  52. 임이랑, 오인수, "대학생의 학업성취에 영향을 미치는 심리적, 학습역량, 환경/지지 요인 탐색," 아시아교육연구, 제17권, 제4호, pp.285-309, 2016.
  53. R. Kleij, J. Maarten Schraagen, P. Werkhoven, and C. K. De Dreu, "How conversations change over time in face-to-face and video-mediated communication," Small Group Research, Vol.40, No.4, pp.355-381, 2009. https://doi.org/10.1177/1046496409333724
  54. E. A. Croes, M. L. Antheunis, A. P. Schouten, and E. J. Krahmer, "Social attraction in video-mediated communication: The role of nonverbal affiliative behavior," Journal of social and personal relationships, Vol.36, No.4, pp.1210-1232, 2019. https://doi.org/10.1177/0265407518757382
  55. C. Heath and P. Luff, "Disembodied conduct: Interactional asymmetries in video-mediated communication," Technology in working order: Studies of work, interaction, and technology, pp.35-54, 1993.
  56. X. Liu, Y. Sawada, T. Takizawa, H. Sato, M. Sato, H. Sakamoto, and T. Sakamaki, "Doctor-Patient communication: a comparison betweenTelemedicine consultation and face-to-face consultation," Internal Medicine, Vol.46, No.5, pp.227-232, 2007. https://doi.org/10.2169/internalmedicine.46.1813
  57. 배영임, 신혜리, "코로나19, 언택트 사회를 가속화하다," 이슈& 진단, 제416호, pp.1-26, 2020.
  58. https://m.etnews.com/20210901000250