The Effects of Dashboard Types on Students' Participation and Interaction on Online Group Discussion Activities based on Learning Analysis

온라인 토론활동에 대한 학습분석기반 대시보드 유형이 학습자들의 그룹토론 참여도와 상호작용에 미치는 영향

Abstract

This study was conducted to explore the effect of the type of dashboard on online group discussion activities based on learning analysis. The experimental research was conducted among 51 learners from a university by dividing them into 2 groups. Group A provided participation and interaction dashboard, and group B provided the discussion topics and message type dashboard. First, pre-tests were conducted on attitudes toward computer writing and the level of motivation that could affect online discussion activities. Then the students participated three different topics of online group discussions. The participation and interaction data were automatically collected through the dashboard, and learning outcome data were collected through post-tests. The results showed level of participation in Group B (M=47.56, SD=2.37) that provided discussion topics and message type dashboard was significantly higher than the level of participation in Group A (M=38.13, SD=2.21) that provided participation and interaction dashboard. On the other hand, there were no differences in the level of interaction and learning outcomes. In future studies, we suggest that the dashboard effects based on the learners' characteristics should be carried out because the learners' characteristics may affect the use of the dashboard.

이 연구는 온라인 토론활동에 대한 학습분석 기반 대시보드 유형이 학습자들의 그룹토론에 미치는 영향을 탐색하기 위해 수행되었다. 대학생 51명을 대상으로 참여도와 상호작용 대시보드를 제공한 집단과 토론주제와 메시지유형 대시보드를 제공한 집단으로 나누어 실험연구를 실시하였다. 먼저 온라인 토론활동에 영향을 미칠 수 있는 컴퓨터 쓰기에 대한 태도, 자기성찰 동기 수준에 대한 사전검사를 실시하였다. 이후 온라인 그룹토론 3회를 실시하였고, 참여도와 상호작용 데이터는 온라인 토론 시스템을 통해 자동으로 수집하였으며, 사후검사를 통해 학습성과 데이터를 수집하였다. 연구 결과 토론주제와 메시지유형 대시보드를 제공 받은 집단 B의 참여도 수준(M=47.56, SD=2.37)이 참여도와 상호작용 대시보드를 제공받은 집단 A의 참여도 수준(M=38.13, SD=2.21) 보다 유의하게 높은 것으로 나타났다. 반면 대시보드 유형이 상호작용과 학습성과에는 영향을 주지 않은 것으로 나타났다. 연구 결과를 종합해 볼 때 참여도와 상호작용에 대한 정보만 제공받은 집단보다 토론내용에 대한 질적 정보가 포함된 토론주제와 메시지유형 대시보드를 제공받은 집단이 토론에 대한 동기부여를 통해 참여도가 높게 나타난 것으로 해석할 수 있다. 이 연구에서는 학습자 특성변인을 고려하지 않고 대시보드 유형에 따른 효과만 검증하고자 하였는데, 선행연구에 의하면, 학습자 특성이 대시보드 활용에 영향을 줄 수 있으므로 추후 연구에서는 학습자 특성에 따른 대시보드 효과에 관한 연구를 수행할 것을 제안한다.

I. 서론

우리를 둘러싼 사회와 문화 환경의 변화는 개인이 목표한 바를 달성하고 사회에 적응하면서 생활하는 데 필요한 역량으로 4C(Critical thinking, Creativity, Communication, Collaboration)를 제안하고 있다. 대학에서는 4C에 해당하는 비판적 사고력, 창의력, 커뮤니케이션능력, 협업능력을 신장시키기 위해 전공교육, 교양교육, 비교과프로그램 등 다양한 학습의 기회를 제공하기 위해 노력하고 있다. 즉, 시대적 변화에 맞춰대학의 교수학습방법이 혁신이라는 명분하에 학습자중심의 교수학습방법으로 변화하고 있다.

많은 대학들은 학습자중심의 교수학습방법으로 문제중심학습, 프로젝트기반학습, 액션러닝, 액티브러닝 등의 교수학습방법을 확대적용하기 위해 지원을 아끼지 않고 있다. 이러한 교수학습방법에서 기본이 되는 학습활동이 팀원들과 함께 하는 토론활동이다. 토론활동은 학습자들의 비판적 사고력, 협업능력, 커뮤니케이션 능력을 신장시키는 데 매우 효과적인 학습법이다. 일주일에 2시간 또는 3시간 동안의 강의실 수업에서는 그 주차의 학습목표를 달성하기 위한 학습활동을 충분히 수행하는 데 시간적 제약이 따른다. 따라서 일부 토론활동을 온라인으로 진행하는 경우가 있는데, 현재 대학에서 제공하는 온라인 토론활동은 게시판 형태의 포럼에서 이루어지기 때문에 참여하는 데 어려움을 수반하고 있다[1]. 온라인 토론은 학습자가 토론활동에 대한 준비가 되어 있을 때 참여할 수 있기에 시간적․ 공간적 제약이 없다는 장점이 있지만[2], 토론활동이 비동시적으로 이루어지기 때문에 학습자가 온라인 토론시스템에 접속하여 학생들이 쓴 모든 글들을 읽어야 토론의 흐름을 파악할 수 있다는 어려움도 있다[3]. 이에 온라인에서 수집할 수 있는 학습행동 데이터를 수집․분석하여 그 결과를 대시보드 형태로 시각화해서 제시해 줌으로써 학습자들이 토론 글 전체를 읽어보지 않고도 토론활동 과정 및 결과를 확인할 수 있도록 지원하는 연구들이 수행되고 있다[4][5].

온라인 토론활동에 대한 대시보드 설계 및 개발연구들은 그동안 학습자들이 토론기간 안에 얼마나 열심히 참여하고 있는지, 어떤 학습자간에 의견 교환이 열심히 이루어지고 있는지와 관련된 정량적인 데이터를 수집해서 분석한 연구들이 대다수이다. 토론은 참여도와 함께 그 내용이 중요함에도 불구하고 그동안 자연어처리기술의 한계와 분석의 어려움으로 인해 연구가 많이 진행되고 있지 못한 실정이다.

이에 이 연구에서는 온라인 토론활동에 대한 정량적 정보인 참여도와 상호작용, 정성적 정보인 중심단어와 메시지유형에 대한 대시보드의 효과를 비교하고자 하였다. 또한 온라인 토론활동에 대한 정량적 정보기반 대시보드와 정성적 정보기반 대시보드가 학습자 특성인 컴퓨터 쓰기에 대한 태도와 자기성찰 동기수준에 따라 토론활동에 미치는 영향에 차이가 있는지를 확인하였다. 교육적 효과를 확인하기 위한 종속변인으로는 참여도, 상호작용, 학습성과이다. 이 연구의 결과는 온라인 토론학습 지원 시스템을 설계하는 데 있어 시사점을 제공해 주리라 기대된다.

Ⅱ. 이론적 배경

1. 온라인 토론과 학습분석

비동시적 온라인 토론활동은 토론주제에 대해서 깊이있게 사고하고 다른 학습자들의 의견을 면밀하게 검토할 수 있어 협력적으로 지식을 형성하고 토론활동에 대한 성찰활동을 촉진하는 장점이 있다[6].

비동시적 온라인 토론활동의 이러한 교육적 효과에도 불구하고 게시판 도구에서 이루어지는 토론활동이 최적화된 환경은 아니다[1]. 강의실에서는 토론주제에 대한 다른 학습자들의 의견을 듣고 자신의 의견을 제시하지만, 온라인 토론에서는 다른 학습자들의 의견을 읽어보지도 않고 자신의 의견을 게시하는 경우도 많다[7]. 토론에 참여하는 학습자가 많을 경우에는 토론 게시판에 누적된 글들이 많다보니 의미 있는 글을 선택해서 읽는 것이 아니라 처음에 올린 의견이나 최근에 올린 의견을 읽는 경향성이 높다[8]. 이러한 현상은 토론활동이 가지고 있는 교육적 효과를 충분히 실현되기에는 어렵다고 볼 수 있다.

온라인 토론활동에 참여하는 학습자들은 온라인 학습시스템에 들어와서 누적된 글을 보고 다른 학습자들의 토론활동을 미루어 짐작할 뿐이다. 이에 학습분석학적인 접근(learning analytics approach)을 통해 온라인 토론이 시작된 시점에서 특정 학습자가 온라인 토론 시스템에 입장한 순간까지 이루어진 토론활동에 대한 데이터를 분석하여 정보를 제공해 주고자 하는 시도들이 있어왔다. 학습분석이란 학습과 학습이 이루어지는 환경에 대해 이해하고 최적화하기 위해서 학습자 및 학습상황에 대한 데이터를 측정, 수집, 분석, 보고하는 활동을 의미한다[9]. 온라인 토론활동에 대한 학습분석 학적인 접근은 토론활동에 얼마나 적극적으로 참여하고 있는지, 다른 학습자들과의 상호작용은 얼마나 열심히 이루어지고 있는지에 대한 양적 데이터와 학습자들의 의견에 대한 주제와 메시지 유형과 같은 질적 데이터를 수집하여 분석하고 그 결과를 제시해 주는 것을 의미한다.

관련 선행연구들은 온라인 토론활동에 대한 대시보드가 온라인 토론학습에 대한 참여도, 만족도, 성취도등에 긍정적 영향을 미친다고 보고해 왔다[5][10]. 온라인 토론활동에 대한 대시보드의 효과는 학습자의 특징에 따라 다르게 나타날 수 있다. 온라인 토론활동에 대한 정보를 대시보드 형태로 시각화하는 데 있어 온라인토론활동 정보를 추적성(traceability)과 비교가능성(comparability)에 따라 시각화하게 된다[11]. 이에 대시보드는 학습자들의 학습과정과 결과에 대한 성찰활동을 지원하고 다른 학습자들과의 토론활동을 비교 가능하도록 정보를 제공한다. 이에 따라, 선행연구에서는 참여도 대시보드를 활용하는 데 있어 자기의 성과를 향상시키고자 하는 동기를 가진 학습자들이 실제 적극적으로 온라인 토론활동에 참여한 것으로 나타났다. 이와 함께 사회비교경향성과 자기성찰수준이 높은 학습자일수록 참여도와 상호작용 대시보드를 활용하는 데 있어 학습성과와 인지된 상호작용에 긍정적인 영향을 미치는 것으로 확인되었다[12]. 온라인 토론활동이 텍스트로 의견을 주고받다 보니 쓰기효능감이나 글쓰기 활동에 대한 태도 변인에 영향을 받을 수 있다. 관련하여 선행연구에서는 학습자들의 쓰기 효능감은 찬반토론 대시보드를 활용하는 데 있어 온라인 토론에 대한 만족도, 사회적 실재감에 영향을 미치는 것으로 보고하였다[13]. 이와 같이 학습자의 개인적 특성이 온라인 토론활동에 대한 대시보드의 효과에 영향을 미칠 수 있다.

2. 온라인 토론 지원 대시보드

온라인 토론활동에 대한 시각적 대시보드의 유형은 시각화의 대상이 양적 데이터 또는 질적 데이터인가에 따라 다양하다. 온라인 토론활동에 대한 대시보드에 시각화된 대표적인 양적 데이터는 참여도와 상호작용 데이터이다. 온라인 토론활동에 대한 대시보드를 개발한 많은 선행연구들은 시각화의 대상으로 참여도와 상호작용 데이터를 많이 사용하였는데, 그 이유는 상호작용을 포함한 참여도가 학습성과를 예측할 수 있는 주요변인이기 때문이다[14-16]. 온라인 토론활동에 대한 질적데이터는 토론활동에 대한 활용빈도가 높은 중심단어와 학습자들이 작성한 토론의견에 대한 메시지유형 등이 있다. 학생들이 작성한 토론 글에 대한 질적 분석은 토론주제 또는 작성글에 대한 의미를 유추할 수 있는 데이터를 제공하기 위함이다.

참여도 대시보드는 학습자들이 온라인 토론활동에 얼마나 적극적으로 참여했는가를 정량적으로 계산하여 그 결과 값을 한 눈에 알아보기 쉽게 그래프 형태로 제시한 것이다. 학습과정에 있어서 가장 중요하게 살펴보는 변인 중 하나가 참여도이다[17]. 선행연구에서는 참여도 대시보드에 토론 기간 내 시간변인에 따른 학습자들의 참여도 변화 추이 정보와 개별 학습자들의 참여수준을 다른 학습자들의 참여 수준과 비교할 수 있도록 시각물을 제공하는 것이 핵심이라고 보고되고 있다[4][18].

상호작용 대시보드는 온라인 토론활동 과정에서 학습자들이 다른 학습자들의 의견을 읽고 그 의견에 댓글과 답글을 작성한 행동 값을 정량적으로 계산하여 그래프로 제시한 것이다. 상호작용 대시보드는 대부분 노드와 링크로 구성된 사회 연결망 형태로 제시하였다. 온라인 토론활동에 대한 참여도 값에는 상호작용 값이 포함되어 있다. 그러나 학습자들이 온라인 토론활동에 참여했다고 해서 반드시 상호작용이 이루어지는 것은 아니다. 온라인 토론활동에서 다른 학습자들의 의견을 읽는 행위는 토론내용을 이해하는 데 도움이 될 뿐만 아니라 학업성취도에도 유의미한 영향을 미친다[19]. 이에 따라 상호작용 대시보드를 개발한 선행연구에서는 개별 학습자간 상호작용 관계와 팀간 상호작용 관계를 시각화하여 제시하였다.

중심단어 대시보드는 학습자들이 토론의견을 작성한 글에서 주제와 밀접한 관련이 있는 중심단어의 활용빈도를 시각화하여 제시한 것이다. 온라인 토론학습에서 학습자들이 작성한 글에서 활용빈도가 높은 중심단어를 제시하는 방법은 두 가지로 구분된다. 하나는 학습자가 작성한 전체 글에 활용된 모든 단어의 빈도수를 산출하여 그 결과를 워드클라우드(word cloud) 기법을 활용하여 시각화하는 것이다[4]. 다른 방법으로는 교수자가 토론주제와 관련된 중심단어를 선정하고 학습자들이 이러한 중심단어를 얼마나 활용했는지를 시각화하는 것이다[3]. 한국어의 경우에는 전자와 같이 작성글 모두를 대상으로 빈도를 추출할 경우, 토론주제와 직접적으로 관련이 없는 조사 또는 접속사 등이 빈도가 높은 중심단어로 추출될 가능성이 큰 문제가 있다.

메시지유형 대시보드는 토론내용을 메시지유형별로 분석하여 시각화한 것이다. 메시지유형은 글의 종류나 토론주제에 따라 달리 설정할 수 있다. 토론 글에 대한 메시지유형을 분석한 선행연구에서는 비판적 관점 7가지와 비판적 의견 유형 5가지로 분석하여 방사형 그래프로 제시하였고[5], 토론주제와 관련하여 메시지 유형을 6가지로 구분하여 방사형 그래프로 제시하였다[20]. 또한 토론주제에 상관없이 분석할 수 있는 메시지 유형을 의견제안, 정보제공, 도움요청, 의견종합, 토론관리의 5가지로 구분하여 제시한 연구[21], 찬반토론의 경우 찬성과 반대 의견의 빈도를 원 그래프로 제시한 선행연구 등이 수행되어 왔다[13].

Ⅲ. 연구 절차 및 방법

1. 연구 대상

이 연구는 2018년도 I 대학교 건축공학부 1학년을 대상으로 연구를 진행하였으며, 1학년 전공필수 과목으로 개설된 ‘창의공학설계’ 교과목을 수강한 두 분반의 학습자 51명을 연구 대상으로 하였다.

2. 연구 절차 및 도구

2.1 사전검사

온라인 토론활동에 영향을 미치는 것으로 보고된 학습자 특성인 컴퓨터 쓰기에 대한 태도와 대시보드를 통해 자신의 토론활동에 대해 성찰하는 과정에 영향을 줄수 있는 자기성찰 동기의 효과를 통제하기 위하여 사전검사를 실시하였다. 연구에 활용된 컴퓨터 쓰기에 대한 태도 검사 도구는 선행연구[22]에서 개발된 문항을 번역하여 사용하였으며, 5개 문항의 문항내 적합치도 Cronbach α는 .73으로 확인되었다. 자기성찰 동기에 관한 검사 도구는 11개 문항으로 구성되었으며, 문항내 적합치도 Cronbach α는 .912로 확인되었다[23]. 사전검사 도구의 척도는 모두 5점 Likert 척도로 구성되었다.

2.2 온라인 토론

온라인 토론활동에 대한 학습분석기반 대시보드 유형이 학습자들의 그룹 토론에 미치는 영향을 알아보기 위해 두 분반의 학습자들을 대상으로 온라인 그룹토론을 3회 실시하였다. 첫 번째 토론 주제는 ‘공학자에게 필요한 자질은 무엇인가?’에 대한 것이고, 두 번째 토론주제는 ‘창의적 공학 설계물이 갖추어야 할 요건은 무엇인가?’, 세 번째 토론 주제는 ‘창의적 공학 설계물을 위해 가장 중요한 아이디어 평가 기준은 무엇이라고 생각하는가?’였다. 학습자들은 각 주제에 대한 자신의 의견을 온라인 토론 게시판에 작성하고, 다섯 가지 메시지 유형 ‘의견제안’, ‘정보제안’, ‘도움요청’, ‘의견종합’, ‘토론관리’ 중 자신이 작성한 글의 유형을 중복 선택하도록 안내 받았다. 토론 글 작성 후에는 팀원들의 토론글을 읽고 댓글을 작성하도록 하였으며, 온라인 참여도와 상호작용 평가를 위해서 수집되는 데이터 유형을 토론 전에 공지하였다.

2.3 학습분석기반 대시보드

학습분석기반 대시보드는 학습자의 온라인 그룹토론활동을 지원하고, 토론 활동 상황을 그래프 등의 도식으로 제시하고자 설계되었다. 온라인 토론에 참여한 A분반의 학습자에게는 [그림 1]과 같은 참여도와 상호작용 대시보드를 제공하였고, B분반의 학습자에게는 [그림 2]와 같은 토론주제와 메시지유형을 확인할 수 있는 대시보드를 제공하였다.

학습자는 온라인 토론활동에 참여하기 위해 온라인 토론시스템을 활용해야 하며, 학습분석기반 대시보드는 온라인 토론시스템에 하위 메뉴로 제공되었다. 학습분 석기반 대시보드를 보는 것이 필수는 아니지만, 토론활 동 참여도 점수에 반영되며 대시보드가 나타내는 정보 에 대한 설명과 대시보드 활용의 장점 등을 숙지할 수 있도록 수업시간에 안내하였다. 온라인 토론시스템을 통해서 참여도와 상호작용 데이터가 자동 수집되었다.

그림 1. 참여도(상), 상호작용(하) 대시보드

그림 2. 주제어(상), 메시지유형(하) 대시보드

2.4 사후검사

온라인 토론활동에 대한 학습분석기반 대시보드 유형이 학습자의 그룹 토론에 미치는 영향을 살펴보기 위해 이 연구에서는 학습성과에 대한 사후검사를 실시하였다. 학습성과 검사도구는 선행연구[24][25]에서 활용한 측정도구를 번역하고 이 연구의 맥락에 맞게 수정하여 사용하였다. 이 연구에서 활용된 학습성과 검사도구의 문항내 적합치도 Cronbach α는 .88로 확인되었다.

3. 자료 수집

대시보드에 수집되는 데이터는 선행연구[6]에서 제시한 온라인 토론활동의 주요 행동 변인 데이터를 기반으로 대시보드 접속 횟수, 토론 게시판 접속 횟수, 게시글수, 댓글 및 답글 수, 게시글의 길이, 읽은 글의 수, 접속 간격의 규칙성 등으로 구성되었다. 선행연구에서 제안한 온라인 토론활동의 대표 행동변인에 대한 가중치를 기반으로 [그림 3]과 같이 참여도 관련 행동 변인 데이터를 수집하여 참여도 점수를 산출하였다. 상호작용점수는 다른 학생의 글을 읽은 수와 댓글과 답글을 작성한 수에 가중치를 넣어 산출하였다.

그림 3. 대시보드 관리자 화면

4. 자료 분석

온라인 토론활동에 대한 학습분석기반 대시보드 유형이 학습자들의 그룹 토론에 미치는 영향을 알아보기 위해 각 분반별로 다른 유형의 대시보드를 제공하여 두집단 간의 참여도와 상호작용 간의 차이를 살펴보고자하였다. 참여도와 상호작용 대시보드를 제공받은 집단과 토론주제와 메시지유형 대시보드를 제공받은 집단 간에 학습자 특성 변인에 차이가 없는지 검증하기 위해 컴퓨터 쓰기에 대한 태도와 자기성찰 동기 수준에 대한 동질성 검증을 실시하였다. 대시보드 유형이 학습자의 그룹 토론 참여도와 상호작용에 미치는 영향을 분석하기 위해 각 종속변인에 대해 공분산분석을 실시하였다. 자료분석을 위해서는 SPSS(Statistical Package for Social Science) 23.0 프로그램을 사용하였다.

Ⅳ. 연구 결과

1. 사전 동질성 검증

각각 다른 유형의 학습분석기반 대시보드를 제공받은 집단 간 학습자의 특성의 동질성을 검증하기 위해 두 집단 간 컴퓨터 쓰기에 대한 태도와 자기성찰 동기수준을 확인하였다.

오차 분산의 동일성에 대한 Levene의 검정을 실시한 결과 유의한 차이가 없는 것으로 나타났다(p>.05).

표 1. 오차 분산의 동일성에 대한 검정 결과

각각 다른 유형의 대시보드를 제공받은 집단 간 학습자 특성인 컴퓨터쓰기 태도와 자기성찰 동기에 대한 차이가 있는지 다변량분석을 실시한 결과 대시보드 유형에 따른 컴퓨터 쓰기에 대한 태도에 차이가 유의확률.001 수준에서 유의한 것으로 나타나 컴퓨터 쓰기에 대한 태도 수준을 공변량으로 통제하는 것이 적절하다고 판단하였다.

표 2. 사전검사 결과에 대한 다변량분산분석 결과

2. 대시보드 유형이 학습자의 그룹 토론 참여도에 미치는 영향

대시보드 유형이 학습자의 그룹 토론 참여도에 미치는 영향을 공분산분석을 통해서 검증한 결과는 다음과 같다. 먼저 집단 간의 동질성을 검증하기 위해 Levene 검정 결과 유의확률 .531 수준에서 집단 간 분산이 동질한 것으로 나타났다. 그리고 사전 검사에서 집단 간 차이가 있는 것으로 나타나 통제한 컴퓨터쓰기 태도를 공변량으로 통제하고 종속변인인 참여도를 분석한 결과 유의확률 .008 수준에서 토론주제와 메시지유형 대시보드를 제공한 집단 B의 참여도 수준(M=47.56, SD=2.37)이 참여도와 상호작용 대시보드를 제공한 집단 A의 참여도 수준(M=38.13, SD=2.21) 보다 유의하게 높은 것으로 나타났다.

표 3. 대시보드 유형에 따른 학습자의 참여도에 대한 기술 통계량

표 4. 참여도 공분산 분석 결과

3. 대시보드 유형이 학습자의 그룹 토론 상호작용에 미치는 영향

대시보드 유형이 학습자의 그룹 토론 상호작용에 미치는 영향을 공분산분석을 통해서 검증한 결과는 다음 [표 6]과 같다. 먼저 집단 간의 동질성을 검증하기 위해 Levene 검정 결과 유의확률 .235 수준에서 집단 간 분산이 동질한 것으로 나타났다. 그리고 사전 검사에서 집단 간 차이가 있는 것으로 나타나 통제한 컴퓨터쓰기 태도를 공변량으로 통제하고 종속변인인 참여도를 분석한 결과 참여도와 상호작용 대시보드를 제공한 집단A의 상호작용 수준(M=33.21, SD=19.31)과 토론주제와 메시지유형 대시보드를 제공한 집단 B의 상호작용수준(M=37.35, SD=16.55) 간의 유의한 차이가 없는 것으로 나타났다.

표 5. 대시보드 유형에 따른 학습자의 상호작용에 대한 기술 통계량

표 6. 상호작용 공분산 분석 결과

4. 대시보드 유형이 온라인 토론활동의 학습성과에 미치는 영향

대시보드 유형이 온라인 토론활동의 학습성과에 미치는 영향에 대해 공분산분석을 통해 검증한 결과는 다음과 같다. Levene 검정 결과 유의확률 .103 수준에서 집단 간 분산이 동질한 것으로 나타났고, 컴퓨터쓰기 태도를 공변량으로 통제하고 종속변인인 학습성과를 분석한 결과 참여도와 상호작용 대시보드를 제공한 집단 A의 참여도 수준(M=3.15, SD=.66)과 토론주제와 메시지유형 대시보드를 제공한 집단 B의 참여도 수준(M=3.04, SD=.62) 간의 유의한 차이가 없는 것으로 나타났다.

표 7. 대시보드 유형에 따른 학습성과에 대한 기술 통계량

표 8. 학습성과 공분산 분석 결과

Ⅴ. 결론 및 제언

이 연구의 목적은 온라인 그룹토론 활동에 대한 학습분석기반 대시보드 유형이 학습자들의 그룹 토론에 미치는 영향이 어떠한지를 검증한 연구였다.

연구 결과 대시보드 유형이 학습자의 그룹 토론 참여도에 영향을 주는 것으로 확인되었다. 토론주제와 메시지유형 대시보드를 제공받은 집단의 참여도 수준이 참여도와 상호작용 대시보드를 제공받은 집단의 참여도 수준보다 높은 것으로 분석되었다. 대시보드 유형이 학습자의 그룹 토론 참여도에는 영향을 주는 것으로 나타난 반면, 상호작용과 학습성과에 대한 효과는 관찰되지 않았다. 이러한 연구 결과에 대해 논의하면 다음과 같다.

토론주제와 메시지유형은 공통적으로 학습자들이 작성한 토론내용에 대해 질적으로 성찰할 수 있는 기회를 제공하는 역할을 한다[21]. 참여도와 상호작용 대시보드를 통해 제공되는 토론활동의 양적인 정보보다 질적 정보를 제공하는 토론주제와 메시지유형 대시보드가 학생들의 온라인 토론 참여에 더욱 유의한 영향을 주었을 수 있다. 토론 활동의 질적 정보를 제공하는 대시보드는 학습자가 토론활동에 대해 성찰해 볼 수 있는 기회를 제공할 뿐만 아니라 학습자가 자신의 토론내용에 대해 분석하고, 토론내용을 보완할 수 있도록 동기부여를 제공하는 역할을 한다[13]. 따라서 이 연구의 결과로 참여도와 상호작용에 대한 정보만 제공받은 집단보다 토론내용에 대한 질적 정보가 포함된 토론주제와 메시지유형 대시보드를 제공받은 집단이 토론에 대한 동기 부여를 통해 참여도가 높게 나타난 것으로 해석할 수 있다.

대시보드 유형에 따른 학습자의 그룹 토론 참여도에 유의한 차이가 있었던 반면, 상호작용 수준과 학습성과에는 유의한 차이가 확인되지 않았다. 이러한 연구 결과에 대해 논의하면 첫째, 이 연구에서 데이터를 수집한 수업은 교실 기반의 수업으로 학생들이 교실 수업에서 래포가 형성되어 있는 상태에서 온라인 토론에 3회 참여하였다. 온라인 토론 내용을 살펴보면 학생들 간에 사회적 상호작용 메시지를 주고받는 경우는 드물었으며, 주로 토론내용에 대해 간략하게 댓글을 작성하는 수준이었다. 즉, 온라인 토론 시스템은 토론활동만을 위해서 사용하고, 기타 사회적 상호작용은 교실수업에서 이루어졌다는 것이다. 따라서 100% 온라인 환경에서 이루어지는 토론에 비해 학생들의 상호작용 수준이 낮았으며, 형식적이었기 때문에 대시보드가 온라인 토론활동의 상호작용에 미치는 영향이 크지 않았을 수 있다. 둘째, 선행연구에서는 토론활동 대시보드가 교수자 입장에서는 토론활동을 모니터링하고 평가를 해야 하기 때문에 필요했던 정보로 인식하는 경향이 크지만, 학습자의 경우 반드시 필요한 정보라고 생각하지 않을 수 있다는 점을 지적한 바 있다. 또한 상호작용 대시보드가 학생들에게 익숙하지 않아 정보가 명확하게 이해되지 않았을 가능성이 있다[21]. 마지막으로 학습자들의 사회비교경향성과 자기성찰 수준이 높을수록 온라인 토론활동에 대한 학습성과에 긍정적인 영향을 미친다는 선행연구[12]에 비추어 해석해 보면, 이 연구에서는 학습자의 특성을 고려하지 않아 대시보드의 유형에 따른 학습성과는 나타나지 않은 것으로 해석할 수 있다.

이 연구에서 활용한 학습성과 검사도구는 온라인 토론활동 만족도, 온라인 토론학습경험, 동료학습자와의 상호작용을 묻는 문항으로 구성되는 데 대시보드 유형에 따른 학습성과 차이가 나타나지 않은 이유는 상호작용 수준에 유의한 차이가 확인되지 않은 이유와 관련 있을 것이라고 판단된다.

또한 학습자의 특성에 따라 대시보드의 효과가 달라질 수 있을 것이다. 이는 선행연구에서 대시보드 활용에 있어서 학습자들의 쓰기 효능감이 낮을 경우, 참여도 대시보드를 제공받았을 때보다 참여도 대시보드가 아닌 찬반토론 활동 현황 대시보드를 제공받았을 때 만족도가 높은 것으로 나타난 연구 결과[13]와 연관 지어 해석할 수 있다. 이 연구에서는 대시보드 유형에 대한 효과 검증을 위해 학습자 특성에 따른 대시보드 유형의 효과를 검증하지는 않았으나, 선행연구의 결과에 비추어 보아 학습자의 특성이 대시보드 유형의 효과에도 영향을 줄 수 있을 것이다.

이 연구의 결과를 바탕으로 연구의 제한점과 향후 연구를 위한 제언을 하면 다음과 같다. 첫째, 이 연구는 I대학교 건축공학과의 연구 대상에 제한적으로 실험 연구가 진행되었다. 이에 연구 결과를 일반화하기에는 무리가 있으므로 다양한 학습자들을 대상으로 대시보드의 유형이 온라인 그룹 토론에 미치는 영향에 대한 폭넓은 연구가 수행되어야 할 것이다. 둘째, 이 연구는 ‘창의공학설계’ 수업 중 3회의 온라인 토론을 통해 수집된 데이터가 활용되었다. 온라인 토론이 수업의 주요 활동이 아니기 때문에 학습자들의 토론활동에 대한 학습성과를 관찰하기에는 제한적이라고 볼 수 있다. 대시보드유형이 학습자의 온라인 토론활동에 미치는 영향을 더욱 면밀히 분석하기 위해서는 토론활동이 중심이 되는 수업에서 연구를 수행할 것을 제안한다. 마지막으로 이 연구는 토론활동에서 학습자의 참여도와 상호작용을 종속변인으로 설정하여 대시보드 유형에 따른 학습성과를 측정하는 양적 연구방법을 중심으로 이루어졌다. 대시보드를 활용함으로써 사용자가 느끼는 사회적 실재감이나 상호작용경험의 변화는 학습성과에 매우 중요한 요인으로 작용할 수 있다[26]. 따라서 질적 연구방법을 적용하여 사용자의 경험에 대한 깊이 있는 탐구연구를 제안한다.