The University Students' Perceptions or Attitudes on the Use of AWE Program in English Writing

영어쓰기에서 AWE 프로그램 활용에 대한 대학생의 인식 및 태도 연구

Abstract

The purpose of the study is to explore the perceptions or attitudes about utilizing the AWE(Automated Writing Evaluation), Grammarly in English writing. A total of 131 students who are in first grade and in beginner level participate in the study. As a research tool of the study, pre and post-surveys, pre and post-tests, and learning journals were collected and analyzed. The study was conducted for 15 weeks in the 2^nd semester of 2019. According to the results, the findings are as follows. First, the students in the study had difficulty with English grammar and found it useful to get English feedback in English writing. Next, the students showed positive attitudes toward the use of Grammarly. It was helpful for English learning and assignment performance and showed high usefulness. Finally, Grammarly's effect showed a statistically significant result between the pre and post-tests. Based on the results some suggestions are as follows. First, let the students take some time with the program to use to operate. Second, teachers have to make the students understand that AWE's feedback is not always correct. Lastly, it should be provided with teachers' feedback.

본 연구에서는 영어쓰기에서 활용되고 있는 온라인 자동쓰기평가 프로그램을 활용하는데 있어서 학생들의 인식 및 태도를 살펴보는데 목적이 있다. 이를 위해 총 131명이 참여하였고 참여자는 대학교 1학년 초급수준의 학습자들로 구성되어있다. 연구도구로는 사전·사후 설문지, 사전·사후 테스트 그리고 학습저널의 자료가 수집되고 분석되었다. 연구는 2019년 2학기, 총 15주에 걸쳐 실시되었으며 그 결과는 다음과 같다. 첫째, 설문에 참여한 학생들은 스스로 영문법에 어려움이 있고 영작문에 있어서 피드백이 도움이 된다고 생각하고 있었다. 둘째, Grammarly 활용에 있어서 학생들은 전반적으로 긍정적인 태도를 보이고 있었다. Grammarly는 영어학습과 과제수행에 도움이 되었고 활용도 면에서도 높게 나타났다. 마지막으로 사전·사후 문법테스트에서 Grammarly의 효과성은 유의미한 결과를 보였다. 본 연구결과를 토대로 한 제안점은 다음과 같다. 첫째, 학생들이 프로그램을 적극적으로 활용할 수 있도록 익숙해지는 시간을 갖도록 해야 한다. 둘째, 교사는 학생들에게 AWE(Automated Writing Evaluation)의 피드백이 항상 정확하지만은 않다는 것을 이해하도록 해야 한다. 마지막으로 교사의 피드백이 반드시 함께 제공되어야 한다.

I. 서론

최근 제 2외국어의 글쓰기 능력을 향상하기 위해 사용되어지는 방법들 중의 하나로 온라인 환경에서 글쓰기를 들 수 있다. 블로그(blog), 포럼(forum) 또는 위키(Wiki)와 같은 온라인 커뮤니티 상에서 글쓰기에 참여하는 것은 학생들의 쓰기능력을 향상시킬 뿐만 아니라[1][2] 자기주도적 학습을 독려하는 것으로 나타났다[3]. 외국어를 사용하여 글쓰기를 할 때 학습자들이 가지고 있는 고민들 중 하나는 본인이 쓴 문장이나 글이 문법적으로 올바른지 또는 정확한 의미전달이 되는지에 대한 불확실성 일 것이다. 이와 같은 문제를 해결하기 위해서 학습자들은 다양한 교육용 자료를 활용하게 된다. 최근 수십 년간 컴퓨터 기술의 빠른 진보로 EFL 교육의 방식이 상당히 확장되어 온라인사전, 번역기, 인공지능 기반 소프트웨어 등을 활용한 교육도구의 사용이 늘어나고 있다. 최근 단어의 의미나 활용도를 찾아보는 사전보다도 문장자체에 대한 해석이나 영작이 가능한 번역기의 활용도가 높은 편이다. 이에 학습자들은 번역기 활용을 통해서 영작문에 도움을 받고 번역기 사용에 대한 긍정적인 태도를 보이기도 했다[4]. 하지만 번역기 사용은 자칫 잘못하면 목표언어 사용보다 모국어 사용이 더 우선시될지 모른다는 우려가 있을 수 있다. 따라서 최근 목표어 자체에 피드백을 제공하는 온라인 쓰기피드백 프로그램의 활용이 영어쓰기 활동에서 주목 받고 있다. 특히 영어쓰기활동에서 학생들은 누군가로부터 피드백을 받을 기회가 충분하지 못하거나 혹시 교사를 만난다고 해도 이해 될 때까지 충분한 시간적 여유를 갖는다는 것은 쉽지 않은 일이다. 이와 같은 불만은 온라인 쓰기평가 프로그램을 잘 활용한다면 해결할 수 있을 지도 모른다. 온라인상에서 학습자들이 작성한 문장이나 에세이 등과 같은 영어작문에 스펠링, 문법, 문장부호 등의 피드백을 제공하는 컴퓨터 기반 교육 기술을 자동 쓰기 평가(Automated Writing Evaluation: 이하 AWE), 자동 에세이 평가(Automated Essay Evaluation: AEE), 또는 쓰기 평가 기술 등이라 한다. [5]는 온라인 AWE는 문법의 정확성과 학습을 강화시키기 위해서 효율적이고 효과적인 도구가 될 수도 있을 것이라고 언급했다[5]. 또한 [6]은 온라인 영어쓰기 피드백을 제공하는 소프트웨어인 Grammarly가 문법오류를 최소화 할 수 있도록 도와줄 수 있는 적절한 도구로 사용되어질 수 있을 뿐만 아니라 학생들의 영어 쓰기의 질적인 면이 향상될 수 있다고 언급했다. 더욱이 영어작문 수업을 하는 교수자의 피드백에 대한 시간과 부담을 줄어줄 수도 있다는 점에서도 자동쓰기평가 프로그램의 활용이 고려되어질 만하다. 현재까지 연구에 활용된 AWE의 종류로 Grammar Clinic[7], Criterion[8], My Access[9][10], Grammarly[5][11]등의 다양한 소프트웨어를 활용한 연구들이 활발히 진행되어왔다. 최근 AWE 중 하나인 Grammarly 활용에 대한 연구를 진행한 [5]는 Grammarly 사용 후 학생들의 영어 쓰기와 문법규칙의 이해가 향상되었다는 결과를 제시하기도 하였다.

이와 같은 온라인 쓰기평가 소프트웨어 관련 연구와 이를 사용하는 이용자 수가 증가함에도 불구하고 이에 관련된 연구는 한정적이다. 이를 학습도구로써 사용하는 학습자들은 단순히 과업수행을 완료하는 것으로 끝나는 것이 아니라 이를 통한 학습이 이루어지도록 해야 한다. 우선 온라인 쓰기평가 프로그램의 대한 학습자들의 인식과 사용 실태를 알아보는 것이 필요할 것이다. 따라서 본 연구에서는 학생들이 영어작문을 할 때 쓰기 평가 프로그램 활용에 대한 인식 및 태도를 살펴보고자 한다.

II. 이론적 배경

여러 가지 어플리케이션들 중 AWE는 1960대에 최초로 개발되었다. AWE 시스템은 자연처리언어 과정이라고 불리는 인공지능을 기반으로 하며 가장 중요한 두 가지 요소들인 점수를 매기는 엔진과 피드백을 주는 엔진으로 구성되어 있다[12]. 이에 AWE는 영어쓰기수업에서 주로 학습의 개별화, 학생의 중심화 그리고 효과성을 높이기 위해 활용 되어져왔다[12][13]. 또한 영어 쓰기에 있어서 AWE 활용의 장점과 단점에 대한 논의는 계속 되어져왔다. [8]의 연구에서는 교사가 AWE 도구로 Criterion을 사용한 이후 AWE의 효과적인 면과 비효과적인 부분에 대해서 언급하였다[8]. 효과적인 면으로는 학습자들의 상위언어능력(metalinguistic ability) 증가와 교사 업무가 줄어들 수 있다는 점을 들었다. 상위언어능력은 학습자들이 AWE를 이용해서 본인의 영작문 오류를 확인하고 제공된 피드백의 설명을 이해하는 과정에서 향상되어질 수 있다고 언급했다. 또한 외국어 쓰기수업에서 피드백에 대한 교사의 부담은 모든 언어를 담당하는 교수자가 이해할 만큼 클 뿐만 아니라 AWE를 학습보조 수단으로 활용할 수 있다면 교수자는 많은 시간을 절약할 수 있다고 했다. 또 다른 연구인[14]는 AWE를 활용한 영어쓰기 연습으로 향상된 동기와 전보다 수월해진 수업운영을 장점으로 언급했다.

AWE 프로그램은 학습자가 스스로의 오류를 진단하고 개인화된 피드백을 제공받아 자가 학습할 수 있도록 하여 학습자의 자기주도성을 높일 수 있게 디자인 되어졌다고 언급했다[7][9]. 따라서 이와 같은 프로그램은 자기주도 학습 환경에서 학생들 스스로의 학습을 결정하고 교사로부터 독립적 학습이 가능할 뿐만 아니라 지속적인 피드백을 통해서 학생들의 쓰기능력을 향상시킬 수 있도록 학생들에게 기회를 제공할 수 있을 것이다[9]. 하지만 [8]은 AWE의 비효과적인 면으로 필요한 피드백을 충분히 제공하지 않는 것, 고차원적인 피드백의 부족, 그리고 학생들의 에세이에 관한 총체적인 점수(holistic score)를 제공하지 않는다는 점을 들었다. 제공되는 피드백의 부족은 학생들이 이유도 모른 체 제공되는 피드백을 단편적으로 수용하게 만들 수 있다. 하지만 학생들이 스스로 다른 자료를 찾아볼 수 있는 기회 또한 제공할 수도 있을 것이다. 또한 고차원의 피드백의 제공은 교사의 몫이 될 수도 있을 것이다. 기계적인 오류나 단편적인 문법 수정은 AWE에게 맡기고 교사는 그 이외의 부분에 피드백을 제공할 수도 있을 것이다. 본 연구에서 활용된 Grammarly에서는 영작문의 총체적인 점수가 제공되는 기능이 탑재되어있다[16].

최근 자동 문법피드백 소프트웨어 활용에 관한 연구들이 활발해지는 가운데 국내 [15]의 연구에서는 인간 평가자보다 부족한 Grammarly 분석 결과에 대해 언급하였다. [15]의 연구에서는 인간 평가자와 AI기반 영어문법 검사기의 오류분석 결과를 비교하였다[15]. AI 기반 영어문법 검사기로는 Grammarly가 사용되었다. 서울에 위치한 고등학교 2학년 학생들의 40개 영작문 샘플들이 수집되고 분석되었다. 그 결과 인간 평가자보다 Grammarly가 찾아내지 못한 9가지 오류유형들을 제시했다. 그 중 Grammarly가 찾아내지 못한 문법오류 3가지로 동사선택, 한정사, 그리고 전치사라고 지적하며 Grammarly의 단점을 언급했다. 하지만 AI기반 영어문법 검사기는 단시간에 많은 학습자들의 영작문의 피드백을 주어야 하는 교사에게는 업무를 줄일 수 있는 좋은 방법이 될 수 있다고 했다.

본 연구에서는 AWE 프로그램으로 Grammarly가 활용되었다. 여러 개의 자동쓰기피드백 프로그램 중 모바일과 PC에서 모두 활용이 가능하고 사용자수가 현재 약 6백9십만 명 정도로 대중화되어 있다는 점이 선정의 이유이다. Grammarly는 영어쓰기 오류를 검사 해주는 소프트웨어이며 수백 개의 문법 피드백, 주어-동사일치, 관사 사용, 수식어 위치와 불규칙 동사 등의 일반적인 문법뿐만 아니라 유사어 제안도 제공한다[16]. [그림 1]은 Grammarly 웹사이트에서 샘플 영어작문에 대한 피드백 예시이고 [그림 2]는 영어작문에 대한 평가표의 예시이다. [그림 1]에서 보면 오류에 밑줄이 쳐져있고 오른쪽에 오류에 관한 설명이 적혀있다. [그림 2]에서 보면 평가받은 전체 글에 대한 점수와 아래 자세한 오류의 종류가 개수가 제시되어있다.

그림 1. Grammarly 웹사이트 화면 예시

그림 2. Grammarly 평가표 예시

III. 연구방법

1. 참여자

본 연구는 충청남도 D 대학교에 재학 중인 1학년을 대상으로 2019년 2학기 동안 15주에 걸쳐서 실험이 진행되었다. 본 연구에 참여한 학습자들은 핵심교양영어인 ‘English reading and writing’ 수업을 수강했으며 학생들은 입학 전 토익으로 구성된 레벨테스트에 응시한 결과로 배정받은 상⸳중⸳하 학급 중 초급반의 학습자로 구성되었다. 본 연구의 참여자는 총 131명이며 그 중 여자 92명(70%)과 남자 39명(30%)이며 학생들의 전공은 보건대학 32명(24%), 생명자원과학대학 32명(24%), 외국어대학 27명(21%), 공공인재대학 26명(20%), 그리고 예술대학 14명(11%)으로 구성되었다.

2. 연구절차 및 분석

1) 연구자료 수집

본 연구에서 양적 데이터와 질적 데이터를 수집하고 분석하였다. 양적 데이터로는 사전⸳사후 설문지와 사전⸳ 사후 문법테스트가 실시되었고 참여자들이 AWE 소프트웨어를 활용하여 영어문단쓰기 과제를 수행 한 후 질적 데이터인 학생저널쓰기가 시행되었다.

본 연구에서 사전⸳사후 문법테스트는 Grammarly 사용 전후의 문법 변화를 알아보기 위해 실시되었고 Oxford 출판사에서 지원하는 초급 문법 진단테스트 중 20문항을 선별하여 구성되었다[17]. 사전⸳사후 설문지는 [5]의 설문내용을 수정 보완해서 구성되었다. 사전 설문지는 총 10문항으로 구성되었고 5문항은 전반적인 영작문 능력에 관한 문항이고 5문항은 영작문 할 때 피드백에 대한 태도를 묻는 문항으로 구성되었다. 사후 설문지는 객관식 10문항과 개방형문항으로 구성되었으며 객관식문항으로 Grammarly 활용에 대한 태도 관련 5문항, 만족도에 관한 5문항, Grammarly활용의 장점과 단점에 대해서 기술하도록 하였다. 설문지는 “매우 그렇지 않다”의 1점에서 “매우 그렇다”의 5점으로 리커트 5점 척도를 사용하여 응답하도록 했다. 학습저널은 학습자들이 영어쓰기 과업을 실시 한 후 Grammarly 사용하면서 스스로 학습하고 성찰하며 느낀 점에 대해서 작성하도록 하였다. 실험을 위해 학생들에게 영어쓰기 과업이 주어졌고 수업시간에 다루는 교재내용의 주제와 연관하여 3가지 장르별 주제가 선정되었다.

연구절차로 첫 주에 학생들은 사전 문법 테스트에 참여했다. 시험시간은 약 15분 정도 주어졌고 그 후 학생들은 Grammarly 사용법에 대한 간략한 워크숍을 교수자로부터 받았다. 교수자는 Grammarly의 기능과 활용방법에 대해서 자세히 설명하고 앞으로 수행할 과업들과 학습저널 작성에 관해서도 함께 설명하였다. 또한 학생들은 각자 수업이 끝나고 집에서 Grammarly를 활용해 볼 수 있는 기회를 갖도록 했다. 이 주차에 학생들은 사전 설문지를 작성하였고 첫 번째 영어쓰기 과업이 주어졌다. 학생들은 과업의 1) 초본, Grammarly 활용해 수정한 2) 수정본을 학교 웹정보시스템에 주어진 시간 안에 올리도록 했다. 모든 과업을 마친 후 학기가 끝나가는 14주차와 15주차에 학생들은 사후 설문지와 사후 문법 테스트를 실시하였다.

2) 연구자료 분석

본 연구의 모든 자료는 수집된 후 질적 및 양적으로 분석되었다. 학생들이 작성한 설문지와 사전⸳사후 문법테스트는 수집 후 SPSS 20을 활용해서 기술통계 및 t-test로 분석되었다. 설문지는 타당성 있는 문항구성을 하고자 크론바하 알파계수(Cronbach α)를 통해 신뢰도를 분석하였고 설문지의 크론바하 알파 계수는 0.8 이상이었다. 주관식 답변은 비슷한 개념으로 묶어 범주화하였고 범주화된 개념을 하위범주와 연결시켜 코딩을 실시하고 분석을 실시했다[18].

IV. 연구 결과

1. 학습자들의 영문법과 피드백에 대한 전반적인 인식

[표 1]에서 보듯이, 영어쓰기에서 영문법에 대한 학습자의 생각을 알아보는 설문 문항에 대부분의 학생들은 영문법에 대해서 다소 어려움이 있는 것으로 나타났다. 대부분의 학생들은 평소 영문법 점검을 위해서 스스로 해결하기 보다는 교육자료를 많이 활용 하는 것으로 나타났다(M=4.15). 설문에 참여한 학생들은 자신감도 낮은 것으로 나타났고(M=3.65) 영문법에 대해서 스스로 지식이 부족함(M=3.63)을 느끼고 있었다. 영어로 생각을 표현하는데 있어서도 어려움(M=3.03)이 있는 것으로 보였다.

표 1. 영문법에 대한 학습자 인식

[표 2]에서 영어쓰기에서 피드백에 대한 학습자의 전반적인 인식을 알아보았다. 학생들은 영어쓰기에서 피드백을 받는 것에 대해 전반적으로 긍정적으로 생각하고 있는 것으로 나타났다. 피드백을 통한 자신의 문법 오류 인지에 관한 문항에 평균 4.30, 피드백이 영어학습에 도움이 되는가에 관한 문항에 평균 4.18, 피드백을 통해 추후에 같은 실수를 줄일 수 있는가에 관한 문항에 평균 4.08 순으로 나타났다. 또한 영어문법에 관해서 피드백 제공의 중요성을 묻는 문항에 평균 4.07, 그리고 피드백으로 인해 영어 자신감 향상에 관한 문항에 평균 3.83으로 비교적 높은 점수를 보였다. 학생들 은 문법 피드백에 관련하여 중요성과 필요성에 대한 인식이 높아 보였다.

표 2. 피드백에 대한 학습자 인식

2. 학습자들의 Grammarly 활용에 대한 전반적인 태도

Grammarly 활용 후 학습자의 Grammarly에 대한 생각을 알아보았다. [표 3]에서 보듯이, Grammarly 활용이 영어학습에 도움이 되었다는 문항에 평균 3.78로 가장 높았고 앞으로 계속 활용하겠다는 문항에 평균 3.70으로 그 다음으로 높게 나타났다. 그리고 과제수행에 적극적으로 참여했다는 문항에 평균 3.67 순으로 보였다. 그리고 영어에 대한 흥미 관련 문항에 평균 3.06 과 동기 관련 문항에 평균 3.02로 그리 높지 않았다. 이는 설문지에서 단점으로 학생들이 언급한 것처럼 웹사이트 상에서 Grammarly를 이용하는데 있어서 다소 번거롭고 불편함이 있었다는 점도 이유가 될 수 있을 것이다. 또한 수업시간에 요구하는 과업의 양이 다소 많다 보니 학생들이 느끼는 중압감 또한 높았던 것도 같다.

표 3. Grammarly 활용관련 학습자의 태도

[표 4]에서 보듯이, 학습자은 Grammarly 활용에 대한 만족도를 묻는 설문 문항에서 전반적으로 긍정적인 태도를 보였다. Grammarly 피드백의 자세한 설명 제공 관련 문항(M=3.67), 사용의 편리성 관련 문항(M=3.67), 영문법 이해 관련 문항(M=3.65) 순으로 나타났다. 또한 Grammarly 피드백이 자세했는가에 관한 문항(M=3.61), 그리고 피드백이 항상 도움이 되었냐는 문항(M=3.21)에 학생들은 대체적으로 긍정적으로 대답했다. 하지만 학생들은 영어로 제공되는 피드백을 이해하는데 다소 어려움이 있었다고 개방형 설문조사에서 언급했다. 또한 제공된 피드백으로 수정하면 본인이 의도하지 않은 의미가 될 경우가 종종 있었다고 하였다. 학생들은 Grammarly의 피드백을 무조건적으로 받아들인 다기 보다는 본인이 선별적으로 수용하거나 수용하지 않았음을 알 수 있었다.

표 4. Grammarly에 대한 만족도

[표 5]에서 실험의 효과를 알아보기 위해 실험 전후로 실시된 사전⸳사후 문법테스트에서 학생들은 사전성적 보다 사후성적의 결과가 다소 향상된 것을 볼 수 있었다. 테스트의 만점 점수 20점을 기준으로 하여 사전 테스트의 평균값 14.72에서 사후 테스트의 평균값 15.72로 높아졌고 p값이 0.05보다 작게 나타나 두 평균의 차이는 유의미한 결과로 볼 수 있다.

표 5. 사전과 사후 문법테스트 비교 분석결과

*p<0.05

학습자들은 Grammarly를 활용한 후 사후 설문조사에서 장점과 단점을 [표 6]과 같이 기술하였다. 장점으로 문법학습, 자신감, 그리고 편리성에 관해 언급했다. 학습자들은 피드백을 받고 평소에 있는 문법오류에 대해서 확인할 수 있도록 해준 점과 영작문에 대한 자신이 없었는데 마지막 문법 확인과정을 거칠 수 있어서 좋았다는 부분을 언급했다. 하지만 단점으로 피드백의 적합성과 편리성에 관해 Grammarly에서 제시하는 피드백으로 수정한다면 본인이 원하는 의미의 문장이 아니어서 혼란스러웠다는 점과 모든 피드백이 영어로 되어있어 이해하기 힘들었다는 점을 언급했다. 또한 글 전체의 시제가 아닌 단순히 문장 안에서 피드백을 주기 때문에 전반적인 시제에 맞지 않을 때가 있었다고도 했다.

표 6. Grammarly 활용의 장점과 단점

3. 학습자의 Grammarly 활용사례

과업수행 과정 중 Grammarly를 활용하기 전과 후의 학습자 결과물 변화를 살펴보았다. [그림 3]는 민호 학생이 수업시간에 작성한 영어문단쓰기 초본이며 [그림 4]는 과제로 Grammarly를 활용해서 수정하여 제출한 수정본이다. 우선 명사의 단⸳복수 관련하여 feeling을 feelings로, 동사의 수의 일치인 have를 has로, 빼먹은 are를 추가했으며 단어의 의미 group people을 group members로, 전치사 like를 such as로, 스펠링 관련 thik을 think로 수정하였다.

그림 3. 민호¹의 영작문 초본

그림 4. 민호의 Grammarly활용 수정본

민호학생은 학습저널에서 Grammarly를 활용함으로 몰랐던 문법도 알게 되어서 도움이 되었다고 언급[발췌 1]하고 있지만 설명이 부족하다는 점과 문맥파악 없이 무작위 부사 제거 피드백에 대해서 부정적으로 언급[발췌2]했다.

발췌1 “Grammarly를 사용하면서 몰랐던 문법을 알게 되었다. 예를 들면 ‘나하고 내 친구가’ 이것을 영어로 말할 때 항상 ‘Me and my friend’ 라고 했는데 ‘My friend and I’가 문법적으로 맞는다는 것을 Grammarly를 통해 알게 되었다. 작문을 할 때 Grammarly를 사용하면 틀린 문법을 바로 잡음과 동시에 문법 공부에 큰 도움이 된다는 것을 깨달았다.”

발췌2 “Grammarly에서 문법이 틀렸다고 지적해주는 것은 좋다. 하지만 Grammarly는 자세하게 설명을 해주지 않는다. 예를 들면, 단수로 써야 할 것을 복수로 적었다면 ‘이 문장에서는 단수로 적어야 합니다.’ 이런 식으로만 설명해준다. 정확하게 왜 단수로 적어야 하는지 더 자세하게 설명을 해주면 영어 공부에 큰 도움이 될 것 같다. 그리고 굳이 없애지 않아도 될 부사들을 없애라고 안했으면 좋겠다. ‘내가 틀리게 적은건가?’라고 생각하게 된다.”

V. 결론 및 제언

영어 학습자들은 말하기, 듣기, 읽기, 쓰기와 문법의 5가지 스킬 중 쓰기와 문법을 가장 어렵게 느끼고 중요하다고 생각하고 있었다[19]. 이와 같은 학습자들에게 적절한 온라인 쓰기피드백 프로그램의 활용은 학습자에게 영어쓰기에 대한 자신감을 줄 수 있을 뿐만 아니라 교사에게도 업무에 대한 부담감을 줄여 줄 수 있을 것이다. 이에 본 연구는 영어쓰기에 있어서 온라인 자동쓰기평가 중 하나인 Grammarly 활용에 대한 학습자들의 인식과 태도를 조사하고 살펴보았다. 본 연구에서 총 131명이 참여하였고 참여자들은 AWE를 활용하여 과업을 수행하였고 설문지와 학습저널 그리고 사전⸳ 사후 문법테스트가 연구도구로 활용되었다. 본 연구 결과는 다음과 같이 요약할 수 있다. 우선, 학습자들은 평소에 영어쓰기에서 영문법에 있어서 자신감이 다소 없는 것으로 나타났지만 피드백의 중요성을 인식하고 있었고 영어학습에 있어서 피드백의 필요성 또한 느끼는 것으로 나타났다. Grammarly 사용 후 학생들은 영어에 대한 흥미나 동기뿐만 아니라 과제수행이나 영어학습에 도움을 받은 것으로 보였다. 또한 Grammarly의 활용도 면에서도 긍정적인 답변을 하였다. 학생들은 Grammarly 사용의 편리함과 제공되는 피드백의 자세한 설명에 대해서 만족도가 높았지만 항상 피드백이 도움이 되었다는데 대한 만족도는 다소 낮게 나타났다. 실험의 사전⸳사후 문법테스트에서 사후평균이 사전보다 약간 높게 나타났으며 두 평균사이에서 유의한 결과를 보여 Grammarly 활용이 학생들의 영어문법 학습에 효과가 있었다고 볼 수 있다. 학생들이 언급한 장단점들에 대해서 장점은 문법학습에 도움이 되며 자신감이 상승하고 편리함을 언급하면서 단점으로 피드백의 정확성이 떨어지고 제공되는 기능이 부족하다는 점 등을 지적했다.

본 연구의 결과를 토대로 영어쓰기에 있어서 Grammarly를 학습도구로 사용할 때 고려되어야 할 부분에 대한 제언은 다음과 같다. 우선, 소프트웨어를 활용하는데 있어서 도구에 익숙해지는 연습이 된 후에야 적극적인 활용이 이루어질 것이다. [20]도 교사가 Grammarly 사용방법에서 있어서 충분히 설명하여 학생들이 익숙해 질 수 있도록 만들어야 한다고 지적했다. 학생들이 소프트웨어 활용에 익숙하게 만들기 위해서 교사는 자세한 가이드라인을 제시해야하며 활용방법을 훈련시키는 것 또한 중요한 부분 일 것이다. 학생들은 Grammarly 활용도에서도 각각 차이점을 보였다. 본 연구에서 몇몇의 학생들은 몇 개의 기능은 빼놓고 기본 기능만을 활용했다는 사실을 알게 되었다. 교사는 학생들과 기술적인 문제에 대해서 계속적으로 소통하여 학생들 모두 정확한 사용법을 익히고 연습할 수 있도록 충분한 시간을 갖도록 해야 한다. 둘째, 학생들에게 AWE가 항상 정확한 피드백만 주는 것만은 아니라는 사실을 이해시키도록 해야 한다. 이에 학생들은 제공되는 피드백을 선별적으로 선택하고 그 과정을 통해 학습할 수 있도록 만들어야 할 것이다. 특히 영어 지식이 부족한 초급 학습자들은 설명이 부족하거나 예시가 필요하면 추가적으로 사전을 찾아보거나 자료를 확인하는 등의 학습활동을 추가적으로 할 수 있도록 해야 한다 [11]. 그러므로 AWE는 영어쓰기에서 자가수정 능력을 향상하고 상위언어 인지를 높이는데 도움이 되므로 유용한 도구[7]로 활용되어질 수 있다. 이는 궁극적으로 학습자의 자기주도적 학습을 향상시키고 학습에 적극적으로 참여할 수 있는 기회를 높여 독립적인 학습자가 될 수 있도록 도와줄 것이다[20]. 시간적 여유가 된다면 학생들의 수정내용을 함께 공유하고 잘못된 피드백에 대해서 그룹단위나 반 전체에서 토론하는 과정을 거친다면 학생들에게 좀 더 신중히 피드백을 선별하는 능력을 키울 수 있을 것이다.

마지막으로 AWE가 가지고 있는 한계점을 바로잡기 위해서 인간의 피드백이 함께 제공되어야 할 필요가 있다. 이에 영어교육현장에서 교사의 역할은 이전보다 더 중요하게 작용될 필요가 있다. 자동 문법피드백 프로그램인 Grammarly가 학생들의 어휘사용, 문법, 그리고 스펠링과 같은 기계적 오류를 줄이는데 긍정적인 영향[20]을 줄 수 있기 때문에 교사는 글쓰기의 아이디어를 발전시키는 단계에서 도움을 줄 수 있을 것이며 의미협상에 좀 더 중점을 둘 수 있을 것이다[14]. 학생들이 불만족한 부분으로 언급했듯이 교사는 전체적인 글의 내용면과 구조면에 집중하여 피드백을 제공해야 할 것이다. 하나의 교육보조도구로써 AWE의 세부적인 피드백과 교수자의 총체적인 피드백은 궁극적으로 학생의 전반적인 쓰기향상을 높일 수 있을 것이다.

본 연구의 한계점은 첫째, 활용된 자동문법 소프트웨어 기술이 인공지능과 함께 계속 발전 되어가고 있다. 따라서 본 연구가 종료된 이후에도 다른 기능들이 업데이트 되어질 수 있고 결과가 달라질 수 있을 것이다. 두 번째로는 초급학습자들로 구성된 학습으로 실험이 이루어졌고 다양한 영어능력 수준의 학습자를 대상으로 실험하지 못했다는 점이다. 수준별 비교를 통해서 온라인 교육 콘텐츠의 활용법이 달라질 수 있을 것이다. 마지막으로 현재 시중에서 활용되고 있는 다양한 온라인 문법체커 중 한가지만으로 연구가 진행되었다는 점이다. Grammarly 이외에도 다양한 무료 온라인 소프트웨어가 제공되고 있기 때문에 학생들이 본인에 맞는 문법체커를 찾아 활용하는 것도 의미가 있을 것 같다.