• Journal of Platform Technology
• /
• 제11권5호
• /
• pp.72-83
• /
• 2023

ChatGPT는 2022년 하반기 상업적 서비스 시작 이후에 미국 변호사 자격시험과 의사 자격시험을 포함한 전문직 시험에서 성공적인 결과를 보였고, 전문직 영역에서 주관식 시험의 통과 능력을 입증하였으나, 교육 분야의 영역에서는 ChatGPT의 논리적 추론과 문제 풀이 등 학업 능력의 평가에 대해서도 새로운 실험과 분석이 필요하다. 본 연구에서는 한국 대학수학능력 시험 문제의 국어, 영어, 수학 세 주요 교과목을 활용하여 ChatGPT의 학업 능력을 평가하였다. 실험 결과에서는 ChatGPT는 영어 영역에서는 상대적으로 높은 69%의 정답률을 보이지만, 국어와 수학 영역에서는 각각 34%와 19%의 비교적 낮은 정답률을 기록하였다. 문장의 이해와 논리적 추론 능력에 관련된 수능 국어와 한국어 능력 시험 (TOPIK II) 및 수능 영어 시험의 결과 분석을 통하여, ChatGPT의 학업능력과 취약점의 원인을 분석하였다. ChatGPT는 대화형 언어 모델로 개발되었기 때문에 일반적인 국어, 영어, 수학 문제를 이해하고 응답하는 능력은 있지만, 난도가 높은 논리적 추론 능력과 수학 문제 풀이 능력에서는 매우 취약한 것으로 판단되었다. 본 연구는 생성형 인공지능의 성능 평가를 위한 간편하면서도 정확도가 높으며 효과적인 평가 기준을 마련하는 데에 큰 도움이 될 것으로 기대한다.