The Impact of Gesture and Facial Expression on Learning Comprehension and Persona Effect of Pedagogical Agent

학습용 에이전트의 제스처와 얼굴표정이 학습이해도 및 의인화 효과에 미치는 영향

The purpose of this study was to identify the effect of gesture and facial expression on persona effects. Fifty-six college students were recruited for this study, and non-verbal communication skills were applied to a pedagogical agent with gesture (conversational vs. deictic) and facial expression. The conversational gesture may have relationship with social interaction hypothesis of pedagogical agent while the deictic gesture may have relationship with attentional guidance hypothesis. The facial expression can be assumed to facilitate the social interaction between the pedagogical agent and learners. Interestingly, the conversational gesture group showed a tendency of outperforming the deictic gesture group. It may imply that the social interaction theory has a strong impact on cognitive support as well as social interaction for learners. There was a significant interaction effect on the engagement when both of facial expression and conversational gesture were applied. This result has two implications. First, facial expression can facilitate the persona effect for engagement.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.