• 융합정보논문지
• /
• 제7권6호
• /
• pp.245-251
• /
• 2017

이 논문에서는 학습자가 가상현실 안에서 음성으로 원어민 캐릭터와 대화하는 영어 대화 학습 시스템을 제안한다. 제안 시스템에서 사용자는 다양한 시나리오의 가상현실 상황에서 대화를 한다. 시스템은 사용자의 음성을 인식하고, 음성 합성을 이용하여 캐릭터의 음성을 제공한다. 몰입감과 현실감 있는 환경을 제공하는 가상현실 환경을 통해 영어 대화하는 과정에서 학습의 발음을 평가한 정보를 학습자에게 피드백으로 제공한다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.55-61
• /
• 2019

외국어 교육을 실현하기 위하여 기존의 다양한 교육 매체들이 제공되고 있지만, 교구 및 매체프로그램에 대한 비용이 많이 들고 실시간 대응력이 떨어지는 단점이 존재한다. 이 논문에서는 VR과 음성인식을 기반으로 한 인공지능 유형의 영어회화 시스템을 제안한다. 시스템 구축을 위해 Google CardBoard VR과 Google Speech API를 이용하며 가상현실 환경 제공 및 대화를 위한 인공지능 알고리즘을 개발하였다. 제안하는 음성인식 서버시스템에서는 사용자가 발화한 문장을 단어 단위로 분리해 데이터베이스에 저장된 데이터 단어들과 비교하여 확률적으로 가장 높은 것을 답으로 제공할 수 있으며 사용자들이 가상현실의 인물과 적절한 대화 및 응답이 가능하다. 대화가 제공되는 기능은 상황별 대화와 주제에 독립적이며, AI 비서와 나눈 대화 내용을 사용자 시스템에서 실시간 확인이 가능하도록 구현하였고 실험을 통하여 음성인식에 대한 응답비율을 확인하였다. 이 논문에서 제안하는 가상현실과 음성인식 기능을 접목한 시스템을 통하여 4차 산업혁명에 관련한 가상교육 콘텐츠 서비스 확장에 이바지할 것을 기대한다.

• 한국융합학회논문지
• /
• 제11권1호
• /
• pp.119-130
• /
• 2020

본 연구는 가상현실을 사용한 영어 회화 학습 프로그램을 개발하고 그 효과를 모니터형 가상현실과 몰입형 가상현실 조건에서 비교하였다. 대학생들을 대상으로 학습 전후의 언어불안감을 측정하고, 학습 내용에 대한 기억을 검사하였다. 가상현실에서의 영어 회화 학습 경험 후 학습자들의 언어불안감이 유의미하게 감소되었으나, 두 가상현실 조건간의 차이는 존재하지 않았다. 두 조건의 학습 결과의 차이도 유의하지 않았다. 본 연구의 결과는 가상현실이 학습자의 언어불안감 감소에 효과적일 수 있음을 보여주나, 몰입형 가상현실이 비몰입형 가상현실 보다 더 효과가 우수한지는 아직 분명하지 않은 것으로 보인다. 몰입형 가상현실의 가능성이 적절하게 구현되기 위해서는 몰입형 가상현실에서 종종 보고되는 멀미 문제의 개선과 함께 효과적인 학습 컨텐츠 개발이 우선되어야 할 것으로 보인다.

• International journal of advanced smart convergence
• /
• 제11권4호
• /
• pp.120-128
• /
• 2022

While online social interactions have been more prevalent with the increased popularity of Metaverse platforms, little has been studied the effects of facial expressions in virtual reality (VR), which is known to play a key role in social contexts. To understand the importance of presenting facial expressions of a virtual avatar under different contexts, we conducted a user study with 24 participants where they were asked to have a conversation and play a charades game with an avatar with and without facial expressions. The results show that participants tend to gaze at the face region for the majority of the time when having a conversation or trying to guess emotion-related keywords when playing charades regardless of the presence of facial expressions. Yet, we confirmed that participants prefer to see facial expressions in virtual reality as well as in real-world scenarios as it helps them to better understand the contexts and to have more immersive and focused experiences.

• 한국콘텐츠학회논문지
• /
• 제20권2호
• /
• pp.581-593
• /
• 2020

이 연구의 목적은 가상현실 시뮬레이션에서 아바타에 대한 사용자의 주의집중이 어떻게 일어나는가를 분석하기 위한 것이다. 주의집중 정도를 알기 위해서 시선추적 기법을 적용했으며, 이를 통하여 사용자가 아바타의 어느 부분에 초점을 두고 있는지 검증하고자 하였다. 이 연구에서는 수업시뮬레이션에서 아바타에 대한 사용자의 시선응시 시간과 가상실재감을 분석했다. 실험참가자는 대학생 45명(여학생=21명, 남학생=24명)이었다. 이 연구에서는 가상현실 기반의 수업시뮬레이션이 사용되었으며, 교권침해에 대한 시나리오들이 적용되었다. 종속변수는 아바타에 대한 사용자의 시선응시시간이며 3개의 관심영역(AOI)에 대한 차이분석을 실시했다. 또한 실험조건에 대한 사용자의 가상실재감(공간실재감, 몰두감, 사실성)을 측정했다. 실험참가자는 두 가지 시나리오를 모두 경험했으며, 반복측정에 의한 다변량분산분석을 실시했다. 연구결과에 의하면 시나리오와 AOI에 의한 유의미한 상호작용이 있었고, 시나리오와 AOI에 따른 주효과도 유의미한 차이가 보였다. 시나리오의 유형과 상관없이 사용자는 언제나 아바타의 얼굴표정에 상당히 많은 시선응시를 하고 있는 것으로 나타났다.

• 컴퓨터교육학회논문지
• /
• 제3권1호
• /
• pp.161-168
• /
• 2000

21세기를 대비한 인재를 육성하기 위해서 교사의 단편적인 지식을 학생에게 전달하는 교수 방식을 벗어나 학생들이 자유로운 탐색이나 정보수집과 같은 활동을 통하여 자신의 학습 활동을 진행시켜 나갈 수 있는 능력을 길러주는 교육이 필요하다. 자기 주도적 학습 능력을 가진 인재를 양성하기 위한 수단으로 인터넷을 새로운 학습 환경으로 이용하자는 방법이 제시되고 있다. 본 연구에서는 인터넷 환경에서 고등학교 영어회화 학습을 대상으로 학습자가 자기 주도적 학습능력을 신장하기 위한 영어회화 가상 수업을 설계하고 웹과 데이터베이스를 이용하여 구현하였다.

• 한국콘텐츠학회논문지
• /
• 제21권1호
• /
• pp.321-332
• /
• 2021

본 연구에서는 가상현실을 사용한 영어 회화 학습 프로그램을 개발하고 이를 몰입형 가상현실과 모바일 기기 조건에서 비교하였다. 학습자는 가상 캐릭터와 일상에서 일어날 수 있는 회화 패턴을 9 개의 에피소드에 걸쳐 학습하였다. 학습을 시작하기 전(사전)과 모든 학습을 마친 뒤(사후)의 언어불안감을 비교한 결과, 언어불안감은 몰입형 가상현실과 모바일 조건 모두에서 유의하게 감소하였고, 특히 몰입형 가상현실 조건에서 언어불안감이 더욱 크게 감소하였다. 학습 성취도를 알아보기 위해 각 에피소드에서 회화 패턴을 학습하기 이전의 반응(1단계)과 가상 캐릭터와의 회화 학습이 일어난 후의 문장(4단계)을 문장 길이, 적절성 및 정확성으로 구분하여 비교하였다. 그 결과 두 조건 모두 1단계보다 4단계에서 문장 길이, 적절성, 정확성이 향상되었다. 그 중 문장 길이는 몰입형 가상현실 조건에서 더욱 길어진 것으로 나타났다. 본 연구의 결과는 몰입형 가상현실이 학습자가 영어 회화 학습과 관련하여 경험하는 언어불안감 감소 및 회화능력 향상에 긍정적인 영향을 줄 수 있다는 것을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제23권10호
• /
• pp.1296-1306
• /
• 2020

Childhood verbal communication impacts children's language skills and has a positive effect as partners use more vocabulary. But reduction in family time, caused by lowered age for private education and so on, has reduced the chance for children to speak with partners who have a proficient language skill. This vacancy was naturally occupied by the media, which has become one of the cornerstones of the growth of kids' contents. Kids contents are making various attempts to expand the breadth of services. But most contents still focus on unilateral visual information delivery yet, so there is a limit to satisfy the vacancy of conversation partners. Therefore this paper suggests an ECA(Embodied conversational agent) to induce children's spoken conversation using a virtual character frequently used in kids contents. This system is implemented by the voice bot and agent model produced using an IBM assistant and Unity. As a result of using ECA for 66 children of 5-9 years old, it showed meaningful results in terms of induction of verbal communication.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권4호
• /
• pp.1-6
• /
• 2023

메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다. 본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인 KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이 태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.

• 한국콘텐츠학회논문지
• /
• 제5권4호
• /
• pp.122-132
• /
• 2005

CVE(Collaborative Virtual Environment)는 물리적으로 함께 모이지 못하는 사람들이 서로 의논하고, 공동으로 일할 수 있는 가상공간의 공유된 장(場)을 말한다. CVE에서 참여자들은 가상적으로 그들이 존재할 수 있게 하는 사람의 형상을 닮은 체현(體現), 즉 아바타를 통해 대표된다. 그러나 현재 가상환경에서 볼 수 있는 대부분의 아바타들은 그 아바타의 행동과 사용자간에 일어나고 있는 대화 사이의 자연스러운 관계를 나타내지 못하고 있다. 사람과 사람간의 대화에 있어서 교환되는 정보의 65% 이상이 비언어적 기호에 의해 전달된다는 점을 감안할 때, 비언어적 커뮤니케이션 채널을 CVE 시스템의 아바타에서 제공하는 것은 매우 중요하다. 따라서 본 연구는 아바타 제스츄어 디자인에 적용될 수 있는 비언어커뮤니케이션의 전달양식을 도출하고 사람과 사람간의 커뮤니케이션 과정에서 발생하는 대표적인 신체언어들을 언어와의 관련성에 따라 유형을 분류한 후 머리에서 발까지 신체부위별로 흔히 사용되는 동작과 그에 부합하는 언어표현들을 정리하여 제시하는 방법으로 CVE에서 사용자들이 적절한 커뮤니케이션 활동을 할 수 있도록 지원하는 아바타의 동작표현을 제안하고 있다.