• 한국멀티미디어학회논문지
• /
• 제24권3호
• /
• pp.355-372
• /
• 2021

Recently, high-performance HMDs (Head-Mounted Display) are becoming wireless due to the growth of virtual reality technology. Accordingly, environmental constraints on the hardware usage are reduced, enabling multiple users to experience virtual reality within a single space simultaneously. Existing multi-user virtual reality platforms use the user's location tracking and motion sensing technology based on vision sensors and active markers. However, there is a decrease in immersion due to the problem of overlapping markers or frequent matching errors due to the reflected light. Goal of this study is to develop a multi-user virtual reality moving platform in a single space that can resolve sensing errors and user immersion decrease. In order to achieve this goal hybrid sensing technology was developed, which is the convergence of vision sensor technology for position tracking, IMU (Inertial Measurement Unit) sensor motion capture technology and gesture recognition technology based on smart gloves. In addition, integrated safety operation system was developed which does not decrease the immersion but ensures the safety of the users and supports multimodal feedback. A 6 m×6 m×2.4 m test bed was configured to verify the effectiveness of the multi-user virtual reality moving platform for four users.

• 한국게임학회 논문지
• /
• 제16권2호
• /
• pp.7-16
• /
• 2016

본 논문은 게임을 수행하는 개별 사용자의 특별한 행동 탐지를 효율적으로 수행하는 시스템을 제안한다. 제안하는 시스템은 일반적인 게임 플레이 환경에서 비 침투적 방법을 통해 포착 가능한 사용자 특징과 반복적인 패턴에 기반을 두어 특이 행동 탐지를 한다. 본 논문에서는 표정과 사용자 움직임과 같이 관찰되는 자료를 분석하기 위해 카메라를 사용했다. 게다가 반복 행동 탐지를 위해 게임 사용자로부터 멀티 모달 데이터를 사용하여 고차원의 행동 분석하기 위해 사용했다. 특이 행동 탐지에 효과적인 Support Vector Machine 을 사용했으며, 특이 행동 탐지 수행의 유용성을 평가하여 약 70% 확률로 탐지하는 이상 행동 탐지 재현율을 보였다. 또한 반복 행동 분석이 가능함을 보였다. 제안된 기법을 사용하였을 때 PC 환경에서 제공하는 모든 콘텐츠의 분석에 대한 피드백과 정량화하는데 도움이 될 수 있다.

• 인터넷정보학회논문지
• /
• 제10권5호
• /
• pp.165-181
• /
• 2009

본 논문은 해마의 형상 분석을 위한 효과적인 모델 표현 방법과 분석 과정에서의 실제감을 향상시키는 스테레오-햅틱 장치 기반의 대화형 가상 환경을 제공한다. 매개변수형 표면 모델과 골격 표현은 해마의 형상을 효과적으로 표현하고 이러한 정보를 옥트리 자료 구조에 저장하여 대화형의 형상 분석 작업을 가능하게 한다. 그리고 골격 기반 정규화 방법은 다양한 모달리티를 갖는 의료 영상으로부터 생성된 3차원 해마 모델들의 위치와 방위를 정확하게 맞추어주는 기능을 수행한다. 또한 본 논문에서는 정상인 해마 형상 집단과 간질 환자 해마 형상 집단의 정확한 분류 작업을 수행하기 위하여 SVM 알고리즘 기반의 분류기 모델을 구축하였다. 실험 결과를 통하여 본 논문에서 제안한 표현 구조는 다양한 단계의 형상 표현을 제공하며 SVM 기반 분류기는 두 집단간 형상 차이를 분석하기 위한 효과적이었음을 확인하였다. 또한 스테레오 디스플레이 장치와 햅틱 장치를 결합한 가상환경은 사용자에게 향상된 공간 인지와 조작력을 제공하기 때문에 의료 분야에서의 해마 모델과 같은 다양한 해부학적 구조에 대한 분석 작업에 효과적으로 활용될 수 있다.

• 한국전자통신학회논문지
• /
• 제17권6호
• /
• pp.1137-1144
• /
• 2022

본 연구에서는 감정을 표현하기 위한 표정 연습을 보조하는 인공지능을 개발하였다. 개발한 인공지능은 서술형 문장과 표정 이미지로 구성된 멀티모달 입력을 심층신경망에 사용하고 서술형 문장에서 예측되는 감정과 표정 이미지에서 예측되는 감정 사이의 유사도를 계산하여 출력하였다. 사용자는 서술형 문장으로 주어진 상황에 맞게 표정을 연습하고 인공지능은 서술형 문장과 사용자의 표정 사이의 유사도를 수치로 출력하여 피드백한다. 표정 이미지에서 감정을 예측하기 위해 ResNet34 구조를 사용하였으며 FER2013 공공데이터를 이용해 훈련하였다. 자연어인 서술형 문장에서 감정을 예측하기 위해 KoBERT 모델을 전이학습 하였으며 AIHub의 감정 분류를 위한 대화 음성 데이터 세트를 사용해 훈련하였다. 표정 이미지에서 감정을 예측하는 심층신경망은 65% 정확도를 달성하여 사람 수준의 감정 분류 능력을 보여주었다. 서술형 문장에서 감정을 예측하는 심층신경망은 90% 정확도를 달성하였다. 감정표현에 문제가 없는 일반인이 개발한 인공지능을 이용해 표정 연습 실험을 수행하여 개발한 인공지능의 성능을 검증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권3호
• /
• pp.125-132
• /
• 2024

최근, 몰입형 가상현실(IVR) 환경에서 가상 객체(Virtual Object)를 이용한 상호작용을 통해 교육, 의료, 산업, 원격지 협업 등 다양한 서비스에 활용되고 있다. 특히, 인공지능(AI) 기술을 접목하여 가상 휴먼을 사용자에게 가시화하고, 상호작용을 수행하는 연구가 활발하게 진행되고 있고, 이를 확장한 가상 반려동물에 관한 연구도 시작되고 있는 단계이다. 몰입 VR공간에서 가상 반려동물과 상호작용을 수행하기 위해서는 실제 환경에서 반려동물과 신체 접촉(쓰다듬기 등) 및 제스처와 같은 비언어적 상호작용(Non-verbal Interaction)이 소통을 위해 중요한 것처럼 가상 환경에서도 이러한 상호작용의 재현을 통해 몰입 경험을 높이는 요소에 대한 영향 분석이 필요하다. 본 논문에서는 몰입형 VR 환경에서 사용자가 가상 반려동물과 상호작용 체험을 수행할 때 패시브 햅틱(Passive Haptic)을 제공하고, 그 촉각(Tactile) 요소에 대한 영향 분석을 수행하였다. 패시브 햅틱의 촉각(Tactile) 요소를 모양(shape), 재질(texture) 항목으로 분류하여 그 변화의 정도에 따라 상호작용 효과에 어떠한 영향이 있는지 측정하였다. 실험 결과, 패시브 햅틱 피드백이 제공되는 몰입형 가상 환경에서 가상 반려동물 상호작용을 수행할 때 재질 요소의 단계(Level)의 차이에 따라 몰입감(Immersion), 공존감(Co-presence), 사실감(Realism), 친근감(Fridenliness) 측면에서 통계적으로 유의미한 차이가 있다는 것을 알 수 있었다. 또한, 재질과 모양에 따른 통계적 상호작용 영향 분석에서 친근함 측정 결과에서 불쾌한 골짜기(Uncanny Valley) 효과가 있다는 것을 확인하였다. 본 논문의 연구 결과는 가상 반려동물 상호작용을 수행하는 콘텐츠 개발에 가이드라인으로 기여할 것으로 기대된다.

• 지능정보연구
• /
• 제20권2호
• /
• pp.179-192
• /
• 2014

최근 IT 환경의 변화에 따라 웹 서비스를 기반으로 대규모 사용자 대상의 상호 참여적인 MOOC(Massive Open Online Courses)과 같은 온라인 교육 환경이 부상하고 있다. 그러나 온라인 교육 시스템은 원거리로 학습이 이루어짐에 따라 학습자의 자발적 동기를 꾸준히 유지하기 어려우며, 또한 학습자 간에 지식을 공유하고 공유한 지식을 활용하는 기능이 부족하다. 이러한 문제를 극복하기 위해 구성주의적 학습이론과 집단지성에 기반하여 학습자가 보유한 학습자료를 공유하고 개인화된 학습자료 추천을 받을 수 있는 학습자료 북마킹 서비스인 WeStudy를 구현하였다. 위키피디아(Wikipedia), 슬라이드쉐어 (SlideShare), 비디오렉쳐스 (VideoLectures) 등 현존하는 집단지성 기반 서비스들의 주요 기능으로부터 필요한 집단지성 기능들을 검토하였으며, 본 서비스의 주요 기능으로 1) 리스트 및 그래프 형태의 학습자료 리스트 시각화, 2) 개인화된 학습자료 추천, 3) 보다 상세한 학습자료 추천을 위한 관심 학습자 지정 등을 도출하여 시스템을 설계하였다. 이후, 웹 기반으로 구현된 세 가지 주요기능 별로 개량된 휴리스틱 사용성 평가 방법을 통해 개발된 시스템의 사용성 평가를 실시하였다. 10명의 HCI 분야 전공자 및 현업 종사자를 대상으로 정량적 및 정성적인 평가 결과, 세 가지의 주요 기능에서 전반적으로 사용성이 우수한 것으로 판정되었다. 주요 기능 별 정성적인 평가에서 도출된 여러 마이너 이슈들을 반영할 필요가 있으며, 향후 대규모 사용자를 대상으로 본 서비스를 보급하고 이용할 수 있도록 제공하여 자발적인 지식 공유 환경을 조성할 수 있을 것으로 전망된다.