• 대한전자공학회논문지SP
• /
• 제47권5호
• /
• pp.45-55
• /
• 2010

객체 기반 오디오 부호화 기술은 다양한 응용 분야를 기대할 수 있는 차세대 오디오 기술로써 관심이 높다. 최근 MPEG에서는 SAOC (Spatial Audio Object Coding)라는 압축 효율이 우수한 Parametric 객체 부호화 방법을 표준화하였다. 본 논문에서는 SAOC를 중심으로 Parametric 객체 오디오 부호화의 기술을 소개하고, 이를 실제 적용하기 위한 고려사항들에 대해 다룬다.

• International journal of advanced smart convergence
• /
• 제9권1호
• /
• pp.163-171
• /
• 2020

There are many differences in narrative delivery between common movies and Virtual Reality(VR) films due to their differences in the appreciation structure. In VR films, scene changes by cuts have hindered the immersion of the audience instead of promoting narrative delivery. There are a range of experiments on narratives and immersion to solve this issue in VR films. Floating Tent applies hand gestures and immersive effects found in game elements and does not disturb narrative delivery by setting proper spaces and employing a direction technique to enable the melting of narratives into the characteristics of the spaces. There are time limits to offsound and mission performance, and devices fit for apocalyptic spatial expressions are made through a program. One of measures for the increasingly growing interactive storytelling in VR films is effective immersion. In narrative delivery, it is important to consider spatial setting and immersion to enable active intervention into events for immersion rather than passive audience only supposed to watch characters' acting.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 3부
• /
• pp.6-11
• /
• 2008

멀티미디어의 기술이 발전함과 더불어 몰입감 있는 다차원 상호작용에 대한 아이디어가 제안되고 구현됨으로써 더욱더 실감나는 상호작용에 대한 기대는 점차 증가되고 있다. 본 논문은 영화 시청 시 몰입감 있는 영화를 볼 수 있도록 시청각 미디어와 동기화 된 촉각컨텐츠를 시청자에게 제공하는 다차원 촉감영화 시스템을 제시한다. 또한 이러한 촉각컨텐츠를 생성할 수 있는 기존의 도구에 관한 고찰과 영화에서의 촉각컨텐츠에 대해 논의하고, 마지막으로 개발중인 촉감 저작/편집 도구에 대한 개략적인 소개, 그리고 이러한 저작/편집도구를 사용하여 제작된 몇 가지 촉감 영화를 소개한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권3호
• /
• pp.171-178
• /
• 2024

밸런스 보드 (Balance Board, BB)를 활용한 운동은 균형 감각 발달, 코어 근육 강화 등 신체 운동 능력 향상과 집중력 증진에 효과적이다. 특히, 다양한 디지털 콘텐츠와 연동되는 스마트 밸런스 보드 (Smart Balance Board, SBB)는 기존 밸런스 보드에 비해 적절한 피드백을 제공하여 운동 효과를 극대화한다. 그러나 대부분의 시스템들은 시/청각적인 피드백만 제공하여 사용자의 운동 몰입도 및 흥미 그리고 운동 자세의 정확성에 미치는 영향을 평가하지 못한다. 본 연구에서는 멀티 센서를 활용하여 다양한 피드백과 정확한 자세로 훈련이 가능한 몰입형 스마트 밸런스 보드 (Imemersive-SBB, I-SBB)를 제안한다. 제안된 시스템은 아두이노 기반으로 보드의 자세을 측정하는 자이로 센서, 유/무선 통신을 위한 통신 모듈, 사용자의 정확한 발 위치를 유도하는 적외선 센서, 촉각 피드백을 위한 진동 모터로 구성되어 있다. 측정된 보드의 자세는 칼만 필터 (Kalman Filter)를 이용하여 부드럽게 보정되고, 멀티 센서 데이터는 FreeRTOS를 활용해 실시간으로 병렬처리된다. 제안된 I-SBB는 다양한 콘텐츠와 연동하여 사용자의 집중도 및 몰입도 향상과 흥미 유발에 효과적임을 보인다.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.560-568
• /
• 2012

가상공간 구축 기술은 체험 방법이 다기능화 되면서 동작, 소리, 온도, 압력 등을 인식하여 콘텐츠와 사용자가 상호작용이 가능한 지능형 상호작용 기술 분야로 연구가 확대되고 있다. 가상현실 기술은 3D그래픽 기술과 물리 현상을 가상공간에 적용시켜 현실감을 증대시키고, 가상환경에 하드웨어 장치들을 사용하여 몰입감을 증대시키기 위한 방향으로 연구가 진행되고 있다. 가상 수중 환경에 대한 체감형 콘텐츠의 제작은 사용자의 몰입감을 증대시키기 위해 하드웨어 장치들과 해양 콘텐츠를 연계하기 위한 양방향 인터페이스 기술이 필요하다. 본 연구에서는 수심 변화에 따른 환경 요인들을 분석하여 정규화된 수중 물리 법칙을 적용함으로써 현실적이고 사실감 있는 가상 수중 환경을 표현하고자 하였다. 또한 스킨스쿠버 체감 시뮬레이터를 가상 수중환경과 연동시킴으로써 수중에 직접 들어가지 않고도 스킨스쿠버를 체험해 볼 수 있는 체감형 콘텐츠를 개발하고자 하였다.

• 한국멀티미디어학회논문지
• /
• 제12권4호
• /
• pp.502-511
• /
• 2009

컴퓨터그래픽스에서 실세계의 피사계 심도를 표현하기 위해 많은 연구가 진행되어왔다. 피사계 심도는 초점이 맺히는 초점평면을 기준으로 초점거리보다 가깝거나 멀 경우 렌즈와 조리개의 특성에 따라 해당부분이 흐리게 표현되는 현상이다. 이것을 이용하면 사람의 눈처럼 수정체에 의한 아웃 포커스 현상을 표현할 수 있기 때문에 현실감 있는 영상 표현이 가능하다. 본 논문에서는 eye-tracking 기술을 이용하여 사용자의 착안점을 계산하고 이를 바탕으로 GPU기반의 피사계 심도 조절방법을 구현함으로써 입체영상을 볼 때 발생하는 부작용을 줄이는 방법을 제안한다. 일반적으로 입체영상은 사용자의 초점을 강제로 조정하기 때문에 장시간 입체영상을 보면 어지럼증 등 부작용이 나타난다. 제안하는 기법은 눈동자의 움직임을 실시간으로 추적하여 입체영상의 피사계 심도를 자동으로 조절할 수 있기 때문에 부작용 저감이 가능하며 몰입감을 향상시킬 수 있다.

• 한국멀티미디어학회논문지
• /
• 제17권1호
• /
• pp.104-112
• /
• 2014

가상현실 기술의 발전과 해양개발 산업의 급성장으로 해양 산업 분야에서 데이터 분석, 가상 체험, 교육 및 모의 훈련 등의 목적에 활용할 수 있는 가상 해저 시뮬레이션에 대한 연구가 다양하게 진행되고 있다. 가상 해저 시뮬레이션 시스템은 3차원 그래픽 기술을 통한 시각적인 체험을 위주로 개발되고 있어 체험자가 현실감을 경험하기에는 한계가 있다. 가상현실을 이용한 해저 시뮬레이션을 구현하는데 있어서 현실감 향상을 위해서는 모의적으로 생성된 가상환경에서 시청각적인 요소 이외의 감각적인 부분을 통해 사실적인 체험이 가능한 요소가 필요하다. 본 논문에서는 해저환경의 물리적 현상에 따라 다감각 효과를 제공할 수 있는 가상 해저 체험 시뮬레이션 시스템을 개발 하였다. 또한 제안 시스템의 유효성을 검증하기 위하여 참가자 실험을 통하여 현실감에 대하여 평가 하였다.

• 한국게임학회 논문지
• /
• 제13권5호
• /
• pp.63-72
• /
• 2013

기존의 학습자에게 제공되는 교육용 콘텐츠의 대부분이 2D 기반의 단방향 교육으로 효과가 현저히 낮은 것으로 나타났다. 이를 개선하기 위하여 본 논문에서는 상호 인터랙션을 적용한 3D 우주탐험을 개발함으로써 학습 몰입도를 높이고 교육효과를 극대화하였다. 제안한 방법은 과학 학습 특성상 기존 2D 개발 기술로는 개념화 및 실체적 접근이 어려운 학습영역을 3D 객체로 제작하였고 이를 학습자가 직접 접근할 수 있도록 동작인식 센서를 이용한 체감형 인터페이스 기술을 연구하여 콘텐츠에 적용하였다. 본 논문의 결과로 학습자는 '3D 우주탐험' 교육용 콘텐츠를 직접 체험함으로써 학생들이 실제 현장에서 수업을 받는 것과 같은 몰입교육에 큰 효과가 있을 것으로 예상된다.

• ETRI Journal
• /
• 제44권6호
• /
• pp.1034-1046
• /
• 2022

The learning-based multiview stereo (MVS) methods for three-dimensional (3D) reconstruction generally use 3D volumes for depth inference. The quality of the reconstructed depth maps and the corresponding point clouds is directly influenced by the spatial resolution of the 3D volume. Consequently, these methods produce point clouds with sparse local regions because of the lack of the memory required to encode a high volume of information. Here, we apply the atrous spatial pyramid pooling (ASPP) module in MVS methods to obtain dense feature maps with multiscale, long-range, contextual information using high receptive fields. For a given 3D volume with the same spatial resolution as that in the MVS methods, the dense feature maps from the ASPP module encoded with superior information can produce dense point clouds without a high memory footprint. Furthermore, we propose a 3D loss for training the MVS networks, which improves the predicted depth values by 24.44%. The ASPP module provides state-of-the-art qualitative results by constructing relatively dense point clouds, which improves the DTU MVS dataset benchmarks by 2.25% compared with those achieved in the previous MVS methods.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권8호
• /
• pp.2381-2398
• /
• 2024

The construction of virtual indoor spaces is crucial for the development of metaverses, virtual production, and other 3D content domains. Traditional methods for creating these spaces are often cost-prohibitive and labor-intensive. To address these challenges, we present a pipeline for generating digital twins of real indoor environments from RGB-D camera-scanned data. Our pipeline synergizes space structure estimation, 3D object detection, and the inpainting of missing areas, utilizing deep learning technologies to automate the creation process. Specifically, we apply deep learning models for object recognition and area inpainting, significantly enhancing the accuracy and efficiency of virtual space construction. Our approach minimizes manual labor and reduces costs, paving the way for the creation of metaverse spaces that closely mimic real-world environments. Experimental results demonstrate the effectiveness of our deep learning applications in overcoming traditional obstacles in digital twin creation, offering high-fidelity digital replicas of indoor spaces. This advancement opens for immersive and realistic virtual content creation, showcasing the potential of deep learning in the field of virtual space construction.