• 한국컴퓨터그래픽스학회논문지
• /
• 제30권3호
• /
• pp.23-41
• /
• 2024

최근 가상 아바타를 이용하여 가창과 안무를 표현하는 다양한 가상 아바타 음악 콘텐츠가 제작되고 있으며, 가상 아티스트들의 인기가 높아짐에 따라 오프라인에서도 가상 아바타 콘서트를 하는 사례도 등장하고 있다. 하지만 가상 아바타가 악기를 연주하는 밴드 콘텐츠의 제작 사례는 찾아보기 어려우며, 전면의 대형 스크린을 사용하는 오프라인 가상 아바타 콘서트는 가상 현실 특유의 환상적인 연출과 높은 자유도를 활용하기 어렵다는 단점이 있다. 본 논문은 이러한 제한점에 영감을 얻어, 가상 밴드 아이돌 Verse'day의 가상 아바타 밴드 콘텐츠 제작과 몰입형 인터랙티브 공연 제작 사례를 소개한다. 먼저, 본 논문에서는 모션 캡쳐 시스템과 실시간 엔진을 활용해 밴드 연주 애니메이션과 뮤직비디오를 제작한 과정을 소개한다. 이어서, 오프라인 콘서트에서 프로젝션 매핑과 실시간 상호작용 응원봉을 사용해 몰입형 인터랙티브 가상 아바타 공연을 제작한 사례를 소개한다. 마지막으로, 본 논문의 제작 사례를 바탕으로 향후 가상 아바타 음악 콘텐츠 제작을 위한 연구 방향을 제언하였다. 우리는 본 제작 사례가 향후 다양한 가상 아바타 음악 콘텐츠 제작과, 몰입형 인터랙티브 오프라인 가상 아바타 콘서트 제작에 영감을 줄 수 있을 것으로 기대한다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.161-167
• /
• 2021

This paper proposes a new personalized HRTF estimation method which is based on a deep neural network (DNN) model and improved elevation reproduction using a notch filter. In the previous study, a DNN model was proposed that estimates the magnitude of HRTF by using anthropometric measurements [1]. However, since this method uses zero-phase without estimating the phase, it causes the internalization (i.e., the inside-the-head localization) of sound when listening the spatial sound. We devise a method to estimate both the magnitude and phase of HRTF based on the DNN model. Personalized HRIR was estimated using the anthropometric measurements including detailed data of the head, torso, shoulders and ears as inputs for the DNN model. After that, the estimated HRIR was filtered with an appropriate notch filter to improve elevation reproduction. In order to evaluate the performance, both of the objective and subjective evaluations are conducted. For the objective evaluation, the root mean square error (RMSE) and the log spectral distance (LSD) between the reference HRTF and the estimated HRTF are measured. For subjective evaluation, the MUSHRA test and preference test are conducted. As a result, the proposed method can make listeners experience more immersive audio than the previous methods.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.1-5
• /
• 2020

최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

• 방송과미디어
• /
• 제23권4호
• /
• pp.31-40
• /
• 2018

VR(Virtual Reality), AR(Augmented Reality) 컨텐츠의 획득과 소비가 가능한 사용자 디바이스들이 널리 보급되고 있는 가운데, MPEG(Moving Picture Experts Group)에서는 몰입형(immersive) 미디어의 압축과 포맷, 전송에 대한 표준 제정 작업이 활발히 진행 중이다. 본 논문에서는 몰입형 미디어 표준 프로젝트인 MPEG-I와 그 부속 표준의 하나이며 전 방향 미디어 포맷에 대한 표준인 OMAF 표준의 기술 전반과 표준 동향에 대해 소개하고자 한다.

• 방송과미디어
• /
• 제28권2호
• /
• pp.25-32
• /
• 2023

본고에서는 버추얼 프로덕션(이후 VP로 표기)의 국내 도입 이후 현주소와 소비자의 니즈에 대응하기 위해 (주)비브스튜디오스에서 개발 중인 VP 통합제어 솔루션 'VIT'를 소개하고, 자체 스튜디오에서 사전 사업화를 진행하며 영상 콘텐츠를 제작한 사례를 통해 국산 솔루션의 가능성을 설명하고자 한다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.911-921
• /
• 2020

최근 MPEG-I (Immersive) 그룹에서는 몰입형 비디오(Immersive Video)에 대한 표준화 프로젝트를 통해 압축 성능 탐색을 진행하고 있다. MIV(MPEG Immersive Video) 표준 기술은 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적인 6DoF을 제공하고자 하는 기술이다. 현재 MIV에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. MIV에서 생성된 아틀라스는 포함되는 시점의 성격에 따라 다른 영상의 특성을 나타내어 비디오 코덱의 압축 효율에 대한 고찰이 필요하다. 따라서 본 논문에서는 다양한 시점과 패치들이 반복되는 패턴에 착안하여 화면 내 블록 카피(IBC: intra block copy) 등의 압축 기법이 포함된 스크린 콘텐츠 코딩 툴에 대한 성능 비교 분석을 진행하여 복원 영상에서 최대 -15.74% Peak Signal-to-Noise Ratio (PSNR) 관점에서의 부호화 성능 향상을 제공하였다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.155-166
• /
• 2021

현재 대부분의 객체 탐지 알고리즘은 RGB 영상을 기반으로 연구되고 있다. 하지만 RGB 카메라는 물체에서 반사되는 빛을 받아들여 영상을 생성하기 때문에, 물체에서 나오는 빛이 적거나 산란이 되는 야간 또는 안개가 끼는 환경에서는 물체의 정보가 잘 표현되는 영상 취득이 어려워 객체 탐지의 정확도가 떨어진다. 그에 반해 IR(열 적외선, Infra-Red) 영상은 열 센서로 이미지를 생성하기 때문에 RGB 영상에 비해 정확한 물체의 정보를 표현할 수 있다. 따라서 본 논문에서는 이러한 이미지 특성 차이에 따른 객체 탐지 성능을 비교하고자 하며, RGB와 IR 영상의 압축률에 따른 객체 탐지를 수행하고, 결과를 비교 분석 하고자 한다. 실험에 사용된 영상은 첨단운전자 보조 시스템(ADAS) 연구용 데이터 세트인 Free FLIR Thermal 데이터 세트 중 야간에 촬영된 RGB 영상과 IR 영상을 사용하였으며, 기존 RGB 영상 기반으로 사전 학습된 신경망과 FLIR Thermal 데이터 세트 내 RGB 영상과 IR 영상을 일부 골라 재학습한 신경망을 이용하여 객체 탐지를 수행하였다. 실험 결과 RGB 기반으로 사전 학습된 신경망과 재학습한 신경망 모두 IR 영상 기반 객체 탐지 성능이 RGB 영상 기반 성능보다 월등한 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.259-260
• /
• 2019

MPEG-I Visual group is actively working on enhancing immersive experiences with up to six degree of freedom (6DoF). In virtual space of 3DoF+, which is defined as an extension of 360 video with limited changes of the view position in a sitting position, looking at the scene from another viewpoint (another position in space) requires rendering additional viewpoints using multiple videos taken at the different locations at the same time. In the MPEG-I Visual workgroup, methods of efficient coding and transmission of 3DoF+ video are being studied, and they released Test Model for Immersive Media (TMIV) recently. This paper presents the enhanced clustering method which can pack the patches into atlas efficiently in TMIV. The experimental results show that the proposed method achieves significant BD-rate reduction in terms of various end-to-end evaluation methods.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1052-1062
• /
• 2020

As the market demand for immersive media increases, an efficient streaming method is required in consideration of network conditions while maintaining the user's immersive experience. Accordingly, transmitting a viewport with relatively high-quality, such as tile-based streaming, is mainly used. But there still remains a lot of technical challenges, such as quickly providing a new viewport in high-quality according to the gaze. To solve the aforementioned problem, in this paper, we propose a method of configuring and transmitting a supplemental tile set through the predicted direction, and a range of stable utilization of the transmitted supplemental tile set.

• International Journal of Internet, Broadcasting and Communication
• /
• 제15권3호
• /
• pp.1-7
• /
• 2023

Since the first outbreak of COVID-19 in 2019, it has caused a huge blow to the restaurant industry. However, as social distancing was lifted as of April 2022, the restaurant industry gradually recovered, and as a result, interest in restaurant start-ups increased. Therefore, in this paper, big data analysis was conducted by selecting "restaurant start-up" as a key keyword through social media big data analysis using Textom and then conducting word frequency and CONCOR analysis. The collection period of keywords was selected from May 1, 2022 to May 23, 2023, after the lifting of social distancing due to COVID-19, and based on the analysis, the development of a restaurant start-up consulting chatbot service is proposed.