• 인터넷정보학회논문지
• /
• 제22권2호
• /
• pp.51-58
• /
• 2021

가상 현실 공간에서 실사 영상 및 그래픽 환경에 대해 사용자 움직임에 대응하는 영상을 제공하는 three degrees of freedom plus(3DoF+) 및 six degrees of freedom(6DoF) 시스템은 실감형 미디어를 제공하기 위해 서로 다른 위치에서 동시에 취득된 다수의 초고화질 및 고해상도의 영상 집합 전송을 요구한다. 다수의 영상들을 사용해 사용자 시점 영상을 생성할 때, 기존의 영상 압축 코덱에서 발생했던 것과는 다른 형태의 품질 저하가 발생하여 기존의 영상 품질 평가 기법들은 3DoF+ 및 6DoF 시스템 평가에 적합하지 않다. 본 논문은 3DoF+ 환경에서 합성된 사용자 시점 영상에 대한 다양한 객관적 영상 품질 평가 기법에 대한 성능 평가를 소개한다. 또한, 기존의 객관적 영상 품질 평가 기법을 조합하여 주관적인 평가와 상관관계를 더욱 높인 평가 기법인 슈퍼 메트릭(super metric)을 제시한다. 3DoF+ 몰입형 비디오 평가 시 제안한 기법을 사용하였을 때, 주관적 평가 점수와의 상관관계에서 peak signal-to-noise ratio(PSNR) 대비 0.4513의 상승이 있었음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.375-377
• /
• 2013

텔레프레즌스 시스템은 기존의 영상회의 시스템과 비교하여, 라이프 사이즈의 출력, 고품질의 영상 및 음성 출력을 가능하게 함으로써 참석자로 하여금 실제 회의에 참석하고 있는 듯한 몰입도를 제공하여 원거리의 출장을 대체할 수 있는 시스템이다. 기존의 텔레프레즌스 시스템은 각 클라이언트의 미디어 정보를 중앙 서버에서 취합, 재구성하여 각각의 클라이언트로 전달하는 구조를 갖는다. 이러한 구조는 기능의 구현은 용이하나 모든 트래픽이 서버로 집중되어 서버가 설치되어 있는 통신 노드에 부하가 집중되는 단점을 갖는다. 이러한 문제점을 해결하기 위해 중앙 서버의 호처리 기능과 미디어 처리 기능을 통신망에 분산시키는 구조가 분산형 텔레프레즌스 구조이며, 분산 구조 하에서 각각의 클라이언트는 기존의 중앙 서버에서 처리되었던 미디어의 재구성 기능, 텔레프레즌스 서비스를 위한 고품질의 비디오 및 오디오 처리 기능, 협업을 위한 문서 공유 기능 등이 요구된다. 본 논문에서는 분산형 구조에서 요구사항을 만족하는 텔레프레즌스 클라이언트 시스템의 구현 방법에 대하여 기술한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2006년도 학술대회
• /
• pp.265-268
• /
• 2006

데스크탑 환경의 멀티미디어 디스플레이 시스템은 고해상도, 대화면의 영상을 제공해 줄 수 있는 반면 제약된 공간에서만 동작하므로 휴대할 수 없는 문체가 있다. PDA, PMP와 모바일 폰과 같은 휴대성을 가지는 멀티미디어 디스플레이 시스템은 해상도가 낮아 사용자에게 충분한 몰입감을 제공 해 주지 못한다. 본 논문에서는 기존의 데스크탑 환경에서 동작하는 프로젝션 기반의 증강현실 시스템을 모바일 플랫폼으로 확장한 프로젝션 기반의 휴대형 멀티미디어 디스플레이 시스템을 제안한다. 제안된 시스템은 PDA와 포켓 프로젝터를 결합한 것으로, PDA에서 전 처리된 멀티미디어 영상을 포켓 프로젝터를 이용하여 임의의 모양을 가지는 스크린에 왜곡 없이 영상을 표시해 줄 수 있다. 개발환경은 Window Mobile 5.0 기반의 ARM 플랫폼을 사용하는 PDA를 이용하였고, 시스템의 최적화를 위하여 x86 플랫폼에 최적화된 OpenCV 라이브러리를 모바일용으로 변환하였다. 또한 모바일 플랫폼에서는 부동소수점 연산으로 인한 시스템의 속도저하 문제가 발생하기 때문에 부동소수점 연산을 정수 연산으로 변환함으로써 처리 속도를 개선하였다. 프로젝션 기반의 디스플레이 시스템을 실현하기 위해서 필요한 기술적인 과제들을 모바일 환경에서 직접 처리해 봄으로써 휴대형 프로젝션 기반의 멀티미디어 시스템의 가능성을 제시한다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.773-793
• /
• 2022

다수의 고품질 몰입형 영상 전송을 통해 가상 현실에서 six degrees of freedom(6DoF)를 지원하기 위해 the moving picture experts group (MPEG) immersive video (MIV) 압축 표준이 설립되었다. MIV는 비트율과 연산 복잡도 간 상충관계를 고려하여 1) 시점 간 연관성 제거 또는 2) 대표 시점을 선택하여 전송하는 2가지 압축 방식을 제공한다. 본 논문은 전술한 두 가지 방식에 대해 high-efficiency video coding (HEVC), versatile video coding (VVC) 기반 성능 분석 결과를 입력 영상 위치에 합성한 가상 영상 및 사용자 시점 영상 중심으로 제시한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.2073-2075
• /
• 2009

최근 멀티미디어 기술과 가상/증강현실 기술의 발전으로 사용자에게 몰입감 있는 콘텐츠를 제공하는 여러 시스템들이 제안되고 있다. 또한 기존의 시각과 음향효과만으로 이루어진 시스템의 한계를 넘어서 실제와 같은 느낌을 전달할 수 있는 햅틱기술을 적용하여 보다 몰입감있는 체험형 실감책들이 고안되고 있다. 본 연구에서는 과학교과서를 중심으로 과학적 이론을 보다 효과적으로 가르치고 배우기 위해 필요한 다양한 촉감(Haptic)을 분류하고, 이를 실감책에 적용하여 책이 담고 있는 주요 내용 또는 삽화와 관련된 다양한 멀티미디어 콘텐츠를 가상/증강환경에서 시청각정보와 함께 촉각콘텐츠를 독자에게 제공함으로써 보고, 듣고 만질 수 있는 적극적인 촉감 상호작용이 가능한 실감책 ('Sil-Gam' Book) 시스템의 기본 프레임워크를 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.14-17
• /
• 2022

본 논문에서는 현실세계에서 사용되던 오디오 처리 기법을 가상현실과 증강현실로 확장하는 기술에 대해 제시한다. 메타버스 서비스 구축 등에 활용되는 가상현실 공간을 설계할 때에는 오디오 처리를 위해서 가상현실 공간내 사용자가 위치하는 장면에 따른 소리의 회절과 반사에 따른 잔향 효과를 고려해 줄 수 있어야 장면에 몰입된 사용자 경험이 가능하다. 증강현실 응용에서는 실제 정보와 증강된 효과를 제공하기 위해 가상과 실제 정보간의 위치 정합이 영상 또는 위치를 기반으로 하여 제공되어야 한다. 가상현실과 증강현실 지원을 위해 현실세계 오디오 재생 기술에 추가되어야 하는 기술들과 함께 진행중인 몰입형오디오 서비스를 제공하기 위한 국제표준 기술 개발의 현황을 살펴보고, 향후 추가로 기술이 개발되고 보완되어야 할 부분을 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.54-57
• /
• 2022

다수의 색상 및 거리 정보로 구성된 몰입형 영상 부호화를 위한 MPEG immersive video (MIV) 표준은 각 시점의 영상 간 중복성 제거 및 잔여 영상 병합을 통한 압축률 향상을 목표로 한다. 시점에 따른 카메라 그룹핑을 통해 압축률 향상이 가능하나, 그룹 기반 MIV 부호화 기술은 최근 활발히 논의되고 있지 않다. 따라서 본 논문은 최신 버전의 MIV 참조 소프트웨어에 그룹 기반 부호화 기술을 이식하고 적응적 스트리밍을 위한 그룹 기반 부호화 기술의 효율을 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1241-1244
• /
• 2022

최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1325-1328
• /
• 2022

언제 어디서든 한 손으로 미디어 콘텐츠를 소비할 수 있게 해주는 모바일 기기들이 기존 전통적 미디어 콘텐츠 단말기였던 TV나 데스크톱 PC들을 대체하게 되면서 세로형 영상 콘텐츠에 대한 수요가 나날이 높아져 가고 있다. 이와 더불어 모바일 단말기 제조사들은 서로 간의 경쟁에서 앞서기 위해 제품 차별화 전략을 수립하고 모바일 사용자들의 요구 사항을 세세하게 맞추기 위한 결과, 저마다 다른 디스플레이 해상도 규격을 가진 모바일 기기들이 생산되고 있는 상황이다. 이에 미디어 콘텐츠 제작자들은 기존 가로형 영상 콘텐츠와 더불어 새롭게 요구되는 세로형 영상 콘텐츠들을 저마다 다른 해상도 규격에 맞추는데 많은 시간과 비용을 투자하고 있다. 더 나아가 모바일 단말기 해상도 규격과 맞지 않는 영상 콘텐츠를 시청하게 될 경우, 모바일 사용자 입장에서는 디스플레이 전체 영역을 뷰포트로 잡을 수 없어 시청 만족도가 떨어질 수 있다. 이에 본 논문은 한 번의 콘텐츠 제작을 통해서도 추가 비용 없이 다양한 디스플레이 규격을 가진 단말기들에 대해 맞춤형 콘텐츠 서비스 제공을 가능하게 하여 미디어 콘텐츠 소비자들에게 충분한 시청 몰입감을 제공해줄 수 있는 단말 적응적 미디어 화면비 변환 시스템을 제안한다. 단말 적응적 미디어 화면비 변환 시스템은 딥러닝 네트워크 모델과 이미지 관련 라이브러리를 기반으로 하여 설계한 시스템이며, 사용자가 시청하기 원하는 영역을 판단하고, 사용자가 원하는 뷰포트 종횡비에 따라 해당 영역을 잘라내어 사용자가 원하는 세로형 영상 콘텐츠를 제공해준다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.118-123
• /
• 2006

본 논문에서는 반몰입형 가상현실 시스템인 반응형 멀티미디어 시스템(RMS: Responsive Multimedia System)을 이용한 개인화된 스토리텔링 기법을 제안한다. 인간은 글, 그림, 영상 기술 등을 이용한 다양한 스토리텔링 기법을 개발해 왔으며, 가상 현실 기술을 통하여 기존의 멀티미디어보다 한차원 높은 수준의 스토리텔링을 가능하게 하였다. 제안된 스토리텔링 기법은 테이블 형태의 다감각 사용자 인터페이스, 사용자 정보 처리와 위치기반 이벤트를 결정하는 컨텍스트 인식 응용 모델 (vr-UCAM), 그리고 가상환경 네비게이션과 변화, 캐릭터의 애니메이션을 가능케 하는 가상공간 관리기로 구성된다. 제안된 스토리텔링 기법은 다감각 사용자 인터페이스를 통하여 직관적인 상호작용을 가능하게 한다. 그리고 컨텍스트 인식 응용 모델을 활용하여 사용자 개인정보를 스토리에 적용하여 개인화된 스토리가 전개될 수 있도록 한다. 그리고 가상 환경의 네비게이션, 가상 캐릭터, 날씨 및 환경의 변화 등을 조절하여 실감있게 스토리가 전개되도록 한다. 제안된 스토리텔링 환경을 검증하기 위해 운주사에 얽힌 설화를 기반으로 가상 운주사 체험 시스템을 구현하였다. 이를 통해, 반응형 멀티미디어 시스템을 이용한 스토리텔링의 가능성을 검증하였으며, 컨텍스트 인식 응용 모형을 활용한 개인화된 스토리텔링을 선보였다. 제안된 스토리텔링 기법은 문화교육, 에듀테인먼트, 예술 분야에 활용될 것으로 기대된다.