• 방송과미디어
• /
• 제26권2호
• /
• pp.46-55
• /
• 2021

최근 디바이스와 5G 통신의 비약적인 발전을 통해 가상/증강 현실 분야, 자율 주행 등 3차원 그래픽스 기술에 대한 연구가 활발하게 진행되고 있으며, 3차원 정보를 면밀하게 표현할 수 있는 포인트 클라우드와 다시점 초실감 콘텐츠가 주목받고 있다. 이와 같은 콘텐츠는 전통적인 2D 비디오 대비 많은 데이터를 사용하고 있기에, 효율적 사용을 위해서는 압축이 필수적으로 요구된다. 이에 따라 국제표준화기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 고밀도 포인트 클라우드 및 초다시점 실감형 콘텐츠에 대한 압축 방안으로 V-PCC(Video based Point Cloud Compression) 및 MIV(MPEG Immersive Video) 기술을 표준화 중에 있으며, 또한, 압축된 데이터를 효율적으로 저장, 전송하기 위한 방안으로 Carriage of Visual Volumetric Video Coding(V3C) 표준화가 진행중에 있다. 본 고에서는 MPEG에서 진행중인 V3C 표준 기술에 대하여 살펴보고자 한다.

• 방송공학회논문지
• /
• 제12권4호
• /
• pp.333-341
• /
• 2007

Multi-view video has recently gained much attraction from academic and commercial fields because it can deliver the immersive viewing of natural scenes. This paper presents multi-view video processing being composed of intermediate view reconstruction (IVR), graphics composition, and multi-view video viewer. First we generate virtual views between multi-view cameras using depth and texture images of the input videos. Then we mix graphic objects to the generated view images. The multi-view video viewer is developed to examine the reconstructed images and composite images. As well, it can provide users with some special effects of multi-view video. We present experimental results that validate our proposed method and show that graphic objects could become the inalienable part of the multi-view video.

• ETRI Journal
• /
• 제38권1호
• /
• pp.149-158
• /
• 2016

In the field of augmented reality technologies, commercial optical see-through-type wearable displays have difficulty providing immersive visual experiences, because users perceive different depths between virtual views on display surfaces and see-through views to the real world. Many cases of augmented reality applications have adopted eyeglasses-type displays (EGDs) for visualizing simple 2D information, or video see-through-type displays for minimizing virtual- and real-scene mismatch errors. In this paper, we introduce an innovative optical see-through-type wearable display hardware, called an EGD. In contrast to common head-mounted displays, which are intended for a wide field of view, our EGD provides more comfortable visual feedback at close range. Users of an EGD device can accurately manipulate close-range virtual objects and expand their view to distant real environments. To verify the feasibility of the EGD technology, subject-based experiments and analysis are performed. The analysis results and EGD-related application examples show that EGD is useful for visually expanding immersive 3D augmented environments consisting of multiple displays.

• ETRI Journal
• /
• 제44권1호
• /
• pp.51-61
• /
• 2022

In this paper, we introduced a novel voxel-wise UV parameterization and view-dependent texture synthesis for the immersive rendering of a truncated signed distance field (TSDF) scene model. The proposed UV parameterization delegates a precomputed UV map to each voxel using the UV map lookup table and consequently, enabling efficient and high-quality texture mapping without a complex process. By leveraging the convenient UV parameterization, our view-dependent texture synthesis method extracts a set of local texture maps for each voxel from the multiview color images and separates them into a single view-independent diffuse map and a set of weight coefficients for an orthogonal specular map basis. Furthermore, the view-dependent specular maps for an arbitrary view are estimated by combining the specular weights of each source view using the location of the arbitrary and source viewpoints to generate the view-dependent textures for arbitrary views. The experimental results demonstrate that the proposed method effectively synthesizes texture for an arbitrary view, thereby enabling the visualization of view-dependent effects, such as specularity and mirror reflection.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.660-669
• /
• 2019

최근 3차원 스캐닝 장비 및 다차원 어레이 카메라의 발달로 AR(Augmented Reality)/VR(Virtual Reality), 자율 주행과 같은 응용분야에서 3차원 데이터를 다루는 기술에 관한 연구가 지속해서 이루어지고 있다. 특히, AR/VR 분야에서는 3차원 영상을 포인트 데이터로 표현하는 콘텐츠가 등장하였으나, 이는 기존의 2차원 영상보다 많은 양의 데이터가 필요하다. 따라서 3차원 포인트 클라우드 콘텐츠를 사용자에게 서비스하기 위해서는 고효율의 부호화/복호화와 저장 및 전송과 같은 다양한 기술 개발이 요구된다. 본 논문에서는 MPEG-I(MPEG-Immersive) V-PCC(Video based Point Cloud Compression) 그룹에서 제안한 V-PCC 부호화기를 통해 생성된 V-PCC 비트스트림을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 표준에서 정의한 세그먼트로 구성하는 방안을 제안한다. 또한, 사용자에게 3차원 좌표계 정보를 제공하기 위해 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다. 그리고 본 논문에서 제안된 기술을 검증하기 위한 검증 플랫폼을 설계하고, 제안한 기술의 알고리듬 측면에서 확인한다.

• 한국인터넷방송통신학회논문지
• /
• 제21권1호
• /
• pp.27-34
• /
• 2021

본 논문에서는 HEVC(High Efficiency Video Coding) 기반의 실감형 콘텐츠에 대한 실시간 스트리밍 저작권 보호 기법을 제안한다. 기존의 연구는 저작권 사전 보호와 저작권 사후 보호를 위해 암호화와 모듈러 연산을 사용하기 때문에 초고해상도의 영상에서 지연이 발생한다. 제안하는 기법은 HEVC의 CABAC 코덱만으로 스레드풀 기반에서 DRM 패키징을 하고 GPU 기반에서 고속 비트 연산(XOR)을 사용하여 병렬화를 극대화하므로 실시간 저작권 보호가 가능하다. 이 기법은 세 가지의 해상도에서 기존 연구와 비교한 결과 PSNR은 평균 8배 높은 성능을 보였고, 프로세스 속도는 평균 18배의 차이를 보였다. 그리고 포렌식마크의 강인성을 비교한 결과 재압축 공격에서 27배 차이를 보이며, 필터 및 노이즈 공격에서는 8배 차이를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권3호
• /
• pp.929-946
• /
• 2022

Free viewpoint video (FVV) service is an immersive media service that allows a user to watch it from a desired location or viewpoint. It is composed of various forms according to the direction of the viewpoint of the provided video, and includes zoom in/out in the service. As consumers' demand for active watching is increasing, the importance of FVV services is expected to grow gradually. However, additional considerations are needed to seamlessly stream FVV service. FVV includes a plurality of videos, video changes may occur frequently due to movement of the viewpoint. Frequent occurrence of video switching or re-request another video can cause service delay and it also can lower user's quality of service (QoS). In this case, we assumed that if a video showing an object that the user wants to watch is selected and provided, it is highly likely to meet the needs of the viewer. In particular, it is important to provide an object-oriented FVV service when zooming in. When video zooming in in the usual way, it cannot be guaranteed to zoom in around the object. Zoom function does not consider about video viewing. It only considers the viewing screen size and it crop the video view as fixed screen location. To solve this problem, we propose a zoom in/out method of object-centered dynamic adaptive streaming of FVV in this paper. Through the method proposed in this paper, users can enjoy the optimal video service because they are provided with the desired object-based video.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.25-31
• /
• 2019

360 비디오는 VR 응용의 확산과 함께 몰입형 미디어로 주목받고 있으며, JVET(Joint Video Experts Team)에서 post-HEVC로 진행중인 VVC(Versatile Video Coding) 표준화에서 360 비디오 부호화도 함께 고려되고 있다. 360 비디오 부호화를 위하여 2D로 투영된 영상에는 투영 면(face) 경계의 불연속성과 비활성 영역이 존재할 수 있으며 이는 부호화 효율을 저하시키고 시각적 아티팩트(visual artifact)를 발생시킬 수 있다. 본 논문에서는 2D 투영 기법 중 SSP(Segmented Sphere Projection)에서의 이러한 불연속성과 비활성 영역을 줄이는 효율적인 기하학적 패딩(padding) 기법을 제시한다. 실험결과, 제안 기법은 복사에 의한 패딩을 사용하는 기존 SSP 대비 미미한 부호화 효율 저하는 있지만 주관적 화질이 향상된 것을 확인할 수 있었다.

• ETRI Journal
• /
• 제29권3호
• /
• pp.353-362
• /
• 2007

In this paper, we propose a novel unsupervised video object extraction algorithm for individual images or image sequences with low depth of field (DOF). Low DOF is a popular photographic technique which enables the representation of the photographer's intention by giving a clear focus only on an object of interest (OOI). We first describe a fast and efficient scheme for extracting OOIs from individual low-DOF images and then extend it to deal with image sequences with low DOF in the next part. The basic algorithm unfolds into three modules. In the first module, a higher-order statistics map, which represents the spatial distribution of the high-frequency components, is obtained from an input low-DOF image. The second module locates the block-based OOI for further processing. Using the block-based OOI, the final OOI is obtained with pixel-level accuracy. We also present an algorithm to extend the extraction scheme to image sequences with low DOF. The proposed system does not require any user assistance to determine the initial OOI. This is possible due to the use of low-DOF images. The experimental results indicate that the proposed algorithm can serve as an effective tool for applications, such as 2D to 3D and photo-realistic video scene generation.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.808-816
• /
• 2017

본 논문에서는 360 VR 멀티미디어 시스템에서 복수개의 카메라들이 촬영한 영상 신호들 간의 밝기 차이가 발생하여 360 VR 영상 품질을 저하시키는 것을 막기 위해, 360 VR 시스템에 적합한 밝기 보상 기법을 제안한다. 복수개의 카메라가 촬영한 영상들 간의 특징점들을 분석하고, 이 특징점들을 대상으로 누적 히스토그램을 계산한다. 그리고 이 누적 히스토그램을 기반으로 우선적으로 밝기 보상이 필요한 영상들을 선별한다. 선별된 영상들에 대해서 내부 특징점들의 누적 히스토그램과 외부 특징점들의 히스토그램들을 일치시키기 위한 룩업테이블을 제작하여, 선별된 영상 내부의 모든 화소들의 밝기값을 보상한다. 본 논문의 실험결과에서는 제안하는 알고리즘의 우수성을 히스토그램 보상 측면, 밝기보상 영상의 시각적인 평가, ERP 영상의 화질 평가, Viewport 영상의 화질 평가 등의 측면에서 보였으며, 다양한 기준들에서 제안한 방법이 기존 기술들보다 우수함을 보였다.