• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권7호
• /
• pp.3558-3577
• /
• 2017

In 2D-to-3D video conversion process, the virtual left and right view can be generated from 2D video and its corresponding depth map by depth image based rendering (DIBR). The depth map plays an important role in conversion system, so the copyright protection for depth map is necessary. However, the provided virtual views may be distributed illegally and the depth map does not directly expose to viewers. In previous works, the copyright information embedded into the depth map cannot be extracted from virtual views after the DIBR process. In this paper, a new copyright protection scheme for the depth map is proposed, in which the copyright information can be detected from the virtual views even without the depth map. The experimental results have shown that the proposed method has a good robustness against JPEG attacks, filtering and noise.

• 한국통신학회논문지
• /
• 제34권12C호
• /
• pp.1154-1166
• /
• 2009

본 논문에서는 다시점 동영상을 이용한 기저선(baseline)상의 가상시점 영상 생성과 기저선상 외의 가상시점 영상 생성을 위한 기법을 제안한다. 제안한 기법에서는 가상 시점을 생성하기 위하여 영상의 깊이(depth)정보와 고정된 카메라의 기하학적 특성을 이용한 3차원 워핑(warping) 방법을 적용한다. 영상의 실제 3차원 좌표는 영상의 깊이 정보와 카메라의 기하학적 특성을 이용하여 산출되고, 산출된 3차원 좌표는 임의 위치의 가상 카메라에 투영(projection)되어 2차원의 가상 시점 영상이 생성된다. 제안한 방법에 의해 생성된 기저선상의 중간시점 영상은 기존의 방법으로 생성된 중간시점 영상보다 PSNR이 0.5dB 이상 향상된 결과를 나타내었고, 기저선상 외의 가상 시점 영상에서 나타나는 많은 미처리 영역을 보다 효과적으로 처리하여 가상시점 영상을 생성할 수 있었다.

• 방송공학회논문지
• /
• 제4권2호
• /
• pp.87-102
• /
• 1999

가상의 삼 차원 컴퓨터 그래픽 영상을 실제 비디오 영상과 합성하는 증강현실을 구현하기 위해서는 카메라의 초점거리 같은 내부변수와 카메라가 어떻게 움직였는지를 나타내는 회전 및 직선 운동에 대한 이동정보가 반드시 필요하다. 따라서, 기존의 방법들은 미리 카메라의 내부변수를 계산해 둔 다음, 실제 영상에서 얻어지는 정보를 이용하여 카메라의 이동정보를 계산하거나, 실제 영상에 카메라 보정을 위한 삼 차원 보정 패턴이 보이도록 한다음 영상에서 그 패턴의 형태를 분석하여 카메라의 내부변수와 운동정보를 동시에 계산하는 방법을 사용하였다. 이 논문에서는 실제 영상에서 얻어지는 정합점들로부터 카메라 조정없이 구할 수 있는 투영기하공간 카메라 이동정보를 이용하여 증강현실을 구현하는 방법을 제안한다. 실제 카메라의 내부변수와 유클리드공간 이동정보를 대신하기 위하여 가상카메라를 정의하며, 가상카메라는 실제공간과 가상 그래픽 공간의 연결을 위하여 두 장의 영상에 사용자가 삽입하는 가상공간 좌표계의 기준점들의 영상좌표로부터 구해진다. 제안하는 방법은 카메라의 내부변수에 대한 정보를 따로 구할 필요가 없으며 컴퓨터 그래픽이 지원하는 모든 기능을 비유클리드공간의 정보로도 구현이 가능하다는 것을 보여준다.

• ETRI Journal
• /
• 제38권6호
• /
• pp.1114-1123
• /
• 2016

Multi-view video plus depth (MVD) has been widely used owing to its effectiveness in three-dimensional data representation. Using MVD, color videos with only a limited number of real viewpoints are compressed and transmitted along with captured or estimated depth videos. Because the synthesized views are generated from decoded real views, their original reference views do not exist at either the transmitter or receiver. Therefore, it is challenging to define an efficient metric to evaluate the quality of synthesized images. We propose a novel metric-the reduced-reference quality metric. First, the effects of depth distortion on the quality of synthesized images are analyzed. We then employ the high correlation between the local depth distortions and local color characteristics of the decoded depth and color images, respectively, to achieve an efficient depth quality metric for each real view. Finally, the objective quality metric of the synthesized views is obtained by combining all the depth quality metrics obtained from the decoded real views. The experimental results show that the proposed quality metric correlates very well with full reference image and video quality metrics.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권10호
• /
• pp.4108-4125
• /
• 2015

This paper presents a scalable coding method for depth images by considering the quality of synthesized images in virtual views. First, we design a new edge detection algorithm that is based on calculating the depth difference between two neighboring pixels within the depth map. By choosing different thresholds, this algorithm generates a scalable bit stream that puts larger depth differences in front, followed by smaller depth differences. A scalable scheme is also designed for coding depth pixels through a layered sampling structure. At the receiver side, the full-resolution depth image is reconstructed from the received bits by solving a partial-differential-equation (PDE). Experimental results show that the proposed method improves the rate-distortion performance of synthesized images at virtual views and achieves better visual quality.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.22-24
• /
• 2018

MPEG-I Visual group is actively working on enhancing immersive experiences with up to six degree of freedom (6DoF). In virtual space of omnidirectional 6DoF, which is defined as a case of degree of freedom providing 6DoF in a restricted area, looking at the scene from another viewpoint (another position in space) requires rendering additional viewpoints called virtual omnidirectional viewpoints. This paper presents the performance analysis on view synthesis, which is done as the exploration experiment (EE) in MPEG-I, from a set of 360 videos providing omnidirectional 6DoF in various ways with different distances, directions, and number of input views. In addition, we compared the subjective quality between synthesized images with one input view and two input views.

• ETRI Journal
• /
• 제26권6호
• /
• pp.597-604
• /
• 2004

In stereoscopic television, there is a trade-off between visual comfort and 3-dimensional (3D) impact with respect to the baseline-stretch of a 3DTV camera. It is necessary to adjust the baseline-stretch at an appropriate the distance depending on the contents of a scene if we want to obtain a subjectively optimal quality of an image. However, it is very hard to obtain a small baseline-stretch using commercially available cameras of broadcasting quality where the sizes of the lens and CCD module are large. In order to overcome this limitation, we attempt to freely control the baseline-stretch of a stereoscopic camera by synthesizing the virtual views at the desired location of interval between two cameras. This proposed technique is based on the stereo matching and view synthesis techniques. We first obtain a dense disparity map using a hierarchical stereo matching with the edge-adaptive multiple shifted windows. Then, we synthesize the virtual views using the disparity map. Simulation results with various stereoscopic images demonstrate the effectiveness of the proposed technique.

• ETRI Journal
• /
• 제38권1호
• /
• pp.149-158
• /
• 2016

In the field of augmented reality technologies, commercial optical see-through-type wearable displays have difficulty providing immersive visual experiences, because users perceive different depths between virtual views on display surfaces and see-through views to the real world. Many cases of augmented reality applications have adopted eyeglasses-type displays (EGDs) for visualizing simple 2D information, or video see-through-type displays for minimizing virtual- and real-scene mismatch errors. In this paper, we introduce an innovative optical see-through-type wearable display hardware, called an EGD. In contrast to common head-mounted displays, which are intended for a wide field of view, our EGD provides more comfortable visual feedback at close range. Users of an EGD device can accurately manipulate close-range virtual objects and expand their view to distant real environments. To verify the feasibility of the EGD technology, subject-based experiments and analysis are performed. The analysis results and EGD-related application examples show that EGD is useful for visually expanding immersive 3D augmented environments consisting of multiple displays.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.233-237
• /
• 2009

This paper represents a new approach which addresses quality degradation of a synthesized view, when a virtual camera moves forward. Generally, interpolation technique using only two neighboring views is used when a virtual view is synthesized. Because a size of the object increases when the virtual camera moves forward, most methods solved this by interpolation in order to synthesize a virtual view. However, as it generates a degraded view such as blurred images, we prevent a synthesized view from being blurred by using more cameras in multiview camera configuration. That is, we solve this by applying super-resolution concept which reconstructs a high resolution image from several low resolution images. Therefore, data fusion is executed by geometric warping using a disparity of the multiple images followed by deblur operation. Experimental results show that the image quality can further be improved by reducing blur in comparison with interpolation method.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.