• Proceedings of the IEEK Conference
• /
• 2005.11a
• /
• pp.1129-1132
• /
• 2005

In this paper, we proposed real-time stereoscopic image conversion algorithm using object segmentation and motion parallax. The proposed algorithm separates objects using luminance of image, extracts moving object among objects of the image using motion parallax and generates depth map. Parallax process is done based on the depth map. The proposed method has been evaluated using visual test and APD(Absolute Parallx Difference) for comparing the stereoscopic image of the proposed method with that of MTD. The proposed method offers realistic stereoscopic conversion effect regardless of the direction and velocity of the 2-D image.

• The Journal of the Korea Contents Association
• /
• v.13 no.10
• /
• pp.62-70
• /
• 2013

DIBR(Depth Image Based Rendering) is a kind of view synthesis algorithm to generate images at free view points from the reference color image and its depth map. One of the main challenges of DIBR is the occurrence of holes that correspond to uncovered backgrounds at the synthesized view. In order to cover holes efficiently, two main approaches have been actively investigated. One is to develop preprocessing algorithms for depth maps or parallax maps to reduce the size of possible holes, and the other is to develop hole filling methods to fill the generated holes using adjacent pixels in non-hole areas. Most conventional preprocessing algorithms for reducing the size of holes are based on the smoothing process of depth map. Filtering of depth map, however, attenuates the resolution of depth map and generates geometric distortions. In this paper, we proposes a novel preprocessing algorithm for parallax map to improve the performance of hole-filling by avoiding the drawbacks of conventional methods.

• The Journal of the Korea Contents Association
• /
• v.18 no.11
• /
• pp.447-454
• /
• 2018

This paper proposes a depth image generation algorithm of stereo images using a deep learning model composed of a CNN (convolutional neural network). The proposed algorithm consists of a feature extraction unit which extracts the main features of each parallax image and a depth learning unit which learns the parallax information using extracted features. First, the feature extraction unit extracts a feature map for each parallax image through the Xception module and the ASPP(Atrous spatial pyramid pooling) module, which are composed of 2D CNN layers. Then, the feature map for each parallax is accumulated in 3D form according to the time difference and the depth image is estimated after passing through the depth learning unit for learning the depth estimation weight through 3D CNN. The proposed algorithm estimates the depth of object region more accurately than other algorithms.

• Journal of Korea Game Society
• /
• v.8 no.1
• /
• pp.71-77
• /
• 2008

The geometric structure constructs terrain from height map and non-periodically tiling with Wang tile for the detail description. It will be able to express detail bump using parallax mapping to add decal data together with height data in tile. We solve the problem when the real-time rendering and propose improving of parallax mapping for the terrain.

• Journal of Digital Contents Society
• /
• v.6 no.3
• /
• pp.157-162
• /
• 2005

In this paper we propose real-time cocersion methods that can convert into stereoscopic image using depth map that is formed by motion detection extracted from 2-D moving image and region segmentation separated from image. Depth map which represents depth information of image and the proposed absolute parallax image are used as the measure of qualitative evaluation. We have compared depth information, parallax processing, and segmentation between objects with different depth for proposed and conventional method. As a result, we have confirmed the proposed method can offer realistic stereoscopic effect regardless of direction and velocity of moving object for a moving image.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.298-301
• /
• 2010

최근 전자업계의 중요한 화두 중 하나는 3D이다. 3D 입체 영상 기술은 미디어 환경을 변화시키고, 이에 발맞춰 방송환경 또한 변하고 있다. 고화질 3D 입체 방송은 기존의 2D 방송 서비스와 호환성을 유지하면서 시간적으로 2D 프로그램과 3D 프로그램이 혼용되어 제공되는 입체 방송 서비스가 될 것이다. 기존의 2D 기반 디지털 방송 서비스 환경에서 고화질 3D 입체 방송을 할 수 없다. 현재 국제 표준기구인 MPEG에서는 3D 서비스 방안으로 ISO/IEC 23002-3(MPEG-C part.3)이 표준화되었다. MPEG-C part.3에서 부가데이터인 depth map과 parallax map을 사용한다. 하지만 공간 주파수가 높은 영상의 depth map과 parallax map은 객체의 경계가 확실하지 않아 3D 입체 구현 시 객체의 경계면이 뭉개질 수 있다. 따라서 본 논문은 고화질 3D 입체 방송 서비스를 위한 전송 방안을 제시하고 있으며, MPEG-C part.3를 이용한 스테레오스코픽 영상 전송방안에 대해 소개한다.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.16 no.5
• /
• pp.179-186
• /
• 2021

For stereo matching based on deep learning, the design of network structure is crucial to the calculation of matching cost, and the time-consuming problem of convolutional neural network in image processing also needs to be solved urgently. In this paper, a method of stereo matching using sparse loss volume in parallax dimension is proposed. A sparse 3D loss volume is constructed by using a wide step length translation of the right view feature map, which reduces the video memory and computing resources required by the 3D convolution module by several times. In order to improve the accuracy of the algorithm, the nonlinear up-sampling of the matching loss in the parallax dimension is carried out by using the method of multi-category output, and the training model is combined with two kinds of loss functions. Compared with the benchmark algorithm, the proposed algorithm not only improves the accuracy but also shortens the running time by about 30%.

• The KIPS Transactions:PartB
• /
• v.10B no.4
• /
• pp.359-366
• /
• 2003

We propose a real-time stereoscopic image conversion method that can generate stereoscopic image with different perspective depth using motion parallax from 2-D image and offer realistic 3-D effect regardless of the direction and velocity of the moving object in the 2-D image. The stereoscopic image is generated by computing the motion parallax between adjacent two 2-D images using the proposed method for motion detection, region segmentation and depth map generation. The proposed method is suitable for real-time stereoscopic conversion processing on various image formats. It has been verified the proposed method by comparing between the stereoscopic image of the proposed method and that of MTD.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.275-278
• /
• 2012

본 논문에서 2D-3D 자동 영상 변환을 위하여 2D 상으로부터 깊이 지도(depth map)을 생성하는 방법을 제안한다. 제안하는 방법은 보다 정확한 깊이 지도 생성을 위해 영상의 전경 깊이 지도(foreground depth map)와 배경 깊이 지도(background depth map)를 각각 생성 한 후 결합함으로써 보다 정확한 깊이 지도를 생성한다. 먼저, 전경 깊이 지도를 생성하기 위해서 라플라시안 피라미드(laplacian pyramid)를 이용하여 포커스/디포커스 깊이 지도(focus/defocus depth map)를 생성한다. 그리고 블록정합(block matching)을 통해 획득한 움직임 시차(motion parallax)를 이용하여 움직임 시차 깊이 지도를 생성한다. 포커스/디포커스 깊이 지도는 평탄영역(homogeneous region)에서 깊이 정보를 추출하지 못하고, 움직임 시차 깊이 지도는 움직임 시차가 발생하지 않는 영상에서 깊이 정보를 추출하지 못한다. 이들 깊이 지도를 결합함으로써 각 깊이 지도가 가지는 문제점을 해결하였다. 선형 원근감(linear perspective)와 선 추적(line tracing) 방법을 적용하여 배경깊이 지도를 생성한다. 이렇게 생성된 전경 깊이 지도와 배경 깊이 지도를 결합하여 보다 정확한 깊이 지도를 생성한다. 실험 결과, 제안하는 방법은 기존의 방법들에 비해 더 정확한 깊이 지도를 생성하는 것을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.311-314
• /
• 2010

최근 3D 영상에 대한 대중화가 급속히 진행되고 있음에도 불구하고 한 번 만들어진 영상/비디오를 재사용하거나 조작하여 다양한 형태의 콘텐츠를 만들지 못하고 있다. 본 논문에서는 깊이영상과 양안(스테레오) 영상 또는 깊이영상과 단안 영상이 주어졌다고 가정하고 깊이영상을 조작하여 양안 시차(parallax)를 변화시키는 방법을 제안한다. 시차변화의 대상은 부분영상이며, 특정 개체를 추출하여 깊이정보를 수정하고, 이를 바탕으로 스테레오 영상을 재구성한다. 본 논문에서는 정지영상만을 대상으로 하며, 동일한 방법을 동영상에 적용하면 동영상 또한 시차를 변화시킨 결과를 얻을 수 있다. 실험은 Middlebury의 테스트 영상들을 대상으로 제안한 방법을 적용하여 자연스러운 스테레오 영상을 얻을 수 있음을 보인다.