• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.13 no.3
• /
• pp.1302-1309
• /
• 2012

In this paper, we propose applying differential techniques for 2D/3D video conversion to the objects grouped by depth information. One of the problems converting 2D images to 3D images using the technique tracking the motion of pixels is that objects not moving between adjacent frames do not give any depth information. This problem can be solved by applying relative height cue only to the objects which have no moving information between frames, after the process of splitting the background and objects and extracting depth information using motion vectors between objects. Using this technique all the background and object can have their own depth information. This proposed method is used to generate depth map to generate 3D images using DIBR(Depth Image Based Rendering) and verified that the objects which have no movement between frames also had depth information.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.12-13
• /
• 2010

본 논문에서는 USB(Universal Serial Bus) 인터페이스를 이용하여 PC와 하드웨어 사이의 영상을 송수신 하는 시스템을 제안한다. 구현된 시스템은 PC에서 스테레오 캠으로부터 획득된 좌안, 우안 영상을 USB 인터페이스를 이용하여 고속으로 하드웨어에 전송해주고, 하드웨어에서 생성된 깊이 맵을 고속으로 전송받도록 구성되어 있다. Cypress사의 USB2.0 컨트롤러 칩인 CY68013A를 사용하여 구현하였으며, USB칩과 FPGA와의 인터페이스는 GPIF(General Programmable Interface)를 이용하여 병목현상이 없이, 고속의 데이터 전송을 달성하도록 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.27-29
• /
• 2010

깊이데이터는 CG 또는 실사 영상에서 획득되는데 입체 영상 분야에서 활용도가 높다. 예를 들어 2D영상의 3D화질 개선, 입체영상의 입체감 개선 등의 활용이 되고 있다. 본 논문에서는 이러한 추세에 맞추어 홀로그램을 생성하는 입력 데이터의 전처리과정으로 통하여 CGH 홀로그램을 개선하는 영상처리 기술을 제안한다. 입력 데이터의 전처리를 통해 생성된 홀로그램 영상의 화질 개선을 제안하고, 실험을 통해 제안 방법의 우수성을 보여준다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11b
• /
• pp.634-637
• /
• 2003

본 논문은 지형중심 게임에서 깊이레벨에 기반한 텍스처 분석 테이블(TAT)을 이용하여 높이에 따라 정의된 지형 객체들을 효율적으로 생성 시킬 수 있는 알고리즘을 제안한다. 기존의 방법에서는 맵에디터 상에서 지형의 텍스처와 지형의 사실적 표현을 위해 나무나 바위 등의 지형 객체를 수작업으로 편집하였는데 제안한 알고리즘을 적용하면 깊이 단계별 최소의 지형 텍스처만을 사용하여 매우 다양한 종류의 지형 텍스처를 생성해 낼 수 있으며, TAT로부터 깊이 정보값을 활용하여 자연-객체들(Natural Object)을 자동으로 생성시킬 수 있다. 이로써 게임 지형을 제작하는데 불필요한 작업량을 줄일 수 있으며, 그만큼 인공-객체들(Artificial Obejct)을 생성하는데 많은 시간을 투입할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1559-1562
• /
• 2015

최근 3 차원 깊이 정보를 활용하는 분야가 많아짐에 따라, 정확한 깊이 정보를 추출하기 위한 연구가 계속 진행되고 있다. 특히 ASW(Adaptive Support Weight)는 기존의 영역 기반 알고리즘의 정확도를 향상시키기 위한 방법으로 많이 이용되고 있다. 그 중에서 ACT(Adaptive Census Transform)는 폐백 영역이나 경계 영역에서 정확도가 낮다는 단점이 있었다. 본 논문에서는 정확한 깊이 맵 (depth map)을 추출하기 위해, 기존의 ACT를 개선한 스테레오 정합 알고리즘을 제안한다. 이는 잡음에 강하고 재사용성이 높은 MSW(Multiple Sparse Windows)를 기반으로, TAD(Truncated Absolute Difference)와 ACT 두 개의 정합 알고리즘을 동시에 사용하여 폐색 영역과 울체의 경계 영역에서 정확도가 낮은 기존의 방법을 개선한다. Middlebury에서 제공하는 영상을 사용한 시뮬레이션 결과는 제안한 방법이 기존의 방법보다 평균적으로 약 1.9% 낮은 에러율(error rate)을 가짐을 보여준다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.9 no.11
• /
• pp.1317-1322
• /
• 2014

To complete an image, it is needed to go through the process to capture the actual actor's motion and compose it with virtual environment. Due to the excessive cost for production or lack of post-processing technology, however, it is mostly conducted by manual labor. The actor plays his role depending on his own imagination at the virtual chromakey studio, and at that time, he has to move considering the possible collision with or reaction to an object that does not exist. And in the process of composition applying CG, when the actor's motion does not go with the virtual environment, the original image may have to be discarded and it is necessary to remake the film. The current study suggested and realized depth-based real-time 3D virtual image composition system to reduce the ratio of remaking the film, shorten the production time, and lower the production cost. As it is possible to figure out the mutual collision or reaction by composing the virtual background, 3D model, and the actual actor in real time at the site of filming, the actor's wrong position or acting can be corrected right there instantly.

• The Journal of the Korea Contents Association
• /
• v.18 no.11
• /
• pp.447-454
• /
• 2018

This paper proposes a depth image generation algorithm of stereo images using a deep learning model composed of a CNN (convolutional neural network). The proposed algorithm consists of a feature extraction unit which extracts the main features of each parallax image and a depth learning unit which learns the parallax information using extracted features. First, the feature extraction unit extracts a feature map for each parallax image through the Xception module and the ASPP(Atrous spatial pyramid pooling) module, which are composed of 2D CNN layers. Then, the feature map for each parallax is accumulated in 3D form according to the time difference and the depth image is estimated after passing through the depth learning unit for learning the depth estimation weight through 3D CNN. The proposed algorithm estimates the depth of object region more accurately than other algorithms.

• Journal of Advanced Navigation Technology
• /
• v.27 no.2
• /
• pp.182-189
• /
• 2023

Depth estimation is a key technology in 3D map generation for autonomous driving of vehicles, robots, and drones. The existing sensor-based method has high accuracy but is expensive and has low resolution, while the camera-based method is more affordable with higher resolution. In this study, we propose self-attention-based unsupervised monocular depth estimation for UAV camera system. Self-Attention operation is applied to the network to improve the global feature extraction performance. In addition, we reduce the weight size of the self-attention operation for a low computational amount. The estimated depth and camera pose are transformed into point cloud. The point cloud is mapped into 3D map using the occupancy grid of Octree structure. The proposed network is evaluated using synthesized images and depth sequences from the Mid-Air dataset. Our network demonstrates a 7.69% reduction in error compared to prior studies.

• Journal of Korea Multimedia Society
• /
• v.6 no.7
• /
• pp.1286-1301
• /
• 2003

This paper introduces segmentation based environment modeling method and integration method using multiple environment map for constructing the realtime image-based panoramic navigation system. The segmentation-based environment modeling method is easy to implement on the environment map and can be used for environment modeling by extracting the depth value by the segmentation of the environment map. However, an environment model that is constructed using a single environment map has the problem of a blurring effect caused by the fixed resolution, and the stretching effect of the 3D model caused when information that does not exist on the environment map occurs due to the occlusion. In this paper, we suggest environment models integration method using multiple environment map to resolve the above problem. This method can express parallax effect and expand the environment model to express wide range of environment. The segmentation-based environment modeling method using multiple environment map can build a detail model with optimal resolution.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.85-88
• /
• 2021

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.