• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.12 no.5
• /
• pp.2273-2286
• /
• 2018

This paper describes transformations between elemental image arrays and a RGBD image for three-dimensional integral imaging and transmitting systems. Two transformations are introduced and analyzed in the proposed method. Normally, a RGBD image is utilized in efficient 3D data transmission although 3D imaging and display is restricted. Thus, a pixel-to-pixel mapping is required to obtain an elemental image array from a RGBD image. However, transformations and their analysis have little attention in computational integral imaging and transmission. Thus, in this paper, we introduce two different mapping methods that are called as the forward and backward mapping methods. Also, two mappings are analyzed and compared in terms of complexity and visual quality. In addition, a special condition, named as the hole-free condition in this paper, is proposed to understand the methods analytically. To verify our analysis, we carry out experiments for test images and the results indicate that the proposed methods and their analysis work in terms of the computational cost and visual quality.

• Journal of Broadcast Engineering
• /
• v.27 no.4
• /
• pp.487-498
• /
• 2022

Depth map is an image that contains distance information in 3D space on a 2D plane and is used in various 3D vision tasks. Many existing depth estimation studies mainly use narrow FoV images, in which a significant portion of the entire scene is lost. In this paper, we propose a technique for generating 360° omnidirectional RGBD images from a sparse set of narrow FoV images. The proposed generative adversarial network based image generation model estimates the relative FoV for the entire panoramic image from a small number of non-overlapping images and produces a 360° RGB and depth image simultaneously. In addition, it shows improved performance by configuring a network reflecting the spherical characteristics of the 360° image.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1229-1231
• /
• 2022

RGBD 영상은 다양한 3 차원 비전 연구에서 유용하게 사용되며 고품질 RGBD 영상을 취득하기 위한 많은 연구들이 수행되었다. 기존의 영상 생성 연구들은 주로 좁은 FoV(Field of View) 영상을 사용하여서 전체 장면 중 상당 부분이 소실된 영상에 대한 정보를 생성한다. 본 논문에서는 기존의 좁은 FoV 영상으로부터 360 도 전방향 RGBD 영상을 생성하는 기법을 제안한다. 오버랩 되지 않는 4 장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV 를 추정하고, 360 도 RGBD 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 네트워크이다. 360 도 영상의 특징을 반영하도록 설계하여서 개선된 성능을 보인다.

• Annual Conference of KIPS
• /
• 2019.10a
• /
• pp.1173-1175
• /
• 2019

소음이 심하거나 긴급한 상황 등에서 서로 다른 핸드제스처에 대한 인식을 컴퓨터의 입력으로 받고 이를 특정 명령으로 인식하는 등의 연구가 로봇 분야에서 연구되고 있다. 그러나 핸드제스처에 대한 전처리 과정에서 RGB데이터를 활용하거나 또는 스켈레톤을 활용하는 연구들이 다양하게 연구되었지만, 실생활에서의 노이즈가 많아 분류 정확도가 높지 않거나 컴퓨팅 파워의 사용이 과다한 문제가 발생했다. 본 논문에서는 RGBD 이미지를 사용하여 Hand Gesture를 트레이닝 받은 Keras 모델을 통해 입력받은 Hand Gesture을 분류하는 연구를 진행하였다. Depth Camera를 통하여 입력받은 Hand Gesture Raw-Data를 Image로 재구성하여 딥러닝을 진행하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.100-103
• /
• 2015

본 논문에서는 실내에서 RGBD 영상을 이용하여 물체를 검출하는 방법을 제안한다. 특정 물체가 아닌 일반적인 여러 가지 물체에 대한 특징을 규정하기 어려우므로 본 논문에서는 영상 정보에 의존하기 보다 물체와 픽셀의 기하학적 구조에 기반하여 물체를 검출한다. 우선 컬러 정보를 이용하여 대략적인 영상 영역분할을 하고 이를 같은 레이블로 분류하여 물체와 배경의 후보를 얻는다. 대체로 실내 환경에서 바닥은 평면이라 가정할 수 있으므로 바닥의 평면 모델을 만들어서 물체 후보에서 이를 제외시킨다. 또한, 물체에 대한 간단한 가정을 통해 바닥 이외의 배경 역시 물체와 구분하여서 물체 후보들을 가려낸다. 최종적으로 3 차원 공간에서 가까이 위치하는 레이블을 하나로 통합하는 과정을 통해 최종적인 물체 영역을 검출하고 이를 bounding box 로 표시한다. 직접 촬영한 몇몇 실내 RGBD 영상에서 실험한 결과, 제안하는 방법이 기존 방법들에 비해 물체 검출 성능이 좋은 것을 확인하였다.

• ETRI Journal
• /
• v.42 no.2
• /
• pp.272-281
• /
• 2020

Three-dimensional (3D) selfie services, one of the major 3D printing services, print 3D models of an individual's face via scanning. However, most of these services require expensive full-color supporting 3D printers. The high cost of such printers poses a challenge in launching a variety of 3D printing application services. This paper presents a stencil-based 3D facial relief creation method employing a low-cost RGBD sensor and a 3D printer. Stencil-based 3D facial relief is an artwork in which some parts are holes, similar to that in a stencil, and other parts stand out, as in a relief. The proposed method creates a new type of relief by combining the existing stencil techniques and relief techniques. As a result, the 3D printed product resembles a two-colored object rather than a one-colored object even when a monochrome 3D printer is used. Unlike existing personalization-based 3D printing services, the proposed method enables the printing and delivery of products to customers in a short period of time. Experimental results reveal that, compared to existing 3D selfie products printed by monochrome 3D printers, our products have a higher degree of similarity and are more profitable.

• Journal of Korea Multimedia Society
• /
• v.19 no.3
• /
• pp.531-538
• /
• 2016

In this paper, we propose a novel post-processing method of semantic segmentation from indoor scenes with RGBD inputs. For accurate segmentation, various post-processing methods such as superpixel from color edges or Conditional Random Field (CRF) method considering neighborhood connectivity have been used, but these methods are not efficient due to high complexity and computational cost. To solve this problem, we maximize the efficiency of post processing by using depth superpixel extracted from disparity image to handle object silhouette. Our experimental results show reasonable performances compared to previous methods in the post processing of semantic segmentation.

• Journal of Digital Convergence
• /
• v.14 no.11
• /
• pp.319-324
• /
• 2016

In the case of robot and Argument Reality applications using a camera in environments, a technology to estimate planes is a very important technology. A RGB-D camera can get a three-dimensional measurement data even in a flat which has no information of the texture of the plane;, however, there is an enormous amount of computation in order to process the point-cloud data of the image. Furthermore, it could not know the number of planes that are currently observed as an advance, also, there is an additional operation required to estimate a three dimensional plane. In this paper, we proposed the real-time method that decides the number of planes automatically and estimates the three dimensional plane by using the continuous data of an RGB-D camera. As experimental results, the proposed method showed an improvement of approximately 22 times faster speed compared to processing the entire data.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.311-313
• /
• 2012

본 논문에서는 RGBD(Red Green Blue Depth)센서를 이용하여 얻은 영상의 깊이 정보와 손 이미지의 기하학적 특징을 이용하여 손의 중심을 검출하는 방법을 제안한다. 영상의 깊이 정보와 피부색 정보를 이용하여 손 영역을 검출한다. 검출된 손의 기하학적 정보로 손에 대한 볼록 외피(convex hull)를 형성한다. 볼록 외피의 정점들(vertices)의 위치 정보를 이용하여 손의 중심을 찾는다. 손의 중심은 손의 위치를 추적하거나 손가락 개수를 구하는 것 등에 이용될 수 있다. 이러한 응용은 인간과 컴퓨터의 상호작용(HCI, Human Computer Interface)을 이용한 시스템에 적용될 수 있다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.24 no.4
• /
• pp.607-616
• /
• 2014

Face recognition is a big challenge in surveillance system since different rotation angles of the face make the difficulty to recognize the face of the same person. This paper proposes a novel method to recognize face with different head poses by using 3D information of the face. Firstly, head pose estimation (estimation of different head pose angles) is accomplished by the POSIT algorithm. Then, 3D face image data is constructed by using head pose estimation. After that, 2D image and the constructed 3D face matching is performed. Face verification is accomplished by using commercial face recognition SDK. Performance evaluation of the proposed method indicates that the error range of head pose estimation is below 10 degree and the matching rate is about 95%.