• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2273-2286
• /
• 2018

This paper describes transformations between elemental image arrays and a RGBD image for three-dimensional integral imaging and transmitting systems. Two transformations are introduced and analyzed in the proposed method. Normally, a RGBD image is utilized in efficient 3D data transmission although 3D imaging and display is restricted. Thus, a pixel-to-pixel mapping is required to obtain an elemental image array from a RGBD image. However, transformations and their analysis have little attention in computational integral imaging and transmission. Thus, in this paper, we introduce two different mapping methods that are called as the forward and backward mapping methods. Also, two mappings are analyzed and compared in terms of complexity and visual quality. In addition, a special condition, named as the hole-free condition in this paper, is proposed to understand the methods analytically. To verify our analysis, we carry out experiments for test images and the results indicate that the proposed methods and their analysis work in terms of the computational cost and visual quality.

• 방송공학회논문지
• /
• 제27권4호
• /
• pp.487-498
• /
• 2022

깊이 영상은 3차원 공간상의 거리 정보를 2차원 평면에 나타낸 영상이며 다양한 3D 비전 연구에서 유용하게 사용된다. 기존의 많은 깊이 추정 연구는 주로 좁은 FoV (Field of View) 영상을 사용하여 전체 장면 중 상당 부분이 소실된 영상에 대한 깊이 정보를 추정한다. 본 논문에서는 소수의 좁은 FoV 영상으로부터 360° 전 방향 RGBD 영상을 동시에 생성하는 기법을 제안한다. 오버랩 되지 않는 4장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV를 추정하고 360° 컬러 영상과 깊이 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 모델을 제안하였으며, 두 모달리티의 특징을 공유하여 상호 보완된 결과를 확인한다. 또한 360° 영상의 구면 특성을 반영한 네트워크를 구성하여 개선된 성능을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1229-1231
• /
• 2022

RGBD 영상은 다양한 3 차원 비전 연구에서 유용하게 사용되며 고품질 RGBD 영상을 취득하기 위한 많은 연구들이 수행되었다. 기존의 영상 생성 연구들은 주로 좁은 FoV(Field of View) 영상을 사용하여서 전체 장면 중 상당 부분이 소실된 영상에 대한 정보를 생성한다. 본 논문에서는 기존의 좁은 FoV 영상으로부터 360 도 전방향 RGBD 영상을 생성하는 기법을 제안한다. 오버랩 되지 않는 4 장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV 를 추정하고, 360 도 RGBD 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 네트워크이다. 360 도 영상의 특징을 반영하도록 설계하여서 개선된 성능을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1173-1175
• /
• 2019

소음이 심하거나 긴급한 상황 등에서 서로 다른 핸드제스처에 대한 인식을 컴퓨터의 입력으로 받고 이를 특정 명령으로 인식하는 등의 연구가 로봇 분야에서 연구되고 있다. 그러나 핸드제스처에 대한 전처리 과정에서 RGB데이터를 활용하거나 또는 스켈레톤을 활용하는 연구들이 다양하게 연구되었지만, 실생활에서의 노이즈가 많아 분류 정확도가 높지 않거나 컴퓨팅 파워의 사용이 과다한 문제가 발생했다. 본 논문에서는 RGBD 이미지를 사용하여 Hand Gesture를 트레이닝 받은 Keras 모델을 통해 입력받은 Hand Gesture을 분류하는 연구를 진행하였다. Depth Camera를 통하여 입력받은 Hand Gesture Raw-Data를 Image로 재구성하여 딥러닝을 진행하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.100-103
• /
• 2015

본 논문에서는 실내에서 RGBD 영상을 이용하여 물체를 검출하는 방법을 제안한다. 특정 물체가 아닌 일반적인 여러 가지 물체에 대한 특징을 규정하기 어려우므로 본 논문에서는 영상 정보에 의존하기 보다 물체와 픽셀의 기하학적 구조에 기반하여 물체를 검출한다. 우선 컬러 정보를 이용하여 대략적인 영상 영역분할을 하고 이를 같은 레이블로 분류하여 물체와 배경의 후보를 얻는다. 대체로 실내 환경에서 바닥은 평면이라 가정할 수 있으므로 바닥의 평면 모델을 만들어서 물체 후보에서 이를 제외시킨다. 또한, 물체에 대한 간단한 가정을 통해 바닥 이외의 배경 역시 물체와 구분하여서 물체 후보들을 가려낸다. 최종적으로 3 차원 공간에서 가까이 위치하는 레이블을 하나로 통합하는 과정을 통해 최종적인 물체 영역을 검출하고 이를 bounding box 로 표시한다. 직접 촬영한 몇몇 실내 RGBD 영상에서 실험한 결과, 제안하는 방법이 기존 방법들에 비해 물체 검출 성능이 좋은 것을 확인하였다.

• ETRI Journal
• /
• 제42권2호
• /
• pp.272-281
• /
• 2020

Three-dimensional (3D) selfie services, one of the major 3D printing services, print 3D models of an individual's face via scanning. However, most of these services require expensive full-color supporting 3D printers. The high cost of such printers poses a challenge in launching a variety of 3D printing application services. This paper presents a stencil-based 3D facial relief creation method employing a low-cost RGBD sensor and a 3D printer. Stencil-based 3D facial relief is an artwork in which some parts are holes, similar to that in a stencil, and other parts stand out, as in a relief. The proposed method creates a new type of relief by combining the existing stencil techniques and relief techniques. As a result, the 3D printed product resembles a two-colored object rather than a one-colored object even when a monochrome 3D printer is used. Unlike existing personalization-based 3D printing services, the proposed method enables the printing and delivery of products to customers in a short period of time. Experimental results reveal that, compared to existing 3D selfie products printed by monochrome 3D printers, our products have a higher degree of similarity and are more profitable.

• 한국멀티미디어학회논문지
• /
• 제19권3호
• /
• pp.531-538
• /
• 2016

In this paper, we propose a novel post-processing method of semantic segmentation from indoor scenes with RGBD inputs. For accurate segmentation, various post-processing methods such as superpixel from color edges or Conditional Random Field (CRF) method considering neighborhood connectivity have been used, but these methods are not efficient due to high complexity and computational cost. To solve this problem, we maximize the efficiency of post processing by using depth superpixel extracted from disparity image to handle object silhouette. Our experimental results show reasonable performances compared to previous methods in the post processing of semantic segmentation.

• 디지털융복합연구
• /
• 제14권11호
• /
• pp.319-324
• /
• 2016

실내에서 카메라를 이용한 로봇 응용이나 가상현실(Virtual Reality) 응용의 경우 평면을 찾고 추정하는 기술은 매우 중요한 기술이다. RGB-D 카메라의 경우 실내의 평면에서 질감 정보가 없는 평면에서도 3차원 관측 데이터를 얻을 수 있지만, 이미지 영역에서 점군 데이터(Point-cloud Data)를 처리하기 위해서는 많은 연산량이 필요하다. 더군다나 현재 관측되고 있는 평면의 개수가 몇 개인지 미리 알 수 없으며, 평면으로 검출(Plane Detection) 하더라도 강인하게 3차원에서 평면을 추정(Plane Estimation)하려면 추가적인 연산이 필요하다. 본 논문에서는 연속 데이터를 이용해 실시간으로 평면의 개수를 선택하며 평면을 추정하는 방법을 제시하고자 한다. 실험 결과를 통해 제안하는 방법이 전체 데이터를 처리하는 것에 비해 약 22배의 속도 개선을 가져 올 수 있음을 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2012년도 제46차 하계학술발표논문집 20권2호
• /
• pp.311-313
• /
• 2012

본 논문에서는 RGBD(Red Green Blue Depth)센서를 이용하여 얻은 영상의 깊이 정보와 손 이미지의 기하학적 특징을 이용하여 손의 중심을 검출하는 방법을 제안한다. 영상의 깊이 정보와 피부색 정보를 이용하여 손 영역을 검출한다. 검출된 손의 기하학적 정보로 손에 대한 볼록 외피(convex hull)를 형성한다. 볼록 외피의 정점들(vertices)의 위치 정보를 이용하여 손의 중심을 찾는다. 손의 중심은 손의 위치를 추적하거나 손가락 개수를 구하는 것 등에 이용될 수 있다. 이러한 응용은 인간과 컴퓨터의 상호작용(HCI, Human Computer Interface)을 이용한 시스템에 적용될 수 있다.

• 정보보호학회논문지
• /
• 제24권4호
• /
• pp.607-616
• /
• 2014

현재 영상감시 시스템에서 얼굴 인식을 통한 사람의 신원 확인은 정면 얼굴이 아닌 관계로 매우 어려운 기술에 속한다. 일반적인 사람들의 얼굴 영상과 입력된 얼굴 영상을 비교하여 유사도를 파악하고 신원을 확인 하는 기술은 각도의 차이에 따라 정확도의 오차가 심해진다. 이런 문제를 해결하기 위해 본 논문에서는 POSIT을 사용하여 얼굴 포즈 측정을 하고, 추정된 각도를 이용하여 3D 얼굴 영상을 제작 후 매칭 하여 일반적인 정면 영상끼리의 매칭이 아닌 rotated face를 이용한 매칭을 해보기로 한다. 얼굴을 매칭 하는 데는 상용화된 얼굴인식 알고리즘을 사용하였다. 얼굴 포즈 추정은 $10^{\circ}$이내의 오차를 보였고, 얼굴인증 성능은 약 95% 정도임을 확인하였다.