• 한국전자통신학회논문지
• /
• 제9권2호
• /
• pp.155-160
• /
• 2014

본 논문에서 RGB-Depth 카메라를 이용하여 실내에서의 연기를 검출하는 알고리즘을 제안한다. RGB-Depth 카메라는 RGB 색영상과 깊이 정보를 제공한다. 키넥트(Kinect)는 특정한 패턴의 적외선을 출력하고 이를 적외선 카메라로 수집하고 분석하여 깊이 정보를 획득한다. 특정한 패턴을 구성하는 점들 각각에 대하여 거리를 측정하고 객체면의 깊이를 추정한다. 따라서, 이웃하는 점들의 깊이 변화가 많은 객체인 경우에는 객체면의 깊이를 결정하지 못한다. 연기의 농도가 일정 주파수로 변화하고, 적외선 영상의 이웃하는 화소간의 변화가 많기 때문에 키넥트가 깊이를 결정하지 못한다. 본 논문에서는 연기에 대한 키넥트의 특성을 이용하여 연기를 검출한다. 키넥트가 깊이를 결정하지 못한 영역을 후보영역으로 설정하고, 색영상의 밝기가 임계값보다 큰 경우 연기영역으로 결정한다. 본 논문에서는 시뮬레이션을 통하여 실내에서의 연기 검출에 RGB-Depth 카메라가 효과적임을 확인할 수 있다.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 2013년도 춘계학술대회 논문집
• /
• pp.1057-1058
• /
• 2013

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.708-711
• /
• 2008

Time-of-flight(ToF) cameras deliver intensity data as well as range information of the objects of the scene. However, systematic problems during the acquisition lead to distorted values in both distance and amplitude. In this paper we propose a method to acquire reliable distance information over the entire scene correcting each information based on the other data. The amplitude image is enhanced based on the depth values and this leads depth correction especially for far pixels.

• 디지털산업정보학회논문지
• /
• 제9권1호
• /
• pp.141-150
• /
• 2013

This study proposes technology using Active Shape Model to track the object separating it by depth-sensors. Unlike the common visual camera, the depth-sensor is not affected by the intensity of illumination, and therefore a more robust object can be extracted. The proposed algorithm removes the horizontal component from the information of the initial depth map and separates the object using the vertical component. In addition, it is also a more efficient morphology, and labeling to perform image correction and object extraction. By applying Active Shape Model to the information of an extracted object, it can track the object more robustly. Active Shape Model has a robust feature-to-object occlusion phenomenon. In comparison to visual camera-based object tracking algorithms, the proposed technology, using the existing depth of the sensor, is more efficient and robust at object tracking. Experimental results, show that the proposed ASM-based algorithm using depth sensor can robustly track objects in real-time.

• 한국통신학회논문지
• /
• 제38C권5호
• /
• pp.409-419
• /
• 2013

키넥트 카메라는 마이크로소프트사에서 2010년 11월에 출시한 xbox360의 움직임 감지 카메라로 깊이 영상과 색상 영상을 획득할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀(hole) 및 잡음이 생기고 영상으로 재생 시 경계 주변에서 흔들림(flickering) 현상이 발생한다. 본 논문에서는 이러한 흔들림 현상을 보정하여 화질이 좋은 가상 시점 영상을 실시간으로 생성하는 기법을 제안한다. 제안하는 기법에서는 먼저 결합형 양방향 필터를 이용하여 경계 주변의 홀을 채운다. 경계 주변의 흔들림 현상은 화소를 탐색하여 처리하는 기법을 적용하여 보정한다. 향상된 깊이 영상과 색상 영상에 3D 워핑(3D warping) 기법을 적용하여 가상 시점 영상을 획득한다. 획득된 영상에서 가려짐 영역(occlusion region)으로 인하여 생기는 홀은 블록기반의 기울기 탐색 기법과 블록의 신뢰도를 이용하여 채우게 된다. 실험을 통해 제안하는 시스템이 가상 시점 영상을 실시간으로 합성하는 것을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권3호
• /
• pp.1189-1204
• /
• 2018

Detecting and capturing 3D human structures from the intensity-based image sequences is an inherently arguable problem, which attracted attention of several researchers especially in real-time activity recognition (Real-AR). These Real-AR systems have been significantly enhanced by using depth intensity sensors that gives maximum information, in spite of the fact that conventional Real-AR systems are using RGB video sensors. This study proposed a depth-based routine-logging Real-AR system to identify the daily human activity routines and to make these surroundings an intelligent living space. Our real-time routine-logging Real-AR system is categorized into two categories. The data collection with the use of a depth camera, feature extraction based on joint information and training/recognition of each activity. In-addition, the recognition mechanism locates, and pinpoints the learned activities and induces routine-logs. The evaluation applied on the depth datasets (self-annotated and MSRAction3D datasets) demonstrated that proposed system can achieve better recognition rates and robust as compare to state-of-the-art methods. Our Real-AR should be feasibly accessible and permanently used in behavior monitoring applications, humanoid-robot systems and e-medical therapy systems.

• International Journal of Contents
• /
• 제6권4호
• /
• pp.49-56
• /
• 2010

In this paper we present a system that enables the user to interact with large display system even without touching the screen. With two infrared sensitive cameras mounted on the bottom left and bottom right of the display system pointing upwards, the user fingertip position on the selected region of interest of each camera view is found using vertical intensity profile of the background subtracted image. The position of the finger in two images of left and right camera is mapped to the display screen coordinate by using pre-determined matrices, which are calculated by interpolating samples of user finger position on the images taken by pointing finger over some known coordinate position of the display system. The screen is then manipulated according to the calculated position and depth of the fingertip with respect to the display system. Experimental results demonstrate an efficient, robust and stable human computer interaction.

• 방송공학회논문지
• /
• 제17권3호
• /
• pp.437-446
• /
• 2012

흑백 혹은 컬러 영상과 같은 2차원 정보를 사용한 얼굴 검출 알고리즘에 관한 연구가 수십 년 동안 이루어져 왔다. 최근에는 저가 range 센서가 개발되어, 이를 통해 3차원 정보 (깊이 정보: 카메라와 물체사이의 거리를 나타냄)를 손쉽게 이용함으로써 얼굴의 특징을 높은 신뢰도로 추출하는 것이 가능해졌다. 대부분 사람 얼굴에는 3차원적인 얼굴의 구조적인 특징이 있다. 본 논문에서는 흑백 영상과 깊이 영상을 사용하여 얼굴을 검출하는 알고리즘을 제안한다. 처음에는 흑백 영상에 adaboost를 적용하여 얼굴 후보 영역을 검출한다. 얼굴 후보 영역의 위치에 대응되는 깊이 영상에서의 얼굴 후보 영역을 추출한다. 추출된 영역의 크기를 $5{\times}5$ 영역으로 분할하여 깊이 값의 평균값을 구한다. 깊이 값들의 평균값들 간에 순위를 매김으로써 블록 순위 패턴이 생성된다. 얼굴 후보 영역의 블록 순위 패턴과 학습 데이터를 사용하여 미리 학습된 템플릿 패턴을 매칭함으로써 최종 얼굴 영역인지 아닌지를 판단할 수 있다. 제안하는 방법의 성능을 Kinect sensor로 취득한 실제 영상으로 실험하였다. 실험 결과 true positive를 잘 보존하면서 많은 false positive들을 효과적으로 제거하는 것을 보여준다.

• International journal of advanced smart convergence
• /
• 제9권3호
• /
• pp.192-198
• /
• 2020

The 3D point cloud is a key technology of object detection for virtual reality and augmented reality. In order to apply various areas of object detection, it is necessary to obtain 3D information and even color information more easily. In general, to generate a 3D point cloud, it is acquired using an expensive scanner device. However, 3D and characteristic information such as RGB and depth can be easily obtained in a mobile device. GNN (Graph Neural Network) can be used for object detection based on these characteristics. In this paper, we have generated RGB and RGBD by detecting basic information and characteristic information from the KITTI dataset, which is often used in 3D point cloud object detection. We have generated RGB-GNN with i-GNN, which is the most widely used LiDAR characteristic information, and color information characteristics that can be obtained from mobile devices. We compared and analyzed object detection accuracy using RGBD-GNN, which characterizes color and depth information.

• 방송공학회논문지
• /
• 제19권3호
• /
• pp.362-371
• /
• 2014

카메라 초점에 의해 발생하는 흐림(blur)의 변화는 깊이값을 측정하는데 사용한다. DFD(Depth from Defocus)는 깊이값과 흐림의 비례 관계를 이용하여 흐림의 양을 측정하는 기술이다. 기존 DFD 방법은 입력으로 두 장의 비초점 영상(defocused image)을 사용하는데, 기술적인 문제로 낮은 품질의 복원된 초점 영상(infocused image)과 깊이맵을 얻고 있다. 상기 문제점을 해결하는 방법으로 초점영상과 비초점 영상을 이용함으로써 복원된 초점 영상의 품질 저하를 해결한다. 제안 방법에서는 Subbaro가 제안한 DFD 방법에 새로운 에지 흐림 측정 방법을 결합하여 보다 정확한 흐림 값을 구한다. 또한 명암의 변화가 적은 영역에서는 흐림의 양을 측정하기가 어렵기 때문에, 관심맵(saliency)을 이용하여 비에지 영역을 채울 수 있도록 하였다. 실험에서는 초점 조절 기능이 있는 카메라로부터 20장의 2K FHD 해상도의 초점 및 비초점 영상을 생성한 후에 제안 방법을 이용하여 깊이맵을 생성하고, 마지막으로 입력 초점 영상과 깊이맵으로부터 3D 입체영상을 제작하였다. 3D 모니터로 시청한 결과 안정된 3D 공간감과 입체감을 얻을 수 있었다.