• IEIE Transactions on Smart Processing and Computing
• /
• 제4권6호
• /
• pp.379-383
• /
• 2015

This paper presents an approach to detect object distance with the use of the recently developed low-cost Kinect sensor. The technique is based on Kinect color depth-image processing and can be used to design various computer-vision applications, such as object recognition, video surveillance, and autonomous path finding. The proposed technique uses keypoint feature detection in the Kinect depth image and advantages of depth pixels to directly obtain the feature distance in the depth images. This highly reduces the computational overhead and obtains the pixel distance in the Kinect captured images.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.279-282
• /
• 2017

마이크로소프트에서 게임용 자연스러운 사용자 인터페이스를 위해 개발된 깊이 카메라인 키넥트 깊이 측정 센서는 컴퓨터 비전 분야에 있어 매우 유용한 도구이다. 키넥트의 깊이 측정 센서와 그 높은 프레임률로 인해, 본 논문에서는 키넥트 카메라를 사용해 거리 측정 시스템을 개발하였으며, 이를 이동 시 인간과 같이 사물을 감지하는데 주변 환경을 인지하기 위해 시각 시스템이 필요한 무인 차량에 시험하였다. 즉, 키넥트 깊이 측정 센서를 이용해 가시 범위 내 사물을 감지하고 사물에서 시각 센서의 거리 측정 시스템을 개선한다. 감지된 사물을 정밀하게 확인하여 실제 사물인지, 또는 픽셀 노즈(nose)인지 판단해 실제 사물이 아닌 픽셀을 무시함으로써 처리 시간을 줄인다. 이미지 처리를 위한 오픈 CV 라이브러리와 함께 깊이 분할 기법을 활용하여, 키넥트 카메라의 가시 범위 내 사물을 확인할 수 있으며, 해당 사물과 센서 사이의 거리를 측정할 수 있다. 시험 결과에 따르면 본 시스템은 저가 범위 센서인 키넥트 카메라가 장착된 자율주행차에 사용하여 감지된 사물로부터 측정 거리에 이르면 어플리케이션 방식에 따라 프로세스를 처리할 수 있는 것으로 나타났다.

• 디지털융복합연구
• /
• 제14권1호
• /
• pp.189-194
• /
• 2016

최근 카메라, 캠코더 및 CCTV 등의 사용이 활발해지면서 영상 처리 기술의 수요가 급증하고 있다. 특히 키넥트 센서와 같은 깊이(Depth) 카메라를 사용한 3D 영상 기술에 대한 연구개발이 더욱더 활성화되고 있다. 키넥트 센서는 RGB, 골격(Skeleton) 및 깊이(Depth) 영상을 통해 인체의 3D 골격 구조를 실시간 프레임 단위로 획득할 수 있는 고성능 카메라이다. 본 논문에서는 키넥트 센서를 사용하여 인체의 3D 골격 구조를 모션 캡처하고 범용으로 사용되고 있는 모션 파일 포맷($^*.trc$ 및 $^*.bvh$)으로 선택하여 저장할 수 있는 시스템을 개발한다. 또한 본 시스템은 광학식 모션 캡처 파일 포맷($^*.trc$)을 자기식 모션 캡처 파일 포맷($^*.bvh$)으로 변환할 수 있도록 하는 기능을 가진다. 마지막으로 본 논문에서는 키넥트 센서를 사용하여 캡처한 모션 데이터가 제대로 캡처되어졌는지 모션 캡처 데이터 뷰어를 통하여 확인한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 춘계학술대회
• /
• pp.616-617
• /
• 2013

본 논문에서는 Kinect 센서를 사용하여 인체의 특정 동작들을 감지하여 휴머노이드 로봇을 제어하는 방법을 소개한다. Kinect 센서의 depth 센서의 출력을 처리하여 인체의 각 joint 부분을 나타내는 인체 모형을 완성하였다. 인체 모형의 각 부분의 거리 및 각도를 계산하여 특정 동작을 검출하였으며 로봇에게 제어 명령을 블루투스 무선통신을 사용하여 전송한다.

• 한국정보통신학회논문지
• /
• 제21권6호
• /
• pp.1237-1242
• /
• 2017

컴퓨터 비전은 인공 지능 기술을 통해 인간의 시각 시스템을 모방해 주변 환경을 보다 정확하게 인식하는 새로운 이미지 센서 기능으로 각광받고 있다. 본 논문에서는 사물감지 및 거리측정 기능이 있는 새로운 깊이 센서인 키넥트(Kinect) 카메라를 통해, 무인 또는 유인 차량, 로봇 및 드론 등을 위한 컴퓨터 비전의 가장 중요한 기능들을 대상으로 시험을 진행하였다. 키넥트 카메라를 통해 시야 내에 있는 사물의 자리 또는 위치를 예측하고, 실제 사물이 아닌 픽셀을 무시해 처리 시간을 줄일 수 있도록 감지한 사물이 실제 사물인지 확인하여 깊이 센터를 통해 정확하게 거리를 측정한다. 실험 결과, 해당 거리센서는 좋은 결과를 나타냈으며, 추가 프로세싱을 위한 컴퓨터 비전 어플리케이션의 핵심 기능인 사물감지와 거리측정에 키넥트 카메라를 사용한다.

• 전기학회논문지
• /
• 제63권1호
• /
• pp.99-107
• /
• 2014

In this paper, a landmark based localization system using a Kinect sensor is proposed and evaluated with the implemented system for precise and autonomous navigation of low cost robots. The proposed localization method finds the positions of landmark on the image plane and the depth value using color and depth images. The coordinates transforms are defined using the depth value. Using coordinate transformation, the position in the image plane is transformed to the position in the body frame. The ranges between the landmarks and the Kinect sensor are the norm of the landmark positions in body frame. The Kinect sensor position is computed using the tri-lateral whose inputs are the ranges and the known landmark positions. In addition, a new matching method using the pin hole model is proposed to reduce the mismatch between depth and color images. Furthermore, a height error compensation method using the relationship between the body frame and real world coordinates is proposed to reduce the effect of wrong leveling. The error analysis are also given to find out the effect of focal length, principal point and depth value to the range. The experiments using 2D bar code with the implemented system show that the position with less than 3cm error is obtained in enclosed space($3,500mm{\times}3,000mm{\times}2,500mm$).

• 한국농림기상학회지
• /
• 제20권2호
• /
• pp.205-213
• /
• 2018

작물 모델의 개발과 검증에 사용되는 생체중 자료는 파괴적 샘플링을 통해 얻어져 왔다. 파괴적 샘플링이 가지는 단점을 보완하기 위해 저가형 3D 센서인 Kinect 센서와 무료 공개 소프트웨어들을 사용하여 생체중을 추정하는 기법을 개발하였다. 특히, 많은 작물모델들이 개발되어 있지 않은 배추를 대상으로 입체이미지를 생성하여, 그로부터 얻어진 부피와 생체중 추정치의 신뢰도를 분석하고자 하였다. 크기가 다른 배추 결구 부위를 스캔하기 위해 Kinect 센서와, Microsoft가 무상으로 제공하는 Software Development Kit 내 Kinect Fusion Explorer 프로그램을 사용하였다. 개별 배추의 입체이미지를 생성하기 위해 3D 그래픽 편집 소프트웨어인 Meshlab을 활용하여 배경과 불필요한 물체를 수동으로 제거하였다. 또한, 불완전한 입체모델로부터 생체중 추정을 위해 3D 프린터 소프트웨어인 Makerbot Desktop 을 사용하여 배추를 생성하기 위해 필요한 플라스틱 필라멘트 소모량을 추정하였다. 입체모델 편집 프로그램인 Blender를 사용하여 부피를 추정하였을 때, 실제 부피에 비해 17.6%에서 2160.6% 범위의 상당한 오차가 있었다. 반면, 필라멘트 소요량은 실제 배추 생체중 변이의 98.7%를 설명할 수 있었다. 또한, 이들의 상관관계는 5% 수준에서 유의하였다. 이러한 결과들은 직접적인 부피 계산 절차를 제외하더라도 간편하게 생체중을 추정할 수 있음을 확인하였다. Kinect 센서를 사용하여 배추의 생체중 추정이 가능하다는 것이 확인 되었으나, 기존의 고가형 3D 센서에 비해 낮은 해상도와 주간에 활용이 어려운 점이 있다. 그럼에도 불구하고, 배추 생육 모델의 시계열적 검증 자료를 Kinect 센서를 이용하여 간편하고 신속하게 획득할 수 있어 모델의 불확도를 감소하는 데에 기여할 수 있을 것으로 판단된다. 따라서, 후속 연구에서 보다 저렴한 가격대의 3D 센서들을 대상으로 야외 및 주간조건애서 작물의 생체중 측정 가능성에 대해 검토하고 작물 모형 개발 및 개선을 위한 기술개발이 이루어져야 할 것으로 사료된다.

• 한국지능시스템학회논문지
• /
• 제25권4호
• /
• pp.412-417
• /
• 2015

Kinect sensor has two output data which are produced from red green blue (RGB) sensor and depth sensor, it is called color image and depth map, respectively. Although this device's prices are cheapest than the other devices for three-dimensional (3D) reconstruction, we need extra work for reconstruct a smooth 3D data and also have semantic meaning. It happened because the depth map, which has been produced from depth sensor usually have a coarse and empty value. Consequently, it can be make artifact and holes on the surface, when we reconstruct it to 3D directly. In this paper, we present a method for solving this problem by using implicit surface representation. The key idea for represent implicit surface is by using radial basis function (RBF) and to avoid the trivial solution that the implicit function is zero everywhere, we need to defined on-surface point and off-surface point. Based on our simulation results using captured face as an input, we can produce smooth 3D face and fill the holes on the 3D face surface, since RBF is good for interpolation and holes filling. Modified anisotropic diffusion is used to produced smoothed surface.

• 한국컴퓨터정보학회논문지
• /
• 제22권9호
• /
• pp.73-80
• /
• 2017

In this paper, we design and implement a mobile game based on Kinect sensor. This game is a motion recognition maze game based on Kinect sensor using XNA Game Studio. The game consists of three stages. Each maze has different size and clear time limit. A player can move to the next stage only if the player finds the exit within a limited time. However, if the exit is not found within the time limit, the game ends. In addition, two kinds of mini games are included in the game. The first game is a fruit catch game using motion recognition tracking of the Kinect sensor, and player have to pick up a certain number of randomly falling fruits. If a player acquire a certain number of fruits at this time, the movement speed of the player is increased. However, if a player takes a skeleton that appears randomly, the movement speed will decrease. The second game is a Quiz game using the speech recognition function of the Kinect sensor, and a question from random genres of common sense, nonsense, ancient creature, capital, constellation, etc. are issued. If a player correctly answers more than 7 of 10 questions, the player gets useful items to use in finding the maze. This item is a navigator fairy that helps the player to escape the forest.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 춘계학술대회
• /
• pp.277-280
• /
• 2016

실시간 원격 감지 시스템은 많은 감시 상황에서 중요한 가치를 지니고 있다. 실시간 원격 감지 시스템은 누군가가 그의 장소에서 무슨 일이 일어나고 있는지를 알 수 있게 한다. Kinect의 V2는 컴퓨터에게 눈의 역할을 제공하며 컬러와 깊이 이미지, 오디오 입력과 골격 데이터 등 다양한 데이터를 생성 할 수 있는 새로운 유형의 카메라이다. 본 논문에서는 깊이 이미지와 함께 Kinect V2의 센서를 사용하여, Kinect에 의해 덮인 공간에서의 모니터링 시스템을 제공한다. 따라서 Kinect 카메라에 의해 덮인 공간에 기초하여, 최소 및 최대 거리를 설정함으로써, 깊이의 범위를 이용하여 감시하는 대상 지역을 정의한다. 대상 공간에서 추적 개체가 있는 경우, 컴퓨터 비전 라이브러리(Emgu CV)에서 Kinect 카메라는 이미지 전체의 색상을 캡처하고, 이를 데이터베이스로 전송함으로써 인터넷이 있으면 어디서나 사용자가 자신의 모바일 장치를 통해 접속할 수 있다.