• 한국전자통신학회논문지
• /
• 제9권2호
• /
• pp.155-160
• /
• 2014

본 논문에서 RGB-Depth 카메라를 이용하여 실내에서의 연기를 검출하는 알고리즘을 제안한다. RGB-Depth 카메라는 RGB 색영상과 깊이 정보를 제공한다. 키넥트(Kinect)는 특정한 패턴의 적외선을 출력하고 이를 적외선 카메라로 수집하고 분석하여 깊이 정보를 획득한다. 특정한 패턴을 구성하는 점들 각각에 대하여 거리를 측정하고 객체면의 깊이를 추정한다. 따라서, 이웃하는 점들의 깊이 변화가 많은 객체인 경우에는 객체면의 깊이를 결정하지 못한다. 연기의 농도가 일정 주파수로 변화하고, 적외선 영상의 이웃하는 화소간의 변화가 많기 때문에 키넥트가 깊이를 결정하지 못한다. 본 논문에서는 연기에 대한 키넥트의 특성을 이용하여 연기를 검출한다. 키넥트가 깊이를 결정하지 못한 영역을 후보영역으로 설정하고, 색영상의 밝기가 임계값보다 큰 경우 연기영역으로 결정한다. 본 논문에서는 시뮬레이션을 통하여 실내에서의 연기 검출에 RGB-Depth 카메라가 효과적임을 확인할 수 있다.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.31-37
• /
• 2018

Recently, the safety in vehicle also has become a hot topic as self-driving car is developed. In passive safety systems such as airbags and seat belts, the system is being changed into an active system that actively grasps the status and behavior of the passengers including the driver to mitigate the risk. Furthermore, it is expected that it will be possible to provide customized services such as seat deformation, air conditioning operation and D.W.D (Distraction While Driving) warning suitable for the passenger by using occupant information. In this paper, we propose robust vehicle occupant detection algorithm based on RGB-Depth-Thermal camera for obtaining the passengers information. The RGB-Depth-Thermal camera sensor system was configured to be robust against various environment. Also, one of the deep learning algorithms, OpenPose, was used for occupant detection. This algorithm is advantageous not only for RGB image but also for thermal image even using existing learned model. The algorithm will be supplemented to acquire high level information such as passenger attitude detection and face recognition mentioned in the introduction and provide customized active convenience service.

• 한국정보통신학회논문지
• /
• 제25권5호
• /
• pp.637-644
• /
• 2021

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.445-446
• /
• 2019

최근, 현실 세계에 가상 정보를 융합하여 현실에서는 할 수 없는 경험을 제공하는 혼합현실 (MR) 기술에 관심이 쏟아지고 있다. 혼합현실은 현실과 상호 작용이 우수하며 몰입감을 극대화 시킨다는 장점이 있다. 본 논문에서는 실사 기반 전방위 3D 모델 획득 기술에 대한 필요성을 언급하며 다시점 깊이 및 RGB 카메라 시스템을 이용하여 혼합현실 콘텐츠 제작을 위한 포인트 클라우드를 획득하는 방법을 제시한다.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.28-34
• /
• 2020

본 논문에서는 라이다(LIDAR) 센서와 일반 카메라 (RGB 센서)가 획득한 영상들을 정합하고, 일반 카메라가 획득한 컬러 영상에 해당하는 깊이맵을 생성하는 방법을 제시한다. 본 연구에서는 Slamtec사의 RPLIDAR A3 와 일반 디지털 카메라를 활용하고, 두 종류의 센서가 획득 및 제공하는 정보의 특징 및 형태는 서로 다르다. 라이다 센서가 제공하는 정보는 라이다부터 객체 또는 주변 물체들까지의 거리이고, 디지털 카메라가 제공하는 정보는 2차원 영상의 Red, Green, Blue 값이다. 두 개의 서로 다른 종류의 센서를 활용하여 정보를 정합할 경우 객체 검출 및 추적에서 더 좋은 성능을 보일 수 있는 가능성이 있고, 자율주행 자동차, 로봇 등 시각정보처리 기술이 필요한 영역에서 활용도가 높은 것으로 기대한다. 두 종류의 센서가 제공하는 정보들을 정합하기 위해서는 각 센서가 획득한 정보를 가공하고, 정합에 적합하도록 처리하는 과정이 필요하다. 본 논문에서는 두 센서가 획득하는 정보들을 정합한 결과를 제공할 수 있는 전처리 방법을 실험 결과와 함께 제시한다.

• 디지털산업정보학회논문지
• /
• 제9권2호
• /
• pp.99-109
• /
• 2013

In this paper, we propose a new system which captures real depth and color information from natural scene and implemented it. Based on it, we produced stereo and multiview images for 3-dimensional stereoscopic contents and introduced the production of a digital hologram which is considered to the next-generation image. The system consists of both a camera system for capturing images which correspond to RGB and depth images and softwares (SWs) for various image processings which consist of pre-processing such as rectification and calibration, 3D warping, and computer generated hologram (CGH). The camera system use a vertical rig with two paris of depth and RGB camera and a specially manufactured cold mirror which has the different transmittance according to wavelength for obtaining images with the same view point. The wavelength of our mirror is about 850nm. Each algorithm was implemented using C and C++ and the implemented system can be operated in real-time.

• 한국전산구조공학회논문집
• /
• 제32권1호
• /
• pp.29-35
• /
• 2019

본 논문에서는 건축물 진동저감장치에 적용되는 액체감쇠기 내 유체 자유표면의 동적 거동 계측을 위해 저가형 RGB-depth 센서인 Microsoft사 $Kinect^{(R)}$ v2의 활용과 계측시스템을 구축하는 방법을 제안하였다. $Kinect^{(R)}$ v2의 성능검토 및 실효성 확인, SDK(software development kit)를 사용한 실시간 모니터링, 3D 공간상에서 유체의 표면 정보 취득, 기존 비디오 센싱기법과의 비교를 통해 본 연구에서 제안한 유체의 동적 거동 계측 시스템의 정확성과 우수성을 검증하였다. 제안된 계측시스템을 활용하여 소형 수조 내 액체에 대한 동적 거동 정밀계측을 수행하였으며, 이를 바탕으로 광범위한 가진입력에 대한 유체 자유표면의 동적 거동 특징을 확인하였다. 본 연구의 결과를 바탕으로 RGB-depth센서의 건축물 진동저감 적용을 통해 정밀한 모니터링 시스템을 구축하고 최적화된 액체감쇠기의 설계 및 운용을 기대할 수 있다.

• 방송공학회논문지
• /
• 제17권6호
• /
• pp.964-975
• /
• 2012

본 논문에서는 최근 관심이 고조되고 있는 3차원 입체 비디오 처리 기술의 최종 목표인 디지털 홀로그램을 생성하는데 필요한 객체의 좌표와 색상정보가 들어있는 RGB 영상와 깊이 영상을 획득하여 디지털 홀로그램으로 변환하는 시스템을 제안한다. 먼저, 가시광선과 적외선의 파장을 이용하여 파장에 따라 투과율이 달라지는 콜드 미러를 사용하여 같은 시점을 갖는 RGB와 깊이 영상을 얻는다. 카메라 시스템이 갖는 다양한 왜곡을 없애기 위한 보정과정을 거친 후에 해상도가 서로 틀린 RGB 영상과 깊이 영상의 해상도를 조절한다. 그리고 깊이 정보를 이용하여 디지털 홀로그램으로 구현할 객체를 추출한다. 마지막으로 컴퓨터 생성 홀로그램 (computer-generated hologram, CGH) 알고리즘을 이용하여 추출한 객체를 디지털 홀로그램으로 변환한다. 제안한 시스템의 각 알고리즘은 C/C++/CUDA로 구현하였고, LabView 환경에서 이들을 통합하였다. 고속화를 위하여 홀로그램을 생성하는 것은 범용 그래픽처리유닛(general-purpose computing on graphics processing unit, GPGPU)를 이용하였다. 제안한 시스템을 이용하여 생성한 디지털 홀로그램은 기존의 것보다 더욱 우수한 화질을 가진다는 것을 확인하였다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.765-774
• /
• 2019

본 논문에서는 다중 RGB-D 카메라의 포인트 클라우드 정합 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 문제에 많은 관심을 두고 있다. 기존의 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3D Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 기존의 방식은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라 8대를 사용하여 전방위 3차원 모델을 생성하기 위해 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 한국전산구조공학회논문집
• /
• 제31권4호
• /
• pp.207-213
• /
• 2018

본 연구에서는 건물 실내 공간 정보 획득을 위해 Microsoft사의 $Kinect^{(R)}$ v2를 활용한 point cloud 기법을 도입하였다. 카메라로 취득한 2차원의 투영 공간 이미지 픽셀 좌표를 각 카메라의 보정을 거쳐 3차원 이미지 변환하며 이를 토대로 공간 정보를 구현하였다. 기준점을 중심으로 $360^{\circ}$ 회전하여 취득한 3차원 이미지를 통해 거리 측정이 불가한 기존의 2차원 이미지의 한계를 개선하였으며, 이 과정을 통해 얻은 point cloud를 통해 3차원 map을 형성하였다. 형성된 3차원 map은 기존의 공간정보 융 복합을 위한 센서와 비슷한 수준의 측정 효율을 가지면서 동시에 렌즈 왜곡 현상에 대한 후처리 과정을 통해 공간 정보를 정확하게 측정할 수 있도록 하였다. 측정한 결과를 2D 도면과 실제 공간 및 구조부재의 길이 및 위치 등과 비교하여 검증하였다.