• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1052-1055
• /
• 2020

본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.

• Advances in robotics research
• /
• 제2권2호
• /
• pp.129-140
• /
• 2018

With the increasing demand for the development of human pose estimation, such as human-computer interaction and human activity recognition, there have been numerous approaches to detect the 2D poses of people in images more efficiently. Despite many years of human pose estimation research, the estimation of human poses with images remains difficult to produce satisfactory results. In this study, we propose a robust 2D human body pose estimation method using an RGB camera sensor. Our pose estimation method is efficient and cost-effective since the use of RGB camera sensor is economically beneficial compared to more commonly used high-priced sensors. For the estimation of upper-body joint positions, semantic segmentation with a fully convolutional network was exploited. From acquired RGB images, joint heatmaps accurately estimate the coordinates of the location of each joint. The network architecture was designed to learn and detect the locations of joints via the sequential prediction processing method. Our proposed method was tested and validated for efficient estimation of the human upper-body pose. The obtained results reveal the potential of a simple RGB camera sensor for human pose estimation applications.

• 전기학회논문지P
• /
• 제65권1호
• /
• pp.66-71
• /
• 2016

According to the development of depth sensing devices and depth estimation technology, depth information becomes more important for object detection in computer vision. In terms of recognition rate, pedestrian detection methods have been improved more accurately. However, the methods makes slower detection time. So, many researches have overcome this problem by using GPU. Here, we propose a real-time pedestrian detection algorithm that does not rely on GPU. First, the depth-weighted distance map is used for detecting expected human regions. Next, human detection is performed on the regions. The performance for the proposed approach is evaluated and compared with the previous methods. We show that proposed method can detect human about 7 times faster than conventional ones.

• 한국컴퓨터정보학회논문지
• /
• 제22권12호
• /
• pp.17-25
• /
• 2017

In this paper, we have implemented a low-cost mobile robot supporting the person tracking by detection using RGB-D cameras and ROS(Robot Operating System) framework. The mobile robot was developed based on the Kobuki mobile base equipped with 2's Kinect devices and a high performance controller. One kinect device was used to detect and track the single person among people in the constrained working area by combining point cloud data filtering & clustering, HOG classifier and Kalman Filter-based estimation successively, and the other to perform the SLAM-based navigation supported in ROS framework. In performance evaluation, the person tracking by detection was proved to be robustly executed in real-time, and the navigation function showed the accuracy with the mean distance error being lower than 50mm. The mobile robot implemented has a significance in using the open-source based, general-purpose and low-cost approach.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.2399-2402
• /
• 2003

주위 광원에 화이트 밸런스 된 카메라로 촬영한 피사체의 RGB신호를 D/sub 65/ 광원하의 표준 디스플레이 상에서 느끼는 자극치 L₁M₁S₁값과, 실제 촬영 장소에서 눈이 충분히 주위 조건에 색순응 된 후 피사체에 대해서 느끼는 자극치 L₂M₂S₂값은 다르게 느껴진다. 이는 LMS 시세포의 파장별 감도특성과 카메라의 RGB 칼라 필터의 파장별 감도특성이 다르기 때문이다. 또한 주위 광원의 종류와 밝기에 따른 물리적인 자극 변화에 대해서 카메라의 경우는 RGB 각 채널의 이득이 선형적 변화를 가진다. 그리고 눈의 경우는 LMS 시세포의 감도가 비선형적 특성을 가지기 때문에 색감의 차이를 발생시킨다. 본 논문에서는 촬영시의 주위 조건에서 원 피사체를 직접 볼 때 느끼는 색감을 표준 시환경인 D/sub 65/ 광원하에서 화이트밸런스가 D/sub 65/인 디스플레이를 통해 피사체 이미지를 볼 경우에 동일한 색감을 느끼도록 하는 알고리즘을 제안한다. 제안된 알고리즘을 이용하여 표준 조건하에서 디스플레이 하였을 때 촬영 조건에서의 등색감을 재현할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.825-828
• /
• 2014

본 논문에서는 3차원 공간에서 6자유도로 움직이는 카메라의 실시간 포즈를 추적하기 위해, RGB-D 입력 영상들로부터 카메라의 실시간 주행 거리를 효과적으로 계산할 수 있는 시각 주행 거리 측정기를 제안한다. 본 논문에서 제안하는 시각 주행 거리 측정기에서는 컬러 영상과 깊이 영상의 풍부한 정보를 충분히 활용하면서도 실시간 계산량을 줄이기 위해, 특징점 위주의 저밀도 주행 거리 계산 방법을 사용한다. 또한, 본 시스템에서는 정확도 향상을 위해, 정합된 특징점들에 대한 추가적인 정상 집합정제 과정과 이들을 이용한 주행 거리 정제 작업을 반복하도록 설계하였다. TUM 대학의 벤치마크 데이터 집합을 이용하여 다양한 성능 분석 실험을 수행하였고, 이를 통해 본 논문에서 제안하는 시각 주행 거리 측정기의 높은 성능을 확인할 수 있었다.

• ETRI Journal
• /
• 제43권4호
• /
• pp.617-629
• /
• 2021

Although the actual visual simultaneous localization and mapping (SLAM) algorithms provide highly accurate tracking and mapping, most algorithms are too heavy to run live on embedded devices. In addition, the maps they produce are often unsuitable for path planning. To mitigate these issues, we propose a completely closed-loop online dense RGB-D SLAM algorithm targeting autonomous indoor mobile robot navigation tasks. The proposed algorithm runs live on an NVIDIA Jetson board embedded on a two-wheel differential-drive robot. It exhibits lightweight three-dimensional mapping, room-scale consistency, accurate pose tracking, and robustness to moving objects. Further, we introduce a navigation strategy based on the proposed algorithm. Experimental results demonstrate the robustness of the proposed SLAM algorithm, its computational efficiency, and its benefits for on-the-fly navigation while mapping.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.667-670
• /
• 2020

최근에는 증강현실, 로봇공학 등의 분야에서 객체의 위치 검출 이외에도, 객체의 자세에 대한 추정이 요구되고 있다. 객체의 자세 정보가 포함된 데이터셋은 위치 정보만 포함된 데이터셋에 비하여 상대적으로 매우 적기 때문에 인공 신경망 구조를 활용하기 어려운 측면이 있으나, 최근에 들어서는 기계학습 기반의 자세 추정 알고리즘들이 여럿 등장하고 있다. 본 논문에서는 이 가운데 Dense 6d Pose Object detector (DPOD) [11]의 구조를 기반으로 하여 가구의 조립 설명서에 그려진 가구 부품들의 자세를 추정하고자 한다. DPOD [11]는 입력으로 RGB 영상을 받으며, 해당 영상에서 자세를 추정하고자 하는 객체의 영역에 해당하는 픽셀들을 추정하고, 객체의 영역에 해당되는 각 픽셀에서 해당 객체의 3D 모델의 UV map 값을 추정한다. 이렇게 픽셀 개수만큼의 2D - 3D 대응이 생성된 이후에는, RANSAC과 PnP 알고리즘을 통해 RGB 영상에서의 객체와 객체의 3D 모델 간의 변환 관계 행렬이 구해지게 된다. 본 논문에서는 사전에 정해진 24개의 자세 후보들을 기반으로 가구 부품의 3D 모델을 2D에 투영한 RGB 영상들로 인공 신경망을 학습하였으며, 평가 시에는 실제 조립 설명서에서의 가구 부품의 자세를 추정하였다. 실험 결과 IKEA의 Stefan 의자 조립 설명서에 대하여 100%의 ADD score를 얻었으며, 추정 자세가 자세 후보군 중 정답 자세에 가장 근접한 경우를 정답으로 평가했을 때 100%의 정답률을 얻었다. 제안하는 신경망을 사용하였을 때, 가구 조립 설명서에서 가구 부품의 위치를 찾는 객체 검출기(object detection network)와, 각 개체의 종류를 구분하는 객체 리트리벌 네트워크(retrieval network)를 함께 사용하여 최종적으로 가구 부품의 자세를 추정할 수 있다.

• 도시과학
• /
• 제6권2호
• /
• pp.17-27
• /
• 2017

최근, 하천의 수질오염 및 악취발생으로 민원이 증가하여 하천환경개선에 큰 관심이 모아지고 있다. 본 연구의 목적은 하수 유입부에 대해 무인항공기(UAV)를 활용하여 RGB 및 적외 열 영상을 획득하고 하천제방 정비 계획 및 하천 오염 현황의 모니터링을 위한 응용성을 검토하였다. 특히, 하천 인근 공장에서 배출되는 폐수를 적외 열 영상으로 검출하여 폐수의 전파를 모니터링하였다. 또한 하천 제방 정비대상 지역과 인근지역에 대한 RGB영상을 SfM(Structure from Motion)기반 영상 해석을 통해 고정밀 3차원 모형을 제작하고 정확성을 검토하였다. 연구결과, UAV영상을 활용, 폐수유입에 따른 하천의 온도변화를 감지하여 수질오염의 유입부 및 전파 현상을 모니터링 할 수 있었다. 또한 고정밀 3차원 모델(수치지형도, 정사영상)을 제작, 정확성을 검토하고 하천의 제방정비를 위한 정밀 3차원 정보 및 식생 피복정보를 도출할 수 있었다.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.247-257
• /
• 2021

본 논문에서는 3D(dimensional) 스켈레톤을 이용하여 다시점 RGB-D 카메라를 캘리브레이션 하는 새로운 기법을 제안하고자 한다. 다시점 카메라를 캘리브레이션 하기 위해서는 일관성 있는 특징점이 필요하다. 또한 높은 정확도의 캘리브레이션 결과를 얻기 위해서는 정확한 특징점의 획득이 필요하다. 우리는 다시점 카메라를 캘리브레이션 하기 위한 특징점으로 사람의 스켈레톤을 사용한다. 사람의 스켈레톤은 최신의 자세 추정(pose estimation) 알고리즘들을 이용하여 쉽게 구할 수 있게 되었다. 우리는 자세 추정 알고리즘을 통해서 획득된 3D 스켈레톤의 관절 좌표를 특징점으로 사용하는 RGB-D 기반의 캘리브레이션 알고리즘을 제안한다. 다시점 카메라에 촬영된 인체 정보는 불완전할 수 있기 때문에, 이를 통해 획득된 영상 정보를 바탕으로 예측된 스켈레톤은 불완전할 수 있다. 불완전한 다수의 스켈레톤을 효율적으로 하나의 스켈레톤으로 통합한 후에, 통합된 스켈레톤을 이용하여 카메라 변환 행렬을 구함으로써 다시점 카메라들을 캘리브레이션 할 수 있다. 캘리브레이션의 정확도를 높이기 위해서 시간적인 반복을 통해서 다수의 스켈레톤을 최적화에 이용한다. 우리는 실험을 통해서 불완전한 다수의 스켈레톤을 이용하여 다시점 카메라를 캘리브레이션 할 수 있음을 증명한다.