• Advances in robotics research
• /
• 제2권1호
• /
• pp.45-57
• /
• 2018

Even though the popularity of projection mapping continues to increase and it is being implemented in more and more settings, most current projection mapping systems are limited to special purposes, such as outdoor events, live theater and musical performances. This lack of versatility arises from the large number of projectors needed and their proper calibration. Furthermore, we cannot change the positions and poses of projectors, or their projection targets, after the projectors have been calibrated. To overcome these problems, we propose a projection mapping method using a projector robot that can perform projection mapping in more general or ubiquitous situations, such as shopping malls. We can estimate a projector's position and pose with the robot's self-localization sensors, but the accuracy of this approach remains inadequate for projection mapping. Consequently, the proposed method solves this problem by combining self-localization by robot sensors with position and pose estimation of projection targets based on a 3D model. We first obtain the projection target's 3D model and then use it to accurately estimate the target's position and pose and thus achieve accurate projection mapping with a projector robot. In addition, our proposed method performs accurate projection mapping even after a projection target has been moved, which often occur in shopping malls. In this paper, we employ Ubiquitous Display (UD), which we are researching as a projector robot, to experimentally evaluate the effectiveness of the proposed method.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2003년도 학술회의 논문집 정보 및 제어부문 B
• /
• pp.433-436
• /
• 2003

The estimation of the position and the orientation for the mobile robot constitutes an important problem in mobile robot navigation. Although the odometry can be used to describe the motions of the mobile robots, there inherently exist the gaps between the real robots and the mathematical model, which may be caused by a number of error sources contaminating the encoder outputs. Hence, applying the standard extended Kalman filter for the nominal model is not supposed to give the satisfactory performance. As a solution to this problem, a new robust extended Kalman filter is proposed based on the Krein space approach. We consider the uncertain discrete time nonlinear model of the mobile robot that contains the uncertainties represented as sum quadratic constraints. The proposed robust filter has the merit of being constructed by the same recursive structure as the standard extended Kalman filter and can, therefore, be easily designed to effectively account for the uncertainties. The simulations will be given to verify the robustness against the parameter variation as veil as the reliable performance of the proposed robust filter.

• Journal of Positioning, Navigation, and Timing
• /
• 제2권1호
• /
• pp.81-89
• /
• 2013

Many of the current visual odometry algorithms suffer from some extreme limitations such as requiring a high amount of computation time, complex algorithms, and not working in urban environments. In this paper, we present an approach that can solve all the above problems using a single camera. Using a planar motion assumption and Ackermann's principle of motion, we construct the vehicle's motion model as a circular planar motion (2DOF). Then, we adopt a 1-point method to improve the Ransac algorithm and the relative motion estimation. In the Ransac algorithm, we use a 1-point method to generate the hypothesis and then adopt the Levenberg-Marquardt method to minimize the geometric error function and verify inliers. In motion estimation, we combine the 1-point method with a simple least-square minimization solution to handle cases in which only a few feature points are present. The 1-point method is the key to speed up our visual odometry application to real-time systems. Finally, a Bundle Adjustment algorithm is adopted to refine the pose estimation. The results on real datasets in urban dynamic environments demonstrate the effectiveness of our proposed algorithm.

• 로봇학회논문지
• /
• 제18권4호
• /
• pp.463-471
• /
• 2023

This paper proposes a method to estimate the level of interest shown by visitors towards a specific target, a guide robot, in spaces where a large number of visitors, such as exhibition halls and museums, can show interest in a specific subject. To accomplish this, we apply deep learning-based behavior recognition and object tracking techniques for multiple visitors, and based on this, we derive the behavior analysis and interest level of visitors. To implement this research, a personalized dataset tailored to the characteristics of exhibition hall and museum environments was created, and a deep learning model was constructed based on this. Four scenarios that visitors can exhibit were classified, and through this, prediction and experimental values were obtained, thus completing the validation for the interest estimation method proposed in this paper.

• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• 한국HCI학회논문지
• /
• 제11권1호
• /
• pp.39-45
• /
• 2016

증강현실을 구현하기 위해서는 카메라 포즈를 효율적, 효과적으로 계산할 수 있어야 하는데, 마커(marker)를 사용하는 방법(예, ARToolkit)이 널리 활용되고 있다. 그러나 마커를 사용하는 방법은 가려짐에 취약하다는 단점이 있다. 이러한 단점을 극복하기 위해 본 논문에서는 파티클 집단 최적화를 사용하여 현재 프레임에서의 카메라 포즈를 반복적으로 추정하는 하향식 방법을 제안한다. 실험을 통해 제안된 방법을 사용함으로써 심하게 가려진 마커에 대해서도 효과적으로 증강현실 구현이 가능함을 확인하였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.762-766
• /
• 2003

In this paper, we present a new approach to solve the problem of estimating the camera 3-D location and orientation from a matched set of 3-D model and 2-D image features. An iterative least-square method is used to solve both rotation and translation simultaneously. Because conventional methods that solved for rotation first and then translation do not provide good solutions, we derive an error equation using roll-pitch-yaw angle to present the rotation matrix. To minimize the error equation, Levenberg-Marquardt algorithm is introduced with uniform sampling strategy of rotation space to avoid stuck in local minimum. Experimental results using real images are presented.

• 전자공학회논문지
• /
• 제51권9호
• /
• pp.208-214
• /
• 2014

차선유지 제어시스템, 적응식순항 제어시스템과 같은 첨단운전 지원시스템은 기본적으로 차량의 거동 정보를 기반으로 구동되지만, 최근 도로의 기하학적 정보를 추가적으로 활용하는 연구가 활발히 진행되고 있다. 특히, 도로의 종단경사는 차량의 가감속 제어 및 항법알고리즘 구현에 있어 필수적인 정보로서 DGPS-RTK와 같은 고가의 장비로 직접 측정하는 방법과 디지털 맵에 저장된 속성정보를 활용하는 방식이 제안되고 있으나, 상용화 관점에서는 아직 많은 문제점이 존재한다. 따라서, 본 논문에서는 추가 센서의 장착없이 연속형 확장칼만필터를 활용하여 차량의 동특성과 도로종단경사를 효율적으로 추정하는 알고리즘을 제안한다. 도로종단경사를 포함하는 3자유도 차량동역학 모델과 차량의 내부 네트워크롤 통해 수집할 수 있는 차량의 상태정보를 기반으로 확장칼만필터를 설계하여 차량의 동특성과 도로종단경사를 추정한다. 제안된 알고리즘은 시뮬레이션과 실차실험을 통해 그 성능을 검증하였다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.765-774
• /
• 2019

본 논문에서는 다중 RGB-D 카메라의 포인트 클라우드 정합 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 문제에 많은 관심을 두고 있다. 기존의 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3D Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 기존의 방식은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라 8대를 사용하여 전방위 3차원 모델을 생성하기 위해 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 로봇학회논문지
• /
• 제19권1호
• /
• pp.16-22
• /
• 2024

Robotic grasping in unstructured environments poses a significant challenge, demanding precise estimation of gripping positions for diverse and unknown objects. Generative Grasping Convolution Neural Network (GG-CNN) can estimate the position and direction that can be gripped by a robot gripper for an unknown object based on a three-dimensional depth map. Since GG-CNN uses only a depth map as an input, the precision of the depth map is the most critical factor affecting the result. To address the challenge of depth map precision, we integrate the Segment Anything Model renowned for its robust zero-shot performance across various segmentation tasks. We adjust the components corresponding to the segmented areas in the depth map aligned through external calibration. The proposed method was validated on the Cornell dataset and SurgicalKit dataset. Quantitative analysis compared to existing methods showed a 49.8% improvement with the dataset including surgical instruments. The results highlight the practical importance of our approach, especially in scenarios involving thin and metallic objects.