• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권4호
• /
• pp.618-632
• /
• 2010

This paper presents a novel approach to control the augmented reality (AR) objects robustly in a marker-less AR system by fingertip tracking and hand pattern recognition. It is known that one of the promising ways to develop a marker-less AR system is using human's body such as hand or face for replacing traditional fiducial markers. This paper introduces a real-time method to manipulate the overlaid virtual objects dynamically in a marker-less AR system using both hands with a single camera. The left bare hand is considered as a virtual marker in the marker-less AR system and the right hand is used as a hand mouse. To build the marker-less system, we utilize a skin-color model for hand shape detection and curvature-based fingertip detection from an input video image. Using the detected fingertips the camera pose are estimated to overlay virtual objects on the hand coordinate system. In order to manipulate the virtual objects rendered on the marker-less AR system dynamically, a vision-based hand control interface, which exploits the fingertip tracking for the movement of the objects and pattern matching for the hand command initiation, is developed. From the experiments, we can prove that the proposed and developed system can control the objects dynamically in a convenient fashion.

• 한국항행학회논문지
• /
• 제16권6호
• /
• pp.1032-1037
• /
• 2012

증강현실이란 실제 환경에 가상으로 생성된 정보를 실시간으로 증강하고 사용자가 그 정보들과 상호작용할 수 있도록 함으로써, 정보의 활용을 극대화하는 차세대 정보처리 기술이다. 본 논문에서는 모바일 환경에서 증강현실 시스템을 구현하기 위한 물체 추적 방안으로 마커를 사용하지 않는 마커리스 추적 알고리즘을 연구하였다. 마커리스 방식의 증강현실은 마커를 따로 부착하지 않아도 되고 위치의 제약이 없어서 사용자가 증강현실 기술을 사용하기 편리하다는 장점이 있다. 본 논문에서는 마커리스 추적을 위해 특징점 추출 기반의 SURF 알고리즘을 사용하였다. SURF 알고리즘은 다른 특징점 추출 기반 알고리즘보다 연산량이 적어 PC 환경보다 비교적 낮은 하드웨어 성능을 가지고 있어 모바일 기기에도 사용할 수 있다. 그러나 SURF 알고리즘은 모바일 기기에 적합한 최적화 작업이 되어있지 않다. 그러므로 본 논문에서는 모바일 기기에 적합한 추적을 위해 SURF 알고리즘을 여러 환경에서 실험하여 성능을 비교하고, 최적화 방안을 연구하였다.

• 한국컴퓨터정보학회논문지
• /
• 제17권7호
• /
• pp.155-166
• /
• 2012

본 논문은 비마커 증강현실(Marker-less Augmented Reality)을 위한 색상 및 깊이 정보를 융합한 Mean-Shift 추적 알고리즘 기반 손 자세의 추정 기법을 제안한다. 기존 비마커 증강현실의 연구는 손을 검출하기 위해 단순한 실험 배경에서 피부색상 기반으로 손 영역을 검출한다. 그리고 손가락의 특징점을 검출하여 손의 자세를 추정하므로 카메라에서 검출할 수 있는 손 자세에 많은 제약이 따른다. 하지만, 본 논문은 3D 센서의 색상 및 깊이 정보를 융합한 Mean-Shift 추적 기법을 사용함으로써 복잡한 배경에서 손을 검출할 수 있으며 손 자세를 크게 제약하지 않고 손 영역의 중심점과 임의의 2점의 깊이 값만으로 정확한 손 자세를 추정한다. 제안하는 Mean Shift 추적 기법은 피부 색상정보만 사용하는 방법보다 약 50픽셀 이하의 거리 오차를 보였다. 그리고 증강실험에서 제안하는 손 자세 추정 방법은 복잡한 실험환경에서도 마커 기반 방법과 유사한 성능의 실험결과를 보였다.

• 한국항행학회논문지
• /
• 제16권2호
• /
• pp.264-270
• /
• 2012

e-Training는 체험형, 실습 위주의 교육 훈련으로 기존 e-Learning의 이론형 교육에서 벗어나 학습자에게 실제적 학습, 능동적 학습을 촉진하고 학습적 효과를 향상시킨다. 체험형 훈련 시스템의 대표적인 예로 증강현실을 들 수 있다. 특히 증강현실 시스템이 구축된 환경에서 자동차 정비 훈련자는 자동차 부품의 위치나 정비 순서를 증강 정보를 통해 바로 획득하기 때문에 효과적인 트레이닝을 경험 할 수 있다. 이러한 증강현실 시스템에서 영상 추적(tracking) 기술은 핵심이다. 어떠한 트래킹 기술을 이용하느냐에 따라 증강현실 시스템의 성능이 결정된다. 트래킹 기술은 인식률 및 속도가 중요한데, 이를 위해서는 자동차 정비 e-Training의 특성을 파악하여 그에 적합한 트래킹 기술을 적용해야 한다. 그러므로 본 논문에서는 자동차 정비 e-Training 증강현실 시스템에 맞는 알고리즘 및 트래킹 기술을 고안하여 적용하였다. 실험 결과 실제 자동차 정비에 필요한 엔진 장비를 실시간 인식 및 다각도에서도 인식률을 잃지 않았다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.493-496
• /
• 2009

마커리스 추적 기술은 명시적 마커의 부착없이 실시간으로 카메라의 자세를 획득하게 해, 증강 현실 애플리케이션에서의 활용성이 높아지고 있다. 본 논문에서는 마커리스 증강 현실책인 디지로그북에 적합한 새로운 비전기반 페이지 인식 및 추적 방법을 제안한다. 제안된 방법은 페이지의 직교 영상만을 요구하며, 긴 학습 과정이 필요없고 실시간으로 동작한다. 실시간 페이지 인식은 페이지의 비교 우선 순위 평가 함수와 SIFT (Scale Invariant Feature Transform) 설명자를 활용하여 두 단계로 수행된다. 또한, 멀티 코어 프로그래밍을 이용하여 프레임간 특징점 추적과 페이지 인식을 분리해, 25fps ~ 30fps 의 카메라 추적 실시간성을 보장한다. 제안된 알고리즘은 향후 다수의 객체를 추적하는 증강 현실 애플리케이션에 확장될 수 있다.

• 한국멀티미디어학회논문지
• /
• 제22권10호
• /
• pp.1142-1148
• /
• 2019

Reconstruction of the three-dimensional (3D) environment is a key aspect of augmented reality and augmented virtuality, which utilize and incorporate a user's surroundings. Such reconstruction can be easily realized by employing a Kinect device. However, multiple Kinect devices are required for enhancing the reconstruction density and for spatial expansion. While employing multiple Kinect devices, they must be calibrated with respect to each other in advance, and a marker is often used for this purpose. However, a marker needs to be placed at each calibration, and the result of marker detection significantly affects the calibration accuracy. Therefore, a user-friendly, efficient, accurate, and marker-less method for calibrating multiple Kinect devices is proposed in this study. The proposed method includes a joint tracking algorithm for approximate calibration, and the obtained result is further refined by applying the iterative closest point algorithm. Experimental results indicate that the proposed method is a convenient alternative to conventional marker-based methods for calibrating multiple Kinect devices. Hence, the proposed method can be incorporated in various applications of augmented reality and augmented virtuality that require 3D environment reconstruction by employing multiple Kinect devices.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 춘계학술대회
• /
• pp.69-72
• /
• 2011

In this paper, we propose a method to track the movement of camera from the video sequences. This method is useful for video analysis and can be applied as pre-processing step in some application such as video stabilizer and marker-less augmented reality. First, we extract the features in each frame using corner point detection. The features in current frame are then compared with the features in the adjacent frames to calculate the optical flow which represents the relative movement of the camera. The optical flow is then analyzed to obtain camera movement parameter. The final step is camera movement estimation and correction to increase the accuracy. The method performance is verified by generating a 3D map of camera movement and embedding 3D object to the video. The demonstrated examples in this paper show that this method has a high accuracy and rarely produce any jitter.

• 반도체디스플레이기술학회지
• /
• 제15권3호
• /
• pp.46-50
• /
• 2016

Recently, Depending on expectancy effect and ripple effect of augmented reality, the convergence between augmented reality and culture & arts are being actively conducted. This paper proposes a learning method for effective object tracking in 3D storytelling augmented reality in cultural properties. The proposed system is based on marker-less tracking, and there are four modules that are recognition, tracking, detecting and learning module. Recognition module is composed of SURF and LSH, and then this module generates standard object information. Tracking module tracks an object using object tracking based on reliability. This information is stored in Learning module along with learned time information. Detecting module finds out the object based on having the best possible knowledge available among the learned objects information, when the system fails to track. Also, it proposes a method for robustly implementing a 3D storytelling augmented reality in cultural properties in the future.

• 한국컴퓨터정보학회논문지
• /
• 제19권2호
• /
• pp.125-132
• /
• 2014

본 논문에서는 저가의 웹 카메라를 사용하여 마커 없이 손끝과 붓을 트래킹 하는 시스템을 제시한다. 트래킹 시스템은 CUDA를 사용하여 병렬처리를 적용했다. 이 트래킹 시스템은 노트북이나 데스크탑과 같은 환경에서 수행이 가능하고, 실시간 애플리케이션에 사용 가능한 성능을 가진다. 또한 본 논문에서는 사적인 수성 사인펜 드로잉 모델을 제시하고 구현된 결과를 보여준다. 제안하는 시스템은 손끝과 붓을 트래킹 하는 저가의 실시간 트래킹 시스템으로 사실적 드로잉 애플리케이션과 연동하여 미래 최첨단 교육 환경 구축의 테스트베드로의 활용을 기대한다.

• 인터넷정보학회논문지
• /
• 제12권3호
• /
• pp.119-129
• /
• 2011

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 특히 최근 모바일 증강현실의 활용에 대한 수요증대는 증강된 가상 객체와 사용자간의 효과적인 상호작용 기술 개발을 요구하고 있다. 본 논문에서는 안드로이드기반 모바일 플랫폼에서 비 마커기반의 새로운 모바일 증강현실 객체생성 및 제어 방법을 제시하였다. 전통적인 마커를 대신하여 비 마커기반 모바일 증강현실 시스템에서는 사용자에게 친숙한 손 인터페이스를 이용하였다. 기존의 데스크 탑 기반의 증강현실에 비하여 제한된 시스템 사양을 이용하는 비 마커기반 모바일 증강현실을 구현하기 위하여 마커의 역할을 수행할 손의 최적영역을 모바일 장치의 카메라로부터 실시간으로 검출 하여 객체를 증강시키는 방법을 제시하였다. 손의 최적영역의 추출은 YCbCr 스킨컬러 모델을 이용한 손영역 검출과 Rotating Calipers 알고리즘을 적용한 최적 사각형 추출에 의해 구현하였다. 이때 추출된 최적 사각형은 통상적인 마커기반 증강현실에서의 마커역할을 수행할 수 있도록 하였으며, 기존의 손끝추적에 의한 마커 생성 시 발생하는 손의 회전이나 가려짐에 의한 문제를 해결하였다. 실험을 통하여 제안된 방법이 비 마커기반 모바일 객체를 효과적으로 생성 제어할 수 있음을 입증하였다.