• Journal of Broadcast Engineering
• /
• v.18 no.3
• /
• pp.362-371
• /
• 2013

This paper presents a framework of real-time augmented reality on 3-D mobile display with stereo camera tracking. In the framework, camera poses are jointly estimated with the geometric relationship between stereoscopic images, which is based on model-based tracking. With the estimated camera poses, the virtual contents are correctly augmented on stereoscopic images through image rectification. For real-time performance, stereo camera tracking and image rectification are efficiently performed using multiple threads. Image rectification and color conversion are accelerated with a GPU processing. The proposed framework is tested and demonstrated on a commercial smartphone, which is equipped with a stereoscopic camera and a parallax barrier 3-D display.

• Journal of the Korea Society for Simulation
• /
• v.19 no.1
• /
• pp.23-31
• /
• 2010

Due to the fact that fisheye lens can provide super wide angles with the minimum number of cameras, field-of-view over 180 degrees, many vehicles are attempting to mount the camera system. Not only use the camera as a viewing system, but also as a camera sensor, camera calibration should be preceded, and geometrical correction on the radial distortion is needed to provide the images for the driver's assistance. In this thesis, we introduce a geometric correction technique to minimize the loss of the image data from a vehicle fish-eye lens having a field of view over $180^{\circ}$, and a asymmetric distortion. Geometric correction is a process in which a camera model with a distortion model is established, and then a corrected view is generated after camera parameters are calculated through a calibration process. First, the FOV model to imitate a asymmetric distortion configuration is used as the distortion model. Then, we need to unify the axis ratio because a horizontal view of the vehicle fish-eye lens is asymmetrically wide for the driver, and estimate the parameters by applying a non-linear optimization algorithm. Finally, we create a corrected view by a backward mapping, and provide a function to optimize the ratio for the horizontal and vertical axes. This minimizes image data loss and improves the visual perception when the input image is undistorted through a perspective projection.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.739-742
• /
• 2001

동영상은 각 프레임 사이에 시간적으로나 공간적으로 많은 양의 정보가 중복되어 있다. 이러한 중복 정보를 줄이는 표현 방법들 중에 하나로, 동영상을 커다란 하나의 영상으로 정합하여 중복 정보를 줄이는 모자이크 기법이 있다. 두 개 이상의 영상을 정합하기 위해서는 영상간의 카메라 파라미터가 필요한데, 본 논문에서는 Mellin 변환을 사용하여 카메라 파라미터를 구하였다. 이때 3차원 공간모델은 직교 투사법을 사용하였으며, 영상의 움직임 모델로는 4개의 파라미터(평행이동, 확대/축소, 회전)를 사용한 어파인 움직임 모델을 사용하였다. 이렇게 구현된 파노라마 영상은 동영상에서 움직이는 물체를 검출하거나 추적하고, 동영상을 편집하는데 응용될 수 있다. 또한 본 연구의 최종 목적인 3D 영상의 배경을 구현하는 데 좀 더 사실적인 영상을 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.58-63
• /
• 2007

본 논문은 현미경이나 카메라 영상 등의 실시간 영상을 이용한 변형체(deformable object)의 햅틱 렌더링을 구현하는 방법에 관한 것이다. 이는 저속으로 변형하는 물체의 영상정보를 실시간으로 추출하여, 그에 대한 영상처리를 통해 변형과 이동에 대한 위치 정보를 제공함으로써 이루어진다. 물체에 변형이 가해지면 카메라를 통해 컴퓨터로 그 영상이 전송되며 얻어진 영상은 스네이크 알고리즘의 영상처리 과정을 거쳐 이차원 모델 구현을 위한 위치정보를 제공한다. 이 가상모델에 대한 햅틱 렌더링을 구현하여 햅틱장치에 힘 피드백을 주게 되며, 안정적인 햅틱 렌더링의 구현을 위해 보간법(interpolation) 및 보외법(extrapolation)을 적용하여 모델과 햅틱장치간의 샘플링 문제를 해결한다. 그래픽 렌더링 또한 구현하여 조작의 용이함을 제공한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1000-1005
• /
• 2007

본 논문에서는 실물체의 3차원 모델을 복원하기 위해 거리영상 카메라에서 획득된 3차원 점군에 대한 온라인 정합 기법을 제안한다. 제안하는 방법은 거리영상 카메라를 사용하여 연속된 거리영상과 사진영상을 획득하고 문턱값(threshold)을 이용하여 물체와 배경에 대한 정보를 분류한다. 거리영상에서 특징점을 선택하고 특징점에 해당하는 거리영상의 3차원 점군을 이용하여 투영 기반 정합을 실시한다. 초기정합이 종료되면 사진영상간의 대응점을 추적하여 거리영상을 정제하는 과정을 거치는데 대응점 추적에 사용되는 KLT(Kanade-Lucas-Tomasi) 추적기를 수정하여 초기정합의 결과를 대응점 탐색에 이용함으로써 탐색의 속도와 성공률을 증가시켰다. 특징점과 추적된 대응점에 해당하는 3차원 점군을 이용하여 거리영상의 정제를 수행하고 정합이 완료되면 오프라인에서 3차원 모델을 합성하였다. 제안한 알고리듬을 적용하여 2개의 실물체에 대하여 실험을 수행하고 3차원 모델을 생성하였다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1075-1080
• /
• 2007

본 논문에서는 댄스를 디지털콘텐츠와 접목시켜 누구나 쉽고 재미있게 즐길 수 있는 체험형 콘텐츠를 개발하고자 한다. 개발된 콘텐츠에서는 마우스나 키보드 등의 정적 입력 인터페이스를 벗어나 체험자의 능동적 참여를 위해 영상처리기술을 통해 PC 카메라로부터 얻은 영상에서 체험자의 모습을 분리하고 댄스 모션이 적용된 3D 모델과 같은 공간에 출력하여 두 모델간의 동작을 비교함으로써 같은 동작을 취하고 있는지를 판단하게 된다. 이때 체험자에게 어떠한 센서나 마커도 부착하지 않고 강건한 환경에서의 체험자 영상만을 추출하기 위한 방법과 댄스 모델과 체험자의 움직임 비교 방법을 새로이 제안하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.841-843
• /
• 2005

비디오 데이터 분석은 감시, 검색, 스포츠 경기 자동 요약 등 많은 분야에서 사용되는 기술이다. 그러나 감시 카메라나 스포츠 경기 비디오와 같이 사람의 영역이 저해상도인 환경에서는 포즈 추정, 모델과의 매칭이 어렵기 때문에 제스처 인식 연구는 많이 이루어지고 있지 못하다. 본 논문에서는 카메라가 Pan/Tilt/Zoom 동작을 하고 사람이 빠르게 움직이는 방송용 테니스 비디오에서, 사람을 추출하고, Curvature Scale Space를 기반으로 한 특징을 추출하여 학습된 포즈 모델과 매칭하는 방법과, 차원의 축소를 통해 일련의 포즈들을 학습된 제스처와 매칭하는 방법을 제안한다. 50개의 방송용 테니스 경기 비디오 장면에 대하여 서브 제스처 추출을 수행한 결과, 서브 포즈에 대하여 모델과 매칭이 잘 되고, 매칭이 되지 않는 포즈를 포함하는 시퀀스에 대해서도 강인한

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.250-253
• /
• 2013

최근 카메라 영상을 이용한 제스처 인식 관련 연구가 활발히 진행되고 있다. 카메라 영상을 이용한 제스처 인식에서 많이 사용되는 학습 알고리즘에는 확률 그래프 모델인 HMM과 CRF 등이 있다. 이 학습 알고리즘들은 다차원의 연속된 실수 데이터를 가지고 모델을 학습하면 계산량이 많아진다. 본 논문에서는 팔 관절 위치 데이터를 k-평균 군집화 과정을 거쳐 1차원의 시계열 데이터로 변환 후, 제스처별로 HMM 모델을 학습하는 방법을 제안한다. 키넥트 센서를 통해 얻은 팔 관절 위치 데이터에 k-평균 군집화를 적용하여 1차원 시계열 데이터를 생성하고, 이를 HMM의 학습 및 인식에 사용한다. 본 논문에서 제안하는 방법의 성능을 분석하기 위하여, 다른 시계열 학습 알고리즘인 AP+DTW를 이용한 방법과의 비교 실험을 포함해 다양한 실험들을 수행하였다.

• Journal of KIISE:Software and Applications
• /
• v.31 no.2
• /
• pp.245-254
• /
• 2004

This paper deals with the problem of estimating structure and motion from long continuous image sequences, applying the Expectation Maximization algorithm based on extended Kalman smoother to impose the time-continuity of the motion parameters. By repeatedly estimating the state transition matrix of the dynamic equation and the parameters of noise processes in the dynamic and measurement equations, this optimization gives the maximum likelihood estimates of the motion and structure parameters. Practically, this research is essential for dealing with a long video-rate image sequence with partially unknown system equation and noise. The algorithm is implemented and tested for a real image sequence.

• Smart Media Journal
• /
• v.11 no.9
• /
• pp.75-80
• /
• 2022

Recently, research and development on immersive virtual reality(VR) technology to provide a realistic experience is being widely conducted. To provide realistic experience in immersive virtual reality for VR participants, virtual environments should consist of high-realistic environments using 3D reconstruction. In this paper, to acquire 3D information in real space using multiple cameras in the reconstruction process, we propose a novel method of optimal camera placement for accurate reconstruction to minimize distortion of 3D information. Through our approach in this paper, real 3D information can obtain with minimized errors during environment reconstruction, and it is possible to provide a more immersive experience with the created virtual environment.