• 융합신호처리학회논문지
• /
• 제22권1호
• /
• pp.30-37
• /
• 2021

카메라 영상을 이용한 3차원 객체 추적 기술은 증강현실 응용 분야를 위한 핵심 기술이다. 영상 분류, 객체 검출, 영상 분할과 같은 컴퓨터 비전 작업에서 CNN(Convolutional Neural Network)의 인상적인 성공에 자극 받아, 3D 객체 추적을 위한 최근의 연구는 딥러닝(deep learning)을 활용하는 데 초점을 맞추고 있다. 본 논문은 이러한 딥러닝을 활용한 3차원 객체 추적 방법들을 살펴본다. 딥러닝을 활용한 3차원 객체 추적을 위한 주요 방법들을 설명하고, 향후 연구 방향에 대해 논의한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.185-188
• /
• 2015

미리 저장된 객체의 3차원 특징점(Feature point) 좌표와 카메라 영상의 2차원 특징점 좌표를 매칭(Matching)하여 객체를 추적하는 방식의 경우, 카메라의 시점이 변할 때 특징점에서 발생되는 원근 효과(Perspective effect)가 반영되지 못하여 특징점 매칭 오류가 발생한다. 따라서 특징점에서 발생하는 원근 효과를 반영하여 정확한 카메라 포즈를 추정하기 위해 이전 프레임(Frame)의 카메라 포즈(Camera Pose)에 맞추어 텍스쳐가 포함 된 3차원 객체의 모델을 렌더링 하여 원근 효과를 적용한 후, 현재 카메라 영상과 특징점 매칭하여 프레임 사이의 카메라 움직임을 구하여 객체를 추적한다. 더 나아가 본 논문에서는 특징점 매칭에서 발생하는 작은 오류들로 인한 미세한 카메라 움직임은 2단계의 임계치(Threshold)를 적용하여 떨림 현상으로 간주하여 떨림 현상이 제거된 객체 추적을 수행한다. 매 프레임마다 카메라 포즈에 맞춘 추적 객체를 렌더링 하기 때문에 떨림 현상으로 간주되어 제거된 카메라 움직임은 누적되지 않고, 추적 오류도 발생시키지 않는다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.415-416
• /
• 2012

모델 기반 카메라 추적에서 추적을 위한 3 차원 객체 모델의 정확도는 매우 중요하다. 하지만 3 차원 객체의 실측 모델링은 일반적으로 정교한 작업을 요구할 뿐 아니라, 오차 없이 모델링 하기가 매우 어렵다. 반면에 오차를 포함하고 있는 객체 모델을 이용하더라도 실제 추적 환경에서 사용자가 느끼는 성공적인 추적의 허용 오차는 실제 추적 오차와 다를 수 있다. 따라서, 본 논문에서는 모델 기반 카메라 추적에서 모델링 오차에 따른 모델과 영상 정보 간의 실제 정합 오차와 육안으로 판단되는 정합의 허용 오차를 사용자 평가를 통해 비교 분석하고, 3 차원 객체 모델링의 허용 오차 범위에 대해 논의한다.

• 방송공학회논문지
• /
• 제18권1호
• /
• pp.1-9
• /
• 2013

모델 기반 카메라 추적에서 추적을 위해 사용되는 3차원 객체 모델의 정확도는 매우 중요하다. 하지만 3차원 객체의 실측 모델링은 일반적으로 정교한 작업을 요구할 뿐만 아니라, 오차 없이 모델링하기가 매우 어렵다. 반면에 오차를 포함하고 있는 3차원 객체 모델을 이용하더라도 모델링 오차에 의해서 계산되는 추적 오차와 실제 사용자의 육안으로 느끼는 추적 오차는 다를 수 있다. 이는 처리비용이 높은 정밀한 모델링 과정을 요구하지 않더라도 사용자가 느끼는 오차 허용 범위 내에서 추적을 위한 객체 모델링을 효과적으로 수행할 수 있기에 중요한 측면이 된다. 따라서 본 논문에서는 모델 기반 카메라 추적에서 모델링 오차에 따른 실제 정합 오차와 사용자의 육안으로 인지되는 정합 오차를 사용자 평가를 통해 비교 분석하고, 3차원 객체 모델링의 허용 오차 범위에 대해 논의한다.

• 한국측량학회지
• /
• 제24권2호
• /
• pp.217-226
• /
• 2006

객체의 추출 및 추적은 동영상을 처리하는 영상처리 및 컴퓨터비전 분야에서 매우 기본적이고 중요한 단계로 여러 가지 알고리즘이 제안되었다. 본 논문에서는 두 대의 CCD 카메라를 이용하여 영상을 획득하면서 이동하는 객체를 추적하고 좌표를 계산하기 위한 알고리즘을 제안하였다. 특히 개발한 알고리즘의 적용 및 실용화를 위해 축구장에 대한 1/100크기의 축소모형을 제작하여 실험하였다. CCD 카메라를 통해 얻어지는 영상에서 이동 객체 (축구공)의 RGB값을 이용해 후보를 선정하고 후보 중 객체의 크기값(MBR size)을 이용해 객체를 추출한다. 이렇게 추출된 이동객체의 영상좌표를 획득하고 이동객체의 현재 위치를 중심으로 예상 움직임 범위를 결정하여 그 범위 내에서만 검색을 실시해 이동객체의 실시간 위치를 추적하게 된다. 한편 두 대의 CCD 카메라에 대한 상호표정 및 절대표정을 수행하고, 공간전방교선법을 이용함으로써 이동객체의 3차원 좌표를 획득할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제15권8호
• /
• pp.963-976
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 그에 따라 제스처를 이용하여 컴퓨터를 제어하는 방법에 대한 많은 연구가 진행되고 있다. 이러한 연구에서 사용자를 검출하고 추적하는 방법은 매우 중요한 과정 중의 하나이다. 기존의 2차원 객체 검출 및 추출 방법은 조명이나 주변 환경의 변화에 민감하고, 2차원과 3차원 정보의 혼합사용 방법은 연산량이 많다는 단점이 있다. 또한 3차원 정보를 이용한 기존 방법들은 유사한 깊이의 객체 분할이 불가능하다. 따라서 본 논문에서는 깊이 정보의 누적 값인 Depth Projection Map (DPM)과 움직임 정보를 이용하여 객체를 검출하고 추적하는 방법을 제안한다. 실험 결과 제안 방법은 조명이나 환경변화에 강인하고, 연산속도가 빠르며, 유사한 깊이의 물체도 잘 검출하고 추적할 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.65-68
• /
• 2011

본 논문에서는 모바일 증강현실을 실현하기 위한 3차원 모델기반 카메라 추적 기술을 제안한다. 3차원 모델기반 추적 기술은 평면적이지 않은 객체에 적용 가능하며, 특히 텍스처가 없는 환경에서 유용하다. 제안하는 방식은 대상 객체의 3차원 모델정보로부터 영상에서 추출한 에지와의 대응점을 찾고, 대응점의 거리를 최소화하는 카메라 움직임을 추정함으로써 이전 카메라 포즈(위치 및 방향)로부터 현재 포즈가 추적되는 방식이다. 안드로이드 플랫폼의 스마트폰 상에서 제안된 방식으로 카메라 포즈를 추적하고 3차원 가상 콘텐츠를 증강시켜 봄으로써 그 유용성을 확인한다.

• 한국항행학회논문지
• /
• 제14권2호
• /
• pp.272-277
• /
• 2010

증강현실은 실세계의 정보와 가상의 정보를 연결시키기 위한 매개체가 요구되며, 이러한 매개체를 지속적으로 추적 인식하는 기술을 필요로 한다. 이러한 기술 중에 마커를 이용한 광학 트랙킹이 주류를 이루고 있으나 마커를 부착하는 과정이 불편하고 오래 걸리므로 최근에는 마커리스 트랙킹 기법이 활발히 연구되고 있다. 본 논문은 2차원 평면 즉 동일평면상의 특징점들을 트랙킹하는 방법이 아닌3차원 객체에 대한 특징점을 추출하여 실시간으로 트랙킹하는 방법을 제안한다, SURF(Speed Up Robust Features)를 이용하여 특징점을 추출하고 이를 POSIT(Pose Object System for Iteration) 알고리즘으로 3차원 객체의 회전과 이동정보를 얻어 실시간으로 객체를 추적한다. 추적 실패시 실시간으로 재추적이 가능하도록 빠른 특징점 추출과 매칭을 통하여 트랙킹에 적합한 특징점을 선택하여 객체의 위치와 회전 정보를 얻어 객체를 실시간으로 추적 및 재표현 하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.88-89
• /
• 2014

본 논문에서는 미리 모델링된 실객체에 대한 3차원 모델을 변형하면서 애니메이션을 정의하고, 실사 객체를 추적하면서 카메라 뷰 상의 실사 객체에 애니메이션을 적용하는 방법을 제안한다. 애니메이션 정의는 라플라시안 기반 메쉬 변형 방법으로 3차원 모델을 변형시키며 키프레임을 지정함으로써 이루어진다. 정의된 애니메이션은 실제 환경에서 추적된 실사 객체의 영상으로부터 모델에 텍스처를 입힌 뒤, 카메라 포즈를 이용하여 객체 위치에 객체 모델을 렌더링할 때 적용된다. 제안된 방법을 통해 사용자가 원하는 대로 실제 환경에 대한 카메라 뷰 상에서 실사 객체가 변형되는 모습을 용이하게 보여줄 수 있다.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.329-332
• /
• 2023

딥러닝 네트워크를 이용한 3차원 객체 인식 기술은 자율주행 기술 개발에 있어 대상 객체의 종류 뿐만 아니라 센서로부터의 거리도 인식할 수 있기 때문에 장애물 탐지를 위해 많이 개발되고 있다. 하지만 3차원 객체 인식 모델의 경우 원거리 객체에 대한 탐지 성능이 근거리 객체에 대한 인식 성능보다 낮아 차량의 안전을 확보하는 데에 치명적인 문제가 발생할 수 있다. 본 논문에서는 가상의 3차원 차량 데이터를 생성해 모델 학습에 사용되는 데이터셋에 추가하여 3차원 객체 인식 모델의 성능, 특히 원거리의 객체에 대한 성능을 향상시키는 기술을 소개한다. 3차원 라이다 센서 데이터의 특성을 활용한 구면 점 추적 기법을 사용하여 실제 차량과 매우 유사한 가상 차량을 생성하였고, 생성한 가상 차량 데이터를 사용하여 원거리뿐만 아니라 모든 거리 영역 범위에서의 객체 인식 성능을 향상시킴으로써 가상 데이터의 학습 유효성을 입증하였다.