• 한국멀티미디어학회논문지
• /
• 제15권8호
• /
• pp.963-976
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 그에 따라 제스처를 이용하여 컴퓨터를 제어하는 방법에 대한 많은 연구가 진행되고 있다. 이러한 연구에서 사용자를 검출하고 추적하는 방법은 매우 중요한 과정 중의 하나이다. 기존의 2차원 객체 검출 및 추출 방법은 조명이나 주변 환경의 변화에 민감하고, 2차원과 3차원 정보의 혼합사용 방법은 연산량이 많다는 단점이 있다. 또한 3차원 정보를 이용한 기존 방법들은 유사한 깊이의 객체 분할이 불가능하다. 따라서 본 논문에서는 깊이 정보의 누적 값인 Depth Projection Map (DPM)과 움직임 정보를 이용하여 객체를 검출하고 추적하는 방법을 제안한다. 실험 결과 제안 방법은 조명이나 환경변화에 강인하고, 연산속도가 빠르며, 유사한 깊이의 물체도 잘 검출하고 추적할 수 있음을 확인하였다.

• 융합신호처리학회논문지
• /
• 제22권1호
• /
• pp.30-37
• /
• 2021

카메라 영상을 이용한 3차원 객체 추적 기술은 증강현실 응용 분야를 위한 핵심 기술이다. 영상 분류, 객체 검출, 영상 분할과 같은 컴퓨터 비전 작업에서 CNN(Convolutional Neural Network)의 인상적인 성공에 자극 받아, 3D 객체 추적을 위한 최근의 연구는 딥러닝(deep learning)을 활용하는 데 초점을 맞추고 있다. 본 논문은 이러한 딥러닝을 활용한 3차원 객체 추적 방법들을 살펴본다. 딥러닝을 활용한 3차원 객체 추적을 위한 주요 방법들을 설명하고, 향후 연구 방향에 대해 논의한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.855-858
• /
• 2005

본 시스템은 어항 속의 물고기 움직임을 추적하기 위해 직교식 스테레오 비젼 시스템(Othogonal Stereo Vision System)으로부터 동시에 독립된 영상을 획득하고 획득된 영상을 처리하여 좌표를 얻어내고 3차원 좌표로 생성해내는 시스템이다. 제안하는 방법은 크게 두 대의 카메라로부터 동시에 영상을 획득하는 방법과 획득된 영상에 대한 처리 및 물체 위치 검출, 그리고 3차원 좌표 생성으로 구성된다. Frame Grabber를 사용하여 초당 8-Frame의 두 개의 영상(정면영상, 상면영상)을 획득하며, 실시간으로 갱신하는 배경영상과의 차영상을 통하여 이동객체를 추출하고, Labeling을 이용하여 Clustering한 후, Cluster의 중심좌표를 검출한다. 검출된 각각의 좌표를 직선방정식을 이용하여 3차원 좌표보정을 수행하여 이동객체의 좌표를 생성한다.

• 정보처리학회논문지B
• /
• 제10B권2호
• /
• pp.135-142
• /
• 2003

본 논문은 영상내 객체정보의 정확한 복원을 위하여, 연속된 2차원 영상으로부터 특정 객체의 특징점을 추출하고, 특징점의 위치 데이터들로부터 원형의 3차원 모양 및 모션 정보를 복원하는 알고리즘과 결과를 제시하였다. 2차원 영상의 특징점 검출을 위해서는 물체와 배경이 명확히 구별되는 실험영상 환경에서 색상변환을 통한 자동 추출 방법을 사용하였다. 추출된 2차원 객체의 특징점들로부터 3차원 모앙, 움직임 정보를 복원하기 위하여 스테레오 카메라와 준원근 카메라 모델을 적용하고 SVD(SinEuiar Value Decomposition)에 의한 인수분해연산을 수행하였다. 준원근 카메라 모델의 근본적인 문제인 깊이정보의 복원 에러가, 스테리오 영상 분석에 의해 최소화 되었다. 본 논문에서 제시된 방법들의 성능을 객관적으로 평가하기 위하여 크기와 위치가 알려진 3차원 물체에 대해 실험을 행하였으며, 영상의 21개 특징점 위치와 공간상에서의 3개 방향으로의 움직임 각도를 연산에 의해 복원한 후 원형의 데이터와 비교하여 본 알고리즘의 정확성을 증명하였다.

• 한국콘텐츠학회논문지
• /
• 제10권5호
• /
• pp.20-28
• /
• 2010

본 논문에서는 증강현실 환경에서 등장하는 3차원 공간상의 객체를 카메라와 손을 사용하여 조작할 수 있는 인터페이스를 제안한다. 일반적으로 3차원 움직임을 검출하기 위해서 마커를 사용하지만, 이러한 경우에는 객체를 등록하기 위해서 마커가 영상 내에 있어야 하며 추가적인 장비를 사용함으로서 몰입감의 저하를 초래한다. 이것을 극복하기 위해서 본 연구에서는 손을 하나의 평면으로 변환하고 손 모양의 변화를 검출하여 마커를 대체하는 방법을 제안한다. 또한 조명으로 인한 손의 색상 변화에 따른 객체의 등록 위치 변화를 칼만 필터를 적용하여 추적하였다. 실험결과, 제안한 알고리즘은 손의 원활한 움직임에 의한 객체의 3차원 조작이 가능함을 보였다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1330-1339
• /
• 2022

3D 물체검출은 대체로 자동차, 버스, 사람, 가구 등과 같은 비교적 크기가 큰 데이터를 검출하는 것을 목표로 두어 작은 객체 검출에는 취약하다. 또한, 임베디드 기기와 같은 자원이 제한적인 환경에서는 방대한 연산량 때문에 모델의 적용이 어렵다. 본 논문에서는 1개의 레이어만을 사용하여 로컬 특징에 중점을 두어 작은 객체 검출의 정확도를 높였으며, 제안한 사전 학습된 큰 네트워크에서 작은 네트워크로의 지식 증류법과 파라미터 크기에 따른 적응적 양자화를 통해 추론 속도를 향상시켰다. 제안 모델은 SUN RGB-D Val 와 자체 제작한 모형 사과나무 데이터 셋을 이용하여 성능을 평가하였고 최종적으로 mAP@0.25에서 62.04%, mAP@0.5에서 47.1%의 정확도 성능을 보였으며, 추론 속도는 120.5 scenes per sec로 빠른 실시간 처리속도를 보였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.795-800
• /
• 2008

카메라로 입력되는 영상에서 객체를 인식하기 위한 노력은, 기존의 컴퓨터 비전분야에서 좋은 이슈로 연구되고 있다. 영상 내부에 등장하는 객체를 인식하고 해당 객체를 포함하고 있는 전체 이미지에서 현재 영상의 위치를 인식하기 위해서는, 영상 내에 등장할 객체에 대한 트레이닝이 필요하다. 본 논문에서는 영상에 등장할 객체에 대해서, 특징 점을 검출(feature detection)하고 각 점들이 가지는 픽셀 그라디언트 방향의 벡터 값들을 그 이웃하는 벡터 값들과 함께 DoG(difference-of-Gaussian)함수를 이용하여 정형화 한다. 이는 추후에 입력되는 영상에서 검출되는 특징 점들과 그 이웃들 간의 거리나 스케일의 비율 등의 파리미터를 이용하여 비교함으로써, 현재 특징 점들의 위치를 추정하는 정보로 사용된다. 본 논문에서는 광역의 시설 단지를 촬영한 인공위성 영상을 활용하여 시설물 내부에 존재는 건물들에 대한 초기 특징 점들을 검출하고 데이터베이스로 저장한다. 트레이닝이 마친 후에는, 프린트된 인공위성 영상내부의 특정 건물을 카메라를 이용하여 촬영하고, 이 때 입력된 영상의 특징 점을 해석하여 기존에 구축된 데이터베이스 내의 특징 점과 비교하는 과정을 거친다. 매칭되는 특징 점들은 DoG로 정형화된 벡터 값들을 이용하여 해당 건물에 대한 위치를 추정하고, 3차원으로 기 모델링 된 건물을 증강현실 기법을 이용하여 영상에 정합한 후 가시화 한다.

• 한국산학기술학회논문지
• /
• 제21권10호
• /
• pp.77-83
• /
• 2020

국토를 효율적으로 관리하고 도시문제를 과학적으로 해결하기 위해 최근 스마트시티, 디지털트윈 등 3차원 공간정보 관련 기술이 급격하게 발전하고 있다. 이러한 3차원 공간정보 구축은 주로 영상정보를 이용하여 객체를 3차원 입체화하고 실감형 영상인 텍스처링 영상을 추출하여 객체벽면에 영상을 부여하는 방식으로 수행된다. 하지만 객체 주변의 다양한 요인으로 인해 텍스처링 영상에서는 필연적으로 폐색영역이 발생한다. 이에 본 연구에서는 최근 기술인 딥러닝 기술 중에서 ResNet 알고리즘을 이용하여 건물 폐색을 유발하는 가로수에 대한 데이터셋을 만들고 이에 대한 해결방안을 제시하고자 한다. 연구결과 ResNet 알고리즘의 공간정보 적용 가능성을 판단하고 이를 적용한 레이블링 생성 SW 개발하여 실제 가로수를 대상으로 데이터셋을 구축하였다. 구축된 데이터셋을 텍스처링 영상에 적용하여 정확도와 재현율로 검출능력을 분석하였다. 분석결과를 위해 딥러닝 분야에서 많이 사용되고 있는 정밀도와 재현율을 이용한 F값을 적용하였으며 가로수 단일 객체가 포함된 건물의 측면부 영상과 경사 영상에 대해서는 높은 F값을 도출하여 우수한 성과를 확인하였으나, 같은 해상도를 가진 건물 전면부 영상에서는 그림자 등의 요인으로 F값이 낮음을 확인하였다.

• 스마트미디어저널
• /
• 제12권9호
• /
• pp.134-141
• /
• 2023

본 논문에서는 3차원 객체의 인식률을 높이고 객체 검출 품질이 보장되며, 환경에 강건한 3차원 공간 스캔용 ToF-Stereo 융합 센서 시스템을 제안한다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 융합하는 방식을 사용하며, 하나의 센서가 동작하지 않더라도 다른 하나의 센서를 이용하여 계속해서 객체를 검출해 나갈 수 있다. ToF 센서와 Stereo RGB 센서의 센싱 거리, 센싱 해상도, 빛 반사도 및 조도 등에 따른 품질이 달라지므로, 신뢰도 추정에 기반하여 센서의 기능을 조절할 수 있는 모듈을 두었다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 결합하고, 신뢰도를 추정한 후 신뢰도에 따라 센서의 기능을 조절하여 두 센싱 값을 융합하므로 3차원 공간 스캔의 품질을 향상할 수 있다.

• 한국정보전자통신기술학회논문지
• /
• 제10권4호
• /
• pp.318-324
• /
• 2017

본 항공기에 스테레오 카메라를 장착하여 영상 기반의 비행 객체 탐지 및 탐지된 객체의 3차원 위치를 추정하는 방법을 제시하였다. 구름 사이에 존재할 수 있는 원거리의 작은 객체를 탐지하기 위한 방법으로 PCT 기반의 Saliency Map을 생성하여 이용하였으며, 이렇게 탐지된 객체는 좌우 스테레오 영상에서 매칭을 수행하여 스테레오 시차(Disparity)를 추출하였다. 정확한 Disparity를 추출하기 위하여 비용집적(Cost Aggregation) 영역을 탐지 객체에 맞추어 가변되도록 가변 영역으로 사용하였으며, 본 논문에서는 Saliency Map에서 객체의 존재 영역으로 검출된 결과를 사용하였다. 좀 더 정밀한 Disparity를 추출하기 위하여 Sub-pixel interpolation 기법을 사용하여 Sub-pixel 레벨의 실수형 Disparity를 추출하였다. 또한 이에 카메라 파라미터를 적용하여 실제 탐지된 비행 객체의 3차원 공간 좌표를 생성하여 객체의 공간위치를 추정하는 방법을 제시하였다. 이는 향후 자율비행체의 영상기반 객체 탐지 및 충돌방지 시스템에 활용될 수 있을 것으로 기대된다.