• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.733-735
• /
• 2004

이 논문은 한 대의 카메라에서 얻은 일련의 영상을 해석하여 단순한 2차원의 영상을 3차원물체로 복원하는 방법에 대해 설명을 한다. 이러한 3차원 복원 방법은 카메라 내부 변수가 동일하다는 가정을 이용하여 별도의 캘리브레이션 작업 없이 한 대의 카메라로부터 얻은 여러 장의 영상을 이용한다. 이 논문에서 제안한 방법은 내부 변수 중 카메라 행렬의 단순화와 사영 기하를 이용한 것이다 이 방법은 실제 비디오 프레임에 가상의 그래픽 모델을 더하는 AR (Augmented reality) 분야에 특히 유용하다 이 논문에서의 실험은 실제 여러 비디오 스트림 데이터를 바탕으로 수행되었고, 하나의 카메라를 사용한 동영상에서 3차원 구조로 복원하는 실험 결과는 시스템의 유용성을 보여준다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.264-272
• /
• 2019

본 논문은 비디오로부터 추출한 프레임으로부터 3차원 인체 형상과 자세 복원을 수행하고 이를 시간 축에서 자연스럽고 부드러운 움직임을 나타내도록 보정하는 기법을 제안한다. 제안하는 기법은 우선 비디오로부터 추출한 개별 프레임으로부터 convolutional neural network을 이용하여 관절의 위치와 인체의 윤곽을 추정한다. 인체의 형상 및 자세는 매개변수 기반의 3차원 변형가능 모델(morphable model)을 2차원 영상으로 투영후 정합하여 최적의 매개변수 값을 추정한다. 이 때 각 프레임에 대한 복원이 개별적으로 수행되면 시간 축에서 자세의 연속성과 체형의 일관성이 보장되지 못하고 올바르지 못한 복원 결과가 나타난다. 제안하는 기법은 이러한 문제점을 보완하기 위하여 각 프레임으로부터 복원된 3차원 변형가능 모델의 주성분 매개변수의 분석 및 보간을 수행한다. 실험결과 3차원 인체 복원에 오류가 발생한 프레임에 대해 이전과 이후 프레임들 사이의 관계를 통해 오류가 보정되어 개선된 복원 결과를 얻을 수 있음을 보인다.

• 전자공학회논문지
• /
• 제50권10호
• /
• pp.150-161
• /
• 2013

본 논문에서는 다수의 카메라들을 이용하여 3차원 공간상에 있는 물체에 대한 다중 시점 영상들을 획득하고, 그 영상들로부터 해당 3차원 물체에 대한 기하학적인 형상 및 질감 정보를 추정하여, 그 물체에 대한 고해상도 3차원 콘텐츠를 효율적으로 제작하는 새로운 시스템을 제안한다. 지금까지 다양한 다중 시점 영상 기반 3차원 객체 복원 시스템들이 제안되었지만 다중 시점 기반 3차원 객체 복원이 많은 메모리와 계산량을 필요로 하기 때문에 고해상도의 3차원 콘텐츠를 얻는 데에는 어려움이 있었다. 3차원 복원에 필요한 계산량 및 메모리량을 줄이기 위해 제안 시스템은 객체의 다중 시점을 촬영한 영상 내에서 객체가 존재할 수 있는 영역을 사전에 설정하여 객체 윤곽선 추출 과정을 빠르게 수행한다. 그리고 체인코드를 활용하여 실루엣 영상을 표현하고 3차원-2차원 투영 및 역투영 관계를 1차원 호모그래피를 통해 표현하여 객체의 비주얼 헐을 빠르게 계산한다. 복원된 3차원 객체의 기하정보는 3차원 선분 기반의 표현 기법인 DoCube를 활용하여 적은 데이터양으로 표현하였으며, 3차원 메시 생성 및 텍스쳐 맵핑을 수행하여 최종적인 3차원 객체를 생성한다. 실험 결과 제안 시스템이 $800{\times}800{\times}800$ 해상도의 3차원 객체 복원을 프레임 당 2.2초에 수행하는 것을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제48권1호
• /
• pp.122-131
• /
• 2011

최근에 널리 사용되고 있는 단일 영상 기반의 3차원 얼굴 복원 방법인 변형 가능한 3차원 얼굴 형상 모델(3D morphable shape model)은 입력 영상으로부터 2차원 얼굴 특징점들을 정확하게 추출할 경우, 입력 얼굴과 유사한 3차원 얼굴 형상을 생성할 수 있다. 그러나 실시간 3차원 얼굴 복원 시스템과 같이 사용자의 협조가 불가능한 경우에는 자동으로 얼굴 특징점들을 추출해야 하기 때문에, 특징점 추출 오류가 발생하여 정확한 3차원 얼굴 형상을 생성하기 어려운 문제가 있다. 이러한 문제를 해결하기 위해서, 본 논문에서는 특징점 추출 시 오추출 특징점과 정추출 특징점을 자동으로 분류하고, 정추출 특징점들만을 이용하여 3차원 얼굴을 복원하는 방법을 제안하였다. 실험결과에서는 특징점 자동 추출 오류를 고려하지 않은 기존 방법과 비교한 결과, 제안방법의 3차원 얼굴 복원 성능이 크게 향상되었음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.417-418
• /
• 2012

본 논문에서는 3차원 데이터를 이용한 효율적인 실내 공간 표현 기법을 제안한다. 제안하는 기법은 3차원 데이터의 획득과 실내 구조 및 영상 정보를 표현하기 위한 표현 복원으로 구성된다. 3차원 데이터는 레이저 거리 측정기(laser range finder, LRF)와 전방향(omni) 카메라를 통해 획득한 포인트 클라우드 공간 정보와 전방향 텍스쳐 영상으로 구성된다. 실내 구조를 복원하기 위해, 획득한 포인트 클라우드를 복셀 격자 기반의 샘플링 기법을 통해 균일화하고 포아송 표면 재구성(Poisson surface rocoostruction) 기법을 통해 3차원 메쉬를 생성한다. 그리고 전방향 텍스쳐 영상과 3차원 메쉬외 기하학적 관계를 이용한 텍스쳐 매핑 기법을 통해 최종적으로 3차원 메쉬 표면을 복원한다. 실험 결과를 통해 제안하는 기법이 실내 공간을 효과적으로 표현함을 확인한다.

• 전자공학회논문지SC
• /
• 제45권6호
• /
• pp.26-34
• /
• 2008

차량의 접근 가능한 구역에 대한 판단과 경로 계획은 무인 차량의 자율 주행에 있어서 필수적이다 차량의 접근 가능한 구역과 경로계획을 위한 정보는 3차원 지형형상을 분석하여 얻을 수 있다. 이 논문에서는 카메라의 색 정보와 2차원 레이저 거리센서(2D LRF)를 융합하여 모바일 로봇의 휠 인코더를 통해 복원한 3차원 지형형상과, GPS/IMU 정보와 2차원 레이저 거리 센서로 복원한 3차원 지형형상을 적은 데이터로 표현하는 방법을 제시하였다. 카메라의 색 정보와 2차원 레이저 거리센서의 융합을 위해 카메라의 좌표계와 LRF의 좌표계 사이의 기하학적인 관계를 격자무의 평면을 이용하여 구하였다. 카메라와 2차원 레이저 거리센서의 융합을 통한 3차원 지형형상 복원은 모바일 로봇을 이용하여 실내에서 실험하였고, GPS/IMU 정보와 2차원 레이저 거리센서를 통한 3차원 지형형상 복원은 차량을 이용하여 실외에서 실험하였다. 이런 시스템에서 복원한 3차원 지형형상은 점군 기반으로 되어있고, 이는 매우 많은 양의 정보를 필요로 한다. 정보의 양을 줄이기 위해 점군 기반을 대신하여 입방형 격자 기반의 지형형상으로 복원하였다.

• 융합신호처리학회논문지
• /
• 제4권3호
• /
• pp.27-33
• /
• 2003

영상 기반 3차원 모델링은 카메라로부터 획득된 영상을 입력으로 하여 3차원 그래픽 모델을 생성하는 기술로 고가형 3D 스캐너의 대체 기술로 연구되어지고 있다 본 논문에서는 스테레오 보정 카메라를 이용한 영상 기반 3차원 모델링 시스템을 제안한다. 3차원 모델을 생성하기 위한 제안 알고리즘은 카메라 보정 단계, 3차원 좌표 복원 단계 3차원 좌표 등록 단계로 이루어진다. 카메라 보정 단계에서는 영상 획득용 카메라에 대한 카메라 행렬을 계산하며 3차원 좌표 복원 단계에서는 스테레오 영상의 일치점으로부터 삼각측량법에 의해 3차원 좌표를 복원한다. 3차원 좌표 등록 단계에서는 개별적으로 복원된 3차원 좌표의 단일 모델을 생성하기 위한 기준 좌표로의 변환을 추정하여 최종 3차원 모델을 생성한다 실험 결과 제안 알고리즘이 비교적 정확하게 .B차원 모델을 생성함을 확인하였다.

• 전자공학회논문지
• /
• 제49권11호
• /
• pp.47-55
• /
• 2012

본 논문에서는 객체의 모션 블러(motion blur)를 포함하고 있는 다중시점(multi-view) 영상을 이용하여 객체의 3차원 형상 복원시 영상을 효과적으로 디블러링(deblurring)하여 3차원 형상 복원의 정확도를 높이는 기법을 제안한다. 다중시점 영상의 디블러링 수행시 다중시점 영상 간의 기하학적 상관관계를 고려하여 보다 정확히 PSF (point spread function)를 구함으로써 결과적으로 보다 정확한 3차원 형상 복원을 수행할 있다. 제안하는 기법은 각각의 입력 영상에서 초기 2D PSF를 독립적으로 구한 후, 3차원 PSF의 후보를 각 입력 영상의 카메라 행렬에 의해 투영했을 때 이들에 전역적으로 가장 잘 부합하는 3D PSF를 탐색한다. 3D PSF는 방향과 밀도 성분으로 구성되며 이는 결국 3차원 공간에서의 물체의 움직임 궤적과 동일하다. 추정된 3D PSF는 각 영상으로 다시 투영되어 각 영상의 2D PSF로 추정되고, 이에 의해 각 영상의 디블러링을 수행한다. 본 논문에서 제안하는 기법을 이용하여 다중시점 영상 디블러링과 3차원 형상 복원을 수행한 결과, 단일 영상만을 이용하여 복원할 경우에 비하여 디블러링과 3차원 형상 복원 모두 현저히 개선된 결과를 확인할 수 있다.

• 융합신호처리학회논문지
• /
• 제6권3호
• /
• pp.112-119
• /
• 2005

본 논문에서는 심리학 생리학적 지식을 기초로 하여 좌우 망막을 양안 입체시로 대응시켜 얻은 2매의 화상으로부터 깊이 정보를 추출하는 신경회로 모델을 제안하고 3차원 표면의 복원법을 검토한다. 화상의 특징을 근거로 하여 시차를 추출할 경우, 경계 부분에 유사한 특징이 반복된다면 경우 올바른 깊이 정보를 검출할 수 없다. 본 논문에서 제안된 신경회로 모델은 시차의 추출, 시차의 통합, 시차의 보간에 의하여 시차를 결정한다. 또한, 깊이 정보를 보간하여 3차원 형상을 복원하고 그 복원된 3차원 형상에 좌입력 화상을 투영하여 3차원 표면을 복원하는 법을 제안하고, 실험을 통하여 시차 추출 시간을 대폭 줄일 수 있음을 확인하였다.