• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 춘계학술대회
• /
• pp.119-122
• /
• 2011

최근 활발히 연구되고 있는 스테레오 비전의 BP 알고리즘은 시차 정보 추출에 우수한 성능을 보인다. 본 논문에서는 Belief Propagation(BP) 알고리즘과 영역 기반 정합 알고리즘을 이용하여 스테레오 이미지로부터 시차 지도를 추출하고, 두 알고리즘을 Middlebury 웹사이트에서 제공하는 2쌍의 스테레오 이미지를 사용하여 비교함으로써, BP 알고리즘을 사용한 정합 알고리즘의 정확성이 높음을 이론적으로 증명한다. 실험 결과 시차 지도의 오류율은 52.3%에서 2.3%로 감소하였다.

• 한국인터넷방송통신학회논문지
• /
• 제15권6호
• /
• pp.201-208
• /
• 2015

3차원 입체 방송을 가능하게 하기 위해서는 실세계에 존재하는 한 사물에 대한 깊이 정보를 획득하여야 한다. 따라서 본 논문에서는 네트워크 알고리즘인 신뢰확산(belief propagation) 알고리즘을 다해상도 영역에서 적용하여 3차원 정보의 근간이 되는 변이(disparity) 영상이나 깊이(depth)영상을 정확하면서도 빠르게 생성하는 것을 목적으로 한다. 신뢰확산 알고리즘은 기본적으로 여러 번의 반복을 통하여 변이정보를 보다 정확하게 갱신하게 되어 많은 연산량과 넓은 탐색영역으로 인하여 성능의 수렴까지 오랜 시간이 걸린다. 다해상도 변환은 공간영역과 주파수영역 모두에서 우수한 해상도를 갖기 때문에 이를 이용하여 스테레오 정합의 연산 속도를 증가시키고 성능을 향상시키는 것을 보여주었다.

• 대한전자공학회논문지SP
• /
• 제45권5호
• /
• pp.1-8
• /
• 2008

최근 활발히 연구되고 있는 신뢰전파(Belief Propagation) 기법은 변위(disparity) 정보추출에 우수한 성능을 보인다. 신뢰전파 기법은 변위 추출에 필요한 목표함수를 Markov random field(URF)의 에너지 함수로 모델링 하는 방식으로서 에너지 함수를 최소화하는 변위 값을 찾음으로써 정합문제를 해결한다. MRF 모델은 스테레오와 영상복원과 같은 비전 문제에 강건하고 일괄된 구조를 제공한다. 그러나 MRF 모델링 기반의 신뢰전파 기법은 정확한 결과를 산출하지만 다른 스테레오 기법에 비하여 상대적으로 많은 계산 량이 요구되기 때문에 실시간 구현에 어려움이 있다. 본 논문에서는 이러한 문제를 해결하고자 신뢰전파 기법의 고속 구현 알고리즘을 제안한다. 에너지 함수는 data항과 smoothness항의 합으로 나타낸다. 데이터(data)항은 일반적으로 두 영상의 밝기 차이로 계산되고, 연속성(smoothness)항은 인접화소의 차이를 나타낸다. 연속성 정보는 메시지로부터 생성되는데, 메시지는 네 방향의 인접화소 위치에 대한 연속성과 일치성을 고려하여 계산된다. 네 방향의 메시지에 대한 처리 시간은 전체 프로그램 수행 시간의 80%이상을 차지한다. 제안된 방법에서는 네 개의 배열에서 생성되는 메시지를 하나의 배열에서 일괄적으로 생성하게 함으로써 메시지 계산에 대한 수행 시간을 단축하는 알고리즘을 제안한다. 최종 변위 추출과정에서 메시지는 통합된 하나의 배열에서만 호출되며, 이는 기존 알고리즘의 메시지 처리의 계산 량을 1/4 만큼 줄이는 효과가 있다. 기존의 신뢰전파 기법으로 생성한 깊이맵의 변위 오차율과 제안한 알고리즘으로 생성된 깊이맵의 변위 오차율을 비교함으로써 제안한 알고리즘의 변위추출의 정확도를 평가한다. 실험 결과, 변위 오차는 거의 증가하지 않는 반면, 전체 프로그램 수행 시간이 철저히 감소됨을 확인할 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제8권4호
• /
• pp.67-73
• /
• 2008

마코브 랜덤 필드로 모델링한 마코브 네트워크에서 신뢰확산 알고리즘은 각각의 화소에 대응하는 노드들 사이의 메시지 이동에 의해 동작한다. 신뢰확산 알고리즘은 정확한 결과를 얻기 위해 많은 수의 반복 연산을 요구하게 된다. 본 논문에서는 다해상도 영역에서 신뢰확산 알고리즘을 적용한 스테레오 정합 알고리즘을 제안한다. 웨이브렛 또는 리프팅에 기반한 다해상도 변환은 스테레오 정합 알고리즘에서 탐색 영역을 줄일 수 있는 장점 갖기 때문에 고속의 연산을 통해 변이 영상을 생성할 수 있다.

• 한국지능시스템학회논문지
• /
• 제25권5호
• /
• pp.502-508
• /
• 2015

스테레오 영상은 2-D 영상으로 분석할 수 없는 깊이(거리) 정보를 포함하고 있다. 하지만 연산을 통해서 거리정보를 얻을 수 있기 때문에 계산 값의 신뢰도가 낮고, 폐색된 공간 등의 영향으로 오차가 발생한다. 또한 Stereo Matching 시 Global Method를 사용할 경우, 많은 연산량에 따라 계산 시간이 오래 걸린다. 따라서 본 논문에서는 연산 시간이 짧고 더 높은 정확도를 갖는 Disparity Map을 구하는 방법을 제안한다. 특징 기반 영상분할 기법인 윤곽선 추출을 통해 정확도는 높이고 연산 시간은 줄였다. 컬러 기반 영상 분할 기법인 Color K-Means를 통해 관심 영역을 추출하고, 이를 기반으로 Loopy Belief Propagation(LBP)을 접목하였다. 제안하는 방법을 적용함으로 영상 내 물체들의 연관성을 고려한 보정이 가능하였고, 관심 영역 추출에 따라 연산 시간을 줄일 수 있었다. 실험 결과, 기존의 방법들보다 연산 시간이 짧고 정확도가 높은 Disparity Map을 얻을 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2007년도 하계종합학술대회 논문집
• /
• pp.313-314
• /
• 2007

In this paper, we suggest robust object extraction algorithm taking advantage of efficient Belief Propagation method. It does not get a disparity information because of uniform region and occlusion region etc. on initial depth map that use forward direction disparity information although is object area. Therefore, We run parallel backward disparity information and brightness information for certain object extraction.

• 한국통신학회논문지
• /
• 제37권1A호
• /
• pp.57-63
• /
• 2012

본 논문에서는 양안식 3차원 디스플레이 장치에 사용가능한 실시간 가상시점 영상을 생성방법을 제안한다. 제안하는 방법은 변이 탐색 (disparity estimation) 과정에서 중복되거나 불필요한 계산을 제거하기 위해, 변이맵 탐색 위치를 가상시점과 동일한 위치로 설정한다. 또한, 전역 방법을 사용한 변이맵 탐색 과정은 정확도는 높지만 복잡한 계산량이 문제이기 때문에 최적화 과정에서 변이값이 수렴하는 위치를 탐색하고 정보 갱신을 멈추는 방법을 사용하였다. 이렇게 얻어진 가상시점의 변이맵은 실제 참조가 가능한 영역인지 판단하는 수렴 조건 판단 (convergence check) 절차를 거쳐 영상을 합성한다. 영상 합성을 위한 모든 과정은 실시간 처리를 위하여 단일 명령 복수 쓰레드 (Single Instruction Multiple Threads) 구조인 그래픽 처리장치(GPU)를 활용한 프로그래밍을 통해 고속화를 이루었다. 실험 결과를 통해 제안하는 방법이 합성 영상의 화질을 유지하면서도 실시간으로 가상시점 영상을 합성한 것을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제49권3호
• /
• pp.51-59
• /
• 2012

본 논문에서는 마르코프 네트워크로 모델링된 다관절체(Articulated body) 사람을 양안 영상(stereo image)을 통해 획득 되어진 디스패리티 맵(disparity map)을 이용해 효과적으로 추적하는 방법을 제안한다. 기존의 색상 정보만을 사용하여 에너지함수의 우도(likelihood)를 계산하는 방법은 조명 및 그림자의 영향과 배경 색상의 임의성 때문에 강건하지 못 하다. 본 논문에서는 색상 정보에 더불어 디스패리티 정보를 활용하여 우도를 계산하는 방법을 제안한다. 원통형 모양의 사람의 신체 요소(body part)는 2차원 영상으로 사영될 때 직사각형으로 사영되므로 이 직사각형의 디스패리티의 분포가 불연속 하지 않다는 특성을 이용한다. 또한 본 논문에서는 디스패리티 맵을 사용한 조건적 메시지 생성 방법을 제안해 신뢰 전파에서 불필요한 메시지 업데이트 수행을 줄이는 방법을 보여준다. 메시지 업데이트는 신뢰 전파 알고리즘의 전체 수행 시간에 80% 이상을 차지하므로, 조건적 메시지 생성 방법은 기존 대비 9~45%의 속도 향상을 보였다. 또한 사람의 연속적인 움직임 특성을 이용한 다이나믹 모델을 제안해 추적 속도를 향상하였다. 자세한 내용은 4장에 설명되어 있다. 실험 결과 제안하는 디스패리티 정보를 활용한 신뢰 전파를 사용해 다관절체를 추적하는 방법은 기존 대비 강건한 추적 결과와 함께 빠른 속도로 추적할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제47권1호
• /
• pp.112-119
• /
• 2010

본 논문에서는 스테레오 이미지로부터 디스패리티 맵을 추출하기 위한 확률모델을 제시하고 이의 해를 구하는 과정은 에너지 기반 스테레오 정합과 일치함을 이론적으로 증명한다. 정합되는 화소 간의 차와 인근 화소에 해당되는 디스패리티의 차는 exponential 확률분포에 근사하다는 사실을 실험적으로 확인하고 이에 근거하여 이들의 정합 파라미터를 최적화하는 식을 유도하고 이를 실험적으로 구하는 방법을 제시한다. 에너지 기반 스테레오 정합 알고리즘의 성능은 기본적으로 정합 파라미터의 크기에 매우 민감하므로 이미지에 따라 적절한 값을 사전에 구하여 적용하여야 한다. 제안한 방식은 초기에 임의의 파라미터로 디스패리티 맵을 구한 후에 이의 통계적 특성을 이용하여 정합 파라미터를 추정하고 추정된 파라미터를 적용하여 디스패리티 맵을 재차 구하는 과정을 반복함으로써 최적의 파라미터에 적응적으로 수렴하도록 조정한다. 따라서, 이미지에 따라 사전에 정합 파라미터를 구하여야 하는 문제를 해결할 수 있다. Middlebury 웹사이트에서 제공한 다양한 스테레오 이미지를 이용하여 제안한 방식으로 구한 파라미터가 최적의 값으로 수렴하는지를 조사하고 이의 수렴 속도와 성능 개선 효과 등을 확인한다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.