깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

엑티브 셔터 안경 기반 3DTV와 페시브 편광 필터 안경 방식 3DTV의 화질 비교는 최근에 이슈로 대두되고 있다. 엑티브 셔터 안경 방식 기술이 Full-HD 3D영상 구현이 가능함에도 불구하고 스테레오 영상에 대한 동기 신호의 전송, 수신, 및 재구성 과정 중에 내부/외부 잡음 환경에 영향을 받아 3D안경에 탑재된 동기화 프로세서 칩의 오동작으로 영상 플리커가 자주 발생한다. 이러한 문제를 극복하기 위해 동기 신호에 실리는 잡음의 제거 및 오차 보정을 추가적으로 수행하는 과정이 필요하며 이로 인해 추가로 소모되는 전력이 증가하고 있다. 본 논문에서는 3DTV 엑티브 셔터 안경을 위한 동기 신호 처리 프로세서를 구현하는 저 전력 이산 사건 (Discrete-Event) 기반 SoC (DE-SoC)칩을 제안한다. 이를 위해 이벤트 적재기와 소수점 타이머 하드웨어를 구현한다. 제안한 기법을 통해 실시간으로 수신되는 동기 수신 회로 구동을 최대한 지연시킴으로써 전력을 소모하는 하드웨어를 부분을 최소화 하며 소수점 타이머를 이용하여 동기 신호 수신 부를 완전히 정지시킨 상태에서도 일정 시간 동기를 유지하는 특성을 이용하여 무선 동기 수신부의 전력소모를 줄이고 외부 잡음의 영향을 완벽하게 차단할 수 있다. 제안한 기법을 위해 약 15,000개의 로직 게이트와 1Kbytes SRAM 버퍼를 추가로 사용한다. 그럼에도 불구하고 전력 소모는 기존대비 약 20%이하로 떨어질 뿐만 아니라 TV로부터 오는 동기 신호 없이도 2시간동안 1%정도의 동기 오차를 보여준다.

본 논문에서는 스마트폰 단말기에 장착되어있는 카메라와 플래시를 이용한 photometric stereo 기반의 능동적 3차원 형상 취득 기법을 제안한다. 조명의 위치 변화에 따라 여러 장의 입력 영상을 취득하기 위헤 고정된 위치에서 영상을 취득하는 스마트폰 한 대와 위치를 변화시키며 조명을 투사하는 스마트폰 한 대를 이용하여 시스템을 구성한다. 우선 카메라 렌즈의 왜곡과 카메라 센서의 비선형성 반응함수에 의한 3차원 형상 취득의 오차를 줄이기 위해 카메라 보정을 수행한다. 또한 스마트폰 카메라간의 자세를 추정하기 위해 5-point 알고리즘을 적용한 후 이를 이용하여 광원의 방향 벡터를 추정한다. 그 후 취득된 영상과 추정된 광원의 방향 벡터를 이용하여 photometric stereo기법으로 3차원 형상을 취득한다. 실험결과 본 논문에서 제안하는 기법을 통하여 스마트폰이 저비용 고품질의 소형화된 3차원 카메라의 역할을 수행할 수 있는 것을 확인할 수 있다.

현 3D 실험방송에서는 기존 시스템과의 역호환성 보장을 위해 좌 영상과 우 영상의 듀얼 스트림을 전송하는 서비스 호환(service compatible) 3D 서비스를 진행하고 있다. 이와 같은 듀얼 스트림 방식은 제한된 방송대역 19Mbps에서 좌,우 두 개의 영상을 전송함으로 화질의 제약이 따를 수 있다. 이에 본 논문에서는 상기 고정된 대역폭으로 인한 화질의 열화없이 안정적인 화질을 제공할 수 있는 NRT(Non-RealTime)기반 연동형 지상파 3D 방송 시스템을 제안하였다. 제안한 시스템은 지상파 방송대역에 국한되지 않고 비 실시간으로 좌 또는 우 영상을 미리 전송하여 저장하고, 미리 저장된 콘텐츠와 실시간 방송 콘텐츠의 동기화를 통해 고화질 스테레오스코픽 영상을 구성한다. 이를 위해 본 논문에서는 실시간 방송기술과 비 실시간 방송기술을 각각 분석하고, 비 실시간 연동형 고화질 3DTV시스템을 구현할 수 있는 알고리즘을 통한 실험결과를 통해 제안한 NRT 기반 연동형 지상파 3D 방송 시스템을 검증하였다.

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.

3D TV를 위한 스테레오 영상은 기존의 디지털 TV와 호환성을 유지하기 위하여 프레임 호환 패킹 포맷으로 전송될 수 있다. 이 경우 수신단은 해상도가 절반으로 줄어든 스테레오 영상으로부터 원래 크기의 좌우 영상을 확대하여 복원할 필요가 있다. 이 논문은 삭제된 영상 라인의 픽셀값을 적응적으로 내삽하는 기법을 제안한다. 삭제되지 않은 주변 영상 라인의 정보로부터 수평라인 기반 선형 필터와 NEDI6를 선택적으로 적용함으로써 기존의 Bilinear 내삽 기법에 비해 0.6dB 정도의 화질 향상을 달성할 수 있었다.

본 논문에서는 기존 무안경식 3D 디스플레이의 제한된 시야각으로 인한 3D 시청에서의 불편함을 해소하기 위해 새로운 패렐랙스 배리어 방식을 제안한다. 제안된 방식은 기존 패렐랙스 배리어의 TN-LCD 구조에서 LC를 공유하는 이중 계층의 ITO 쌍을 추가하였으며, 시선 추적 장치에 의해 시청자의 위치를 감지하여 자동으로 3D 시야각을 시청자의 위치에 맞도록 변화 시킬 수 있는 이중 계층의 패렐랙스 구조를 갖는다. 제안한 이중 계층 패렐랙스 배리어 방식을 시제품으로 구현하고 실험한 결과, 제안한 방식의 유효성을 확인할 수 있었다.

본 논문에서는 입체영상을 시청할 때 흔히 발생할 수 있는 시각 피로를 최소화하기 위한 시차 보정 기술을 제안한다. 시각 피로는 3차원 TV의 상용화에 있어 반드시 풀어야 할 문제이다. 본 논문에서 제안하는 시차 보정 기술은 좌, 우 입체카메라의 기하학적 분석을 통하여 영상의 깊이감을 조정하는 수평시차 보정과 특징 정합 기반의 수직시차 보정으로 구성된다. 기존의 시차 보정은 주로 입체영상 카메라의 기하적 관계를 캘리브레이션(calibration) 과정을 거쳐 구하고 그 결과값을 이용하였다. 그러나 캘리브레이션의 오류로 인한 시차의 오차가 여전히 발생하는 문제가 있었다. 본 연구에서는 수평시차는 입체카메라의 캘리브레이션 정보를 사용하는 반면 수직시차는 특징점 정합 기반의 보정 알고리즘을 사용하여 수직시차의 오차를 최소화하였다. 유사한 특징점 정합 기반의 보정 알고리즘과의 비교를 통하여 제안 알고리즘의 성능을 분석하였다.

모바일 단말과 같은 임베디드 환경은 범용 컴퓨터에 비하여 연산 성능이 현저히 낮다. 따라서 기존 얼굴 및 추적 알고리즘은 모바일 환경에서 적용하기에는 복잡도가 높아 검출 시간이 오래 걸리기 때문에 모바일 단말에서의 실시간 적용에는 적합하지 않다. 모바일 단말에서 실시간 시선 추적은 사용자와 단말 간의 양방향 멀티미디어 서비스를 가능하게 함으로써 단방향 서비스에 비해 고품질의 서비스를 제공할 수 있게 된다. 따라서 모바일 환경에 최적화된 실시간 시선 추적 기법의 개발이 필요하다. 이에 본 논문에서는 지상파 3D DMB 컨텐츠의 품질 향상을 위하여 단말에서 사용자 얼굴의 수평 위치를 실시간으로 추적할 수 있는 기법을 제안한다. 본 논문에서 제안하는 방법은 에지의 방향성을 이용하여 얼굴의 좌/우 경계 지점을 추정하며 컬러 에지 정보에 의하여 얼굴의 수평 위치 및 크기를 최종적으로 판단한다. 소벨 연산 과정에서의 경사도 벡터를 수직 방향으로 크기 투영한 데이터에서 얼굴의 경계 후보 지점들이 선택되며 정확한 판단을 위하여 평활화 방법 및 탐색 방법을 제안하였다. 일반적인 얼굴 검출 알고리즘은 멀티스케일의 특징 벡터를 사용하기 때문에 모바일 환경에서는 검출 시간이 오래 걸리지만 본 알고리즘은 수평 위치 검출이라는 제약 조건 하에서의 단일 스케일에서의 검출 방법이므로 기존 얼굴 검출 방법에 비하여 빠른 검출이 가능하다.

제한된 계조를 사용하는 영상장치들은 연속계조 영상과 시각적으로 유사한 영상을 획득하기 위해 하프토닝(halftoning) 방법을 사용한다. 다양한 하프토닝 방법 중, 오차 확산법은 짧은 계산시간과 좋은 화질의 하프톤 영상(halftone image) 획득이 가능하여 다양한 응용 분야에 널리 사용되고 있다. 하지만 이 방법은 인접 픽셀에 오차를 확산하는 과정에서 경계선을 흩트리며, 이로 인해 경계선이 약화 되고, 영상의 선명도를 저하시킨다. 이러한 문제점을 개선하기 위해 본 논문에서 제안된 방법은 Floyd-Steinberg 오차확산법의 필터 가중치를 기반으로 처리 픽셀의 오차와 인접픽셀의 경계선 정보를 고려하여 오차 필터를 적응적으로 결정한다. 이 방법은 경계선 강화를 위한 기존 방법들과 비교해 처리절차가 간단하여 상대적으로 적은 양의 프로세스 자원을 사용한다. 그럼에도 불구하고, 제안된 방법은 하프톤 영상의 경계선을 상당히 개선할 수 있었다. 이와 함께 객관적인 화질 평가를 위해 경계 상관도와 국부 평균 일치도를 이용하여 제안된 방법과 기존방법의 성능을 비교한다.

스네이크 알고리즘은 객체와 배경 사이의 활성 윤곽(active contour)을 추출하여 객체를 추적하는 기법으로 널리 사용되고 있지만, 객체 윤곽의 밝기 기울기 성분보다 배경에 존재하는 기울기 성분이 크면 객체 윤곽이 배경으로 잘못 수렴되는 문제를 갖는다. 또 객체의 급격한 이동으로 인해 객체의 윤곽이 탐색영역을 벗어나면 윤곽선이 객체의 내부로 수축되는(shrink) 현상이 발생하게 되어 객체 추적에 실패하게 된다. 본 논문에서는 이러한 기존의 문제점을 개선한 새로운 스네이크 윤곽 추적 방법을 제안한다. 먼저, 객체 경계에 존재하는 평균 기울기 방향만을 고려하도록 개선된 에지 에너지 함수와 스플라인 경계의 안쪽과 바깥쪽 영역의 명암차를 이용한 컨트라스트 에너지 함수를 제안하여 윤곽선이 배경에 잘못 수렴되는 문제를 해결하였다. 또한 이전 프레임과 현재 프레임의 차영상으로부터 스네이크 포인터의 모션 벡터를 얻고 이를 이용하여 이전 프레임의 스네이크 포인터를 현재 프레임의 객체 윤곽 부근으로 빠르게 이동시켜 윤곽선이 객체 내부로 수축되는 현상을 방지하였다. 실험 결과 제안하는 기법은 기존 방법들에 비하여 복잡한 배경에 더 강인하며 움직임이 큰 객체를 정확하게 추적할 수 있었다.

일반적으로 실제 사용되는 카메라들은 렌즈 왜곡이 존재하며, 렌즈왜곡의 정도는 카메라의 가격뿐만 아니라 특정 용도에 의해 달라진다. 현재까지의 많은 렌즈 왜곡 보정기법들은 왜곡 변수를 찾기 위해 투영 기하학의 불변량 속성을 기반으로 한 것으로, "물체의 직선은 이미지에서의 직선"이라는 상식에서 출발한다. 하지만, 평행선인 경우 이전의 연구들은 렌즈 왜곡 변수를 결정하는데 제약이 있다. 본 논문에서는 렌즈왜곡 변수를 결정할 때 동시에 평행선 유지를 보증할 수 있는 방법을 제안함으로써, 핀홀 카메라 모델을 이용하여 투영된 이미지와 실제 이미지가 근접한 결과를 얻게 된다. 실제 이미지와 제안된 기법을 사용한 보정이미지를 비교하여 그 효율성을 입증하였다.

현대 전자전에서 레이더 신호 환경은 매우 복잡하고 고밀도화 되어 가고 있다. 이러한 신호로부터 원래의 방사체로 각각 분리하여 분석하고 식별하기 위한 전자전지원을 위해서는 신뢰성있는 신호분석 기법이 요구된다. 본 논문에서는 전자전지원의 신호분석 단계에서 신뢰성을 보장하며 신호처리 비용을 줄일 수 있는 새로운 레이더 신호 그룹화 알고리즘을 제안하였다. 제안된 기법은 주파수 변조 특성에 대한 통계적 분포 특성을 활용하여 수신 신호로부터 커널 밀도 추정 방식을 이용하여 신호 그룹화한다. 제안된 기법에 대해 실험 결과를 통해 우수한 성능을 보유함을 확인하였다.