본 논문에서는 디지털 영상의 지역적 계조 재현과 함께 입력 영상의 색상을 유지하는 영상 향상 기법을 제안한다. 기존의 지역적 계조 재현 방법인 통합된 다중 크기의 Retinex는 영상이 가지는 어두운 영역의 가시성 향상을 통한 향상된 계조 재현 결과를 가져왔다. 그러나 IMSR을 포함한 대부분의 지역적 계조 재현 방법은 RGB 색 공간에서 수행되어 인간시각시스템에 의해 인지되는 색상의 왜곡이 발생하게 된다. 본 논문에서는 이러한 색상의 왜곡을 줄이는 계조 재현을 위하여 장치 독립적인 CIELAB 색 공간에서 색상를 유지하고 높은 대비와 자연스러운 영상을 얻기 위한 계조 재현 및 채도 보상 기법을 제안한다. 제안한 방법은 먼저 CIELAB 색 공간에서 $L^*$값에 대해 IMSR 정규화 및 단순한 사상 함수를 수행하여 가시성을 향상 시킨다. 또한, sRGB 색역 경계값을 이용하여 LC 평면에서 밝기 변화에 대한 선형적인 채도 보상을 수행하였다. 그 결과 입력 영상의 계조 재현을 통해 가시성이 향상되었고, 기존의 IMSR과 비교하여 색상의 왜곡이 줄었으며, 주관적인 평가를 수행하여 비교 평가 하였다.

본 논문에서는 지상라이다에서 획득한 3차원 점군데이터로부터 구조물을 모델링하는 알고리듬을 제안한다. 지상라이다 점군 데이터는 항공라이다의 경우와 달리 목표 구조물의 크기와 비슷한 다양한 장애물이 존재하고 데이터의 밀도, 거리 등의 특성이 다르기 때문에 항공라이다에서 사용된 기존의 알고리듬을 그대로 적용하기가 곤란하다. 제안한 방법에서는 색상정보와 호프변환을 이용하여 구조물을 추출하는 기법을 기반으로 주어진 필드데이터를 여러 개의 클러스터로 구분한다. 클러스터 데이터의 우선순위에 따라서 Delaunay triangulation 기법을 차례대로 적용하여 모델링을 수행한다. 제안한 방법은 클러스터 단위로 모델링을 진행하므로 잡음에 의한 영향을 최소화할 수 있으며 사용자가 원하는 개수만큼의 클러스터를 선택함으로써 모델링의 수준을 대화식으로 조정할 수 있다는 장점이 있다.

최근 프로젝터는 휴대용 프로젝터의 등장으로 원하는 장소에서 영상을 투영할 수 있어 현장에서의 회의에 사용되는 등 그 용도가 확장 되었다. 하지만 이러한 휴대성으로 인하여 백색의 균일한 투영면에 영상을 투영하지 못하는 경우 투영면의 색에 의하여 투영된 영상에서 색 왜곡이 발생한다. 따라서 색을 지닌 투영면에 의해 발생된 색 왜곡을 보정하기 위해 여러 알고리즘들이 제안되었다. 하지만 이들 알고리즘은 측정 장치를 사용하여 휴대용 프로젝터에 적용에 있어 제한적이다. 본 논문에서는 카메라를 측정 장치로 사용하여 유색의 투영면과 백색의 투영면에서의 색을 일치시키는 알고리즘을 제안한다. 먼저, 각 채널당 9단계의 계조를 나타내는 테스트 영상을 백색과 유색의 투영면에 투영한 후 카메라로 획득한다. 다음으로, 두 투영면에서의 각 각의 계조를 나타내는 테스트 영상의 획득한 영상을 통해 디지털 값을 획득한다. 획득한 디지털 값은 같은 패치에 대해 투영면에 따라 다른 값을 가지게 된다. 백색의 투영면에서 테스트 영상의 값을 기준으로 유색의 투영면에서 같은 값을 가지게 하는 테스트 영상을 찾는다. 두 개의 투영면에서 테스트 영상의 값을 일치 시키는 입력 디지털 값씩 차이는 색씩 변화를 나타낸다. 따라서, 두 투영면에서의 테스트 영상의 값을 일치 시키는 두 투영면에서의 입력 디지털 값을 다항 희귀 방정식에 대입하여 색 보정 행렬을 구한다. 실험을 통하여 제안한 방법과 이전 방법을 비교하였고 주관적 평가와 객관적 평가에서 제안한 방법이 우수한 성능을 나타내었다.

본 논문에서는 공간 영역과 정수 DCT 영역을 결합하는 hybrid 영역에서 thumbnail 영상을 생성하는 기법을 제안하다. 제안하는 hybrid domain 방법은 잔여 영상 스펙트럼의 DC 값과 복원된 예측 블록의 평균값을 더하여 thumbnail 영상의 화소 값을 구한다. 또한 본 논문에서는 효율적으로 예측 블록의 평균값을 구하기 위하여 블록의 경계화소만을 복원하는 기법을 제안한다. Bit-stream을 복호한 영상을 축소하여 thumbnail 영상을 생성하는 기존의 방법과 비교하여 제안하는 방법은 동일한 thumbnail 영상을 생성하면서 복잡도를 60% 이상 줄인다.

본 논문에서는 객체의 윤곽선 정보에 기반한 수정된 그래프컷(Graph-cut) 알고리즘을 이용하여 동영상에서 효율적으로 객체를 추출하는 방법을 제안한다. 이를 위해 먼저, 첫 프레임에서 자동 추출 알고리즘 이용하거나 사용자와의 상호작용을 통해 영상에서 객체를 분리한다. 객체의 형태 정보를 상속시키기 위해 이전 프fp임에서 추출된 객체 윤곽선의 움직임을 예측한다. 예측된 윤곽선을 기준으로 블록 단위 히스토그램 역투영(Block-based Histogram Back-projection) 알고리즘을 수행하여 다음 프레임의 각 픽셀에 대한 객체와 배경의 컬러 모델을 형성한다. 또한 윤곽선을 중심으로 전체 영상에 대한 로그함수 기반의 거리 변환 지도(Distance Transform Map)를 생성하고 인접 픽셀간의 연결(link)의 확률을 결정한다. 생성된 컬러 모델과 거리 변환 지도를 이용하여 그래프를 형성하고 에너지를 정의하며 이를 최소화하는 과정을 통해 객체를 추출한다. 다양한 영상들에 대한 실험 결과를 통해서 기존의 객체 추출 방법보다 제안하는 방법이 객체를 보다 정확하게 추출함을 확인할 수 있다.

비지역적 평균 기반 영상 잡음 제거 알고리즘은 이론적 배경이 간단한데 반해 영상 잡음 제거 성능은 우수하여 최근 가장 널리 사용되는 잡음제거 알고리즘 중에 하나이다. 그러나 기존의 비지역작 평균 기반 알고리즘도 여전히 평탄 영역에서의 잡음 제거 효과가 미흡하며 잡음 제거 과정에서 경계 및 패턴 영역의 흐려짐과 같은 문제점이 있어 다양한 방식으로 개선된 알고리즘이 개발되고 있다. 본 논문에서는 비지역적 평균값을 구할 때 사용되는 가중치를 가중치 정렬을 통해 재 정의된 임계치로서 갱신하고 그로부터 잡음 제거 효과를 향상시키는 개선된 비지역적 평균 알고리즘을 제안한다. 가중치 정렬을 통해 갱신된 가중치들을 통해 경계 및 패턴 영역에서 보다 고르고 선명하게 가중치를 구할 수 있어 결과적으로 잡음 제거로 인한 흐려짐 없이 잡음 제거가 가능하다. 다양한 잡음 정도를 갖는 실험 영상에 제안된 방법을 테스트하여 기존에 제안된 비지역적 평균 기반 알고리즘들에 비해 시각적, 수치적 성능에서 우수한 결과를 얻을 수 있었다.

본 논문은 저해상도 입력 영상을 고해상도 영상으로 복원하는 고속 학습기반 보간 기법을 제안한다. 일반적인 학습기반 초고해상도 기법은 여러 종류의 저해상도 영상과 고해상도 영상의 상관성을 통해 고주파 정보를 사전에 학습하고, 합성 단계에서 학습한 정보를 이용해 임의의 저해상도 영상을 고해상도 영상으로 복원한다. 이런 기존 학습기반 초 고해상도 기법은 방대한 양의 학습된 정보를 메모리에 저장해야만 하는 단점이 있을 뿐만 아니라 이차원 블록 단위 정합 과정을 거쳐야 하기 때문에 상당한 연산량이 요구된다. 이러한 문제점을 보완하기 위해 본 논문은 일차원 패치 단위 학습을 통해 학습 정보 저장용 메모리 크기 및 연산량을 크게 줄이는 기법을 제안한다. 실험 결과에 따르면, 제안한 기법은 전통적인 bicubic 보간 기법보다 평균 0.7dB 정도 높은 PSNR을 보이며, SSIM도 평균 0.01이상 향상되는 결과를 보인다.

본 논문은 H.264/AVC 비디오 코덱의 부화소 움직임 추정 연산을 효율적으로 줄일 수 있는 화소 재구성 알고리즘을 제안한다. 부화소 움직임 추정 연산은 보다 정확한 움직임 벡터를 찾을 수 있어 비디오 코덱에 널리 사용되지만, 추가적인 보간 및 탐색 연산으로 인해 부호화가의 연산량을 증가시키는 문제점이 있다. 본 논문은 화소 재구성 알고리즘을 이용한 부화소 움직임 추정기를 제안 하였다. 일반적인 부화소 움직임 추정기는 보간 시 같은 화소를 중복하여 보간한다. 이러한 중복 보간은 연산량을 증가 시키는 원인이 된다. 화소 재구성 알고리즘은 화소의 중복 보간을 제거하여 부화소 움직임 추정기의 연산량을 감소시킨다. 제안한 알고리즘은 고속 전역 부화소 탐색 알고리즘과 비교하여 보간 시 연산량이 18.1% 감소하였으며, PSNR 감소는 평균 0.067dB로 화질의 열화는 매우 미비했다. 그러므로 제안한 알고리즘은 저전력의 고효율을 요구하는 모바일 응용에 적합하다.

이미징 파이프라인(imaging pipeline)의 목적은 디스플레이 되는 영상을 원영상과 비슷하게 변환하는 것이다. 이를 위해 감마 조정 혹은 히스토그램기반 방법이 영상대비와 세부 영역을 개선하기 위해 제안되었다. 그러나 이러한 방법들은 조도성분과 색도성분이 위치에 따라 변화하므로 영상 개선에 한계가 있다. 따라서 MSR (Multi-Scale Retinex) 기법이 제안되었으며, 이는 영상에 따른 가우시안 필터의 크기에 의존하며, 독립적인 로그 신호를 기반으로 한다. 그러므로 영상 보정 후 후광효과(Halo), 색상변화(Color change or graying-out), 특정 색상의 두드러짐 등의 영상 왜곡(image distortion)이 발생한다. 따라서 본 논문에서는 영상을 전역조명성분, 국부조명성분, 반사성분으로 나누는 새로운 색상 보정 방법을 제안한다. 제안한 방법에서 전역조명성분은 가우시안 필터를 작용하여 획득하며, 국부 조명성분은 JND(Just-noticeable difference)기반 적응적 필터를 적용하여 획득한다. 반사성분은 원 영상에 획득된 전역조명성분과 국부조명성분으로 나누어 줌으로써 획득된다. 개선된 영상은 멱함수(power function)를 수행한 후 이들의 곱으로 획득되며, sRGB로 표현된다. 실험 결과에서 제안한 방법이 기존의 방법에 비해 우수한 성능을 보인다.

본 논문에서는 동영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 조절할 수 있는 실시간 동영상 표가 변환 기법을 제안한다. 제안하는 방법은 동영상 내의 연속하는 두 프레임 사이에 존재하는 상관성(correlation)을 이용하여, 이전 프레임의 seam 정보로부터 현재 프레임의 seam을 결정한다. 따라서, 전체 프레임들을 분석하지 않으면서도 컨텐츠의 떨림 현상을 발생시키지 않는다. 먼저, 전체 동영상 내에서 특정이 서로 비슷한 프레임들을 scene으로 구분하고, 각 scene 내의 첫번째 프레임은 정지영상의 seam carving을 사용하여 최대한 컨텐츠를 보존할 수 있도록 크기를 변환한다. 이 때, 영상의 크기를 변환하기 위해 추출한 seam에 대한 정보를 저장하고 그 이후의 프레임들은 이전 프레임에서 저장된 seam 정보를 참조하여 프레임 단위로 영상의 크기를 조절한다. 실험 결과는 제안하는 방법이 처리 속도와 메모리 사용량 면에서 실시간 처리에 적합하고, 영상이 가지고 있는 컨텐츠를 보전하면서 영상의 크기를 조절할 수 있음을 보여준다.

현재 위성방송을 통해 신호를 전송 또는 재전송하는 무선통신서비스를 이용하는 시청자 층은 다양하다. 하지만 방송국은 H.264표준으로 압축된 동영상들을 위성통신을 통하여 전송하기 때문에 H.264표준 디바이스를 갖추지 않는 선박은 실시간으로 데이터를 전송받지 못하는 단점을 가지고 있다. 따라서 본 논문에서는 기존 MPEG-2 표준 디바이스를 사용하고 있는 선박을 위하여 H.264 to MPEG-2 트랜스코딩 방법을 제안한다. 제안한 방법은 H.264 표준의 매크로블록모드의 특성을 분석하여 H.264 to MPEG-2 transcoding의 계산시간 및 화질을 개선한다. 첫째 H.264와 MPEG-2표준의 INTRA 모드 방법이 상이하므로 새로운 방법을 제안한다. 둘째 매크로블록모드가 INTER 모드인 경우에는 H.264표준의 가변블록 안에 존재하는 움직임 벡터의 방향성을 고려하여 새로운 예측움직임벡터 (PMV: predictor motion vector)를 제안한다. 이때 최종움직임벡터는 예측움직임벡터를 그대로 사용하거나, H.264표준의 매크로블록내에 존재하는 가변블록들의 움직임벡터들과 MPEG-2부호기(baseline)의 움직임벡터의 일치율을 비교하여 최종적으로 움직임벡터를 예측할 범위(window size)를 결정한다. 실험결과, 제안한 트랜스코딩방법의 PSNR은 MPEG-2 FSBMA와 거의 일치하고, 트랜스코딩에 필요한 계산시간은 평균적으로 각각 70% 또는 67% 감소하였다.

기존에 널려 쓰이는 3차원 얼굴 복원 방식인 Structure from motion(SfM)은 정면 및 좌우 측면 영상들이 입력할 때, 좌우 얼굴 특정 점들이 검출되어 우수한 성능을 보인다. 그러나 감시 카메라 환경과 같이 한 쪽 측면 얼굴 영상들이 입력될 경우, 보이는 한 쪽 얼굴 특정 점들만이 입력되므로, 가려진 부분의 얼굴이 제대로 복원되지 않는 문제가 있다. 이러한 문제를 해결하기 위해, 본 논문은 사람의 얼굴이 좌우 대칭이라는 제한 조건을 이용하여 대칭이 되는 얼굴 특정 정들을 생성하였으며, 이렇게 생성된 얼굴 특정 점들과 입력된 얼굴 특정 점들을 결합하여 사용함으로써 기존 SfM 기반 3차원 얼굴 복원 방식의 성능을 향상시켰다. 제안한 3차원 얼굴 복원 방법을 정량적으로 평가하기 위해 3차원 스캐너를 이용해 3차원 얼굴을 취득하였고, 이를 복원한 3차원 얼굴과 비교한 결과 좌우 대칭 특정 점들을 함께 사용하는 제안한 3차원 복원 방식은 한 쪽 측면 특정 점들만을 사용하는 기존 방식에 비해 우수한 성능을 보였다.

지능형 비디오 분석시스템은 불특정 다수의 객체가 가지는 행동을 분석하고, 불의의 사고를 사전에 예측하여 관리자에게 경고를 전달하는 기술을 필요로 한다. 본 논문은 적응적으로 배경을 생성하여 월담, 실신, 버려진 물체, 배회와 같이 사전에 정의된 이상행위를 분석하는 기술을 제안한다. 제안된 비디오 분석 시스템은 배경 생성과 이상 행위 분석 모듈로 구성된다. 강건한 배경 생성을 위해서 영상 내의 움직임 변화를 검출하여 매 순간마다 움직임이 없는 영역을 지속적으로 갱신하고, 이를 기반으로 객체를 검출한다. 또한 객체 검출의 정확성을 높이기 위해 검출된 결과에서 잡음과 그림자 제거 단계를 추가하였다. 이상행위 분석 모듈에서는 검출된 객체로부터 무게 중심, 실루엣, 크기, 이동 궤적 정보를 추출한다. 이때 이상행위의 판단은 월담, 실신, 버려진 물체, 배회에 따라 시나리오 환경으로 구성하고 분석하였다. 실험 결과에서 제안된 시스템은 복잡한 배경 환경에서도 이동 객체 검출 및 이상행위 분석이 가능하였다.

최근에 널리 사용되고 있는 단일 영상 기반의 3차원 얼굴 복원 방법인 변형 가능한 3차원 얼굴 형상 모델(3D morphable shape model)은 입력 영상으로부터 2차원 얼굴 특징점들을 정확하게 추출할 경우, 입력 얼굴과 유사한 3차원 얼굴 형상을 생성할 수 있다. 그러나 실시간 3차원 얼굴 복원 시스템과 같이 사용자의 협조가 불가능한 경우에는 자동으로 얼굴 특징점들을 추출해야 하기 때문에, 특징점 추출 오류가 발생하여 정확한 3차원 얼굴 형상을 생성하기 어려운 문제가 있다. 이러한 문제를 해결하기 위해서, 본 논문에서는 특징점 추출 시 오추출 특징점과 정추출 특징점을 자동으로 분류하고, 정추출 특징점들만을 이용하여 3차원 얼굴을 복원하는 방법을 제안하였다. 실험결과에서는 특징점 자동 추출 오류를 고려하지 않은 기존 방법과 비교한 결과, 제안방법의 3차원 얼굴 복원 성능이 크게 향상되었음을 확인하였다.

Ultra-High Definition Television (U-HDTV) 는 차세대 TV로 불리는 실감 TV의 가장 유망한 요소 기술로 주목받고 있으며 이를 효과적으로 압축하기 위한 병렬 비디오 부호화 기술 개발의 필요성이 증대되고 있다. 기존의 병렬 부호화 기술은 영상을 공간적으로 분할하고 분할비디오 (sub-sequence)를 독립적으로 부호화 하는 방식을 사용하였다. 본 논문에서는 분할비디오간의 높은 상호상관 (cross-correlation)을 이용하여 부호화 효율을 향상하는 파이프라인 (pipeline) 구조의 병렬 부 복호화기를 제안한다. 실험결과를 통하여 제안하는 기술이 압축 효율을 향상시키며 균일한 화질의 분할비디오를 생성하는 것을 확인한다.

기존의 많은 장면 전환 검출 알고리즘은 점진적 장면 전환을 검출하기보다는 급격한 장면 전환 검출에 중점이 맞추어졌다. 일반적으로 점진적 장면 전환 검출에 중점을 둔 알고리즘은 많은 연산량을 필요로 한다. 또한 장면 전환 검출에 오류 요소인 플래쉬 라이트, 카메라 움직임 및 특수효과 등의 다양한 오류 요소를 고려하지 못하는 경우가 많다. 또한 기존의 많은 방법들은 히스토그램 기반의 알고리즘을 제시하였지만 좋은 성능에 비해 처리속도에서 취약하다. 본 논문에서는 저장된 동영상으로 부터 수직과 수평 블록의 시간적 슬라이스 영상과 슬라이스 영상 내 매크로 블록에 해당되는 정보를 이용한 빠르고 정확한 장면 전환 검출 알고리즘을 제안한다. 슬라이스 영상으로부터 시, 공간 상관관계의 히스토그램을 구성하고, 이를 그래프 컷 분할 알고리즘에 적용하였다. 처리속도 향상을 위해 영상 전체가 아닌 각각 영상 내 수직, 수평 방향의 중심 부분의 해당되는 위치의 블록에서만 시공간 정보를 추출하여 히스토그램을 구성하였다. 또한 카메라, 물체의 움직임 및 특수효과 변화 등을 효과적으로 검출할 수 있도록 매크로 블록의 움직임과 형태 정보를 이용하여 상당한 변별력 향상을 보였다.

본 논문은 비접촉식 지분 영상 획득 방식에 대한 소개와 함께 비접촉식 지문 영상의 유용성을 증명하기 위해, 현재 경찰청 등에서 사용되는 날인 지문과의 호환성을 접촉식 눌림 지문과 비교를 통해 평가한다. 이를 위하여 획득한 비접촉식 지문 영상과 접촉식 지문과의 차이를 분석하고 비접촉식 지문 영상의 문제점인 상대적으로 낮은 지문의 명암 대비, 해상도 차이를 보정하여 접촉식 날인 지문과의 정합 성능을 예측하였으며 특징점 기반의 정합 알고리즘을 사용하여 정합을 수행한 결과, 비접촉식 지문 영상은 일반 접촉식 눌림 영상에 비해 접촉식 날인 지문과의 인식 성능이 약 2.5% 하락하지만, 기존 연구 사례와 비교하여 볼 때 상당히 높은 수준의 성능인 EER 7.9%를 보임을 확인할 수 있었다. 따라서 본 연구 결과는 비접촉식 지문 인식의 유용성을 증명하여 사용 확대를 가능하게 하고, 향후 비접촉식과 접촉식 지문 인식 시스템 통합 시 요구되어지는 호환성 문제에 도움을 줄 수 있을 것이라 생각된다.

본 논문에서는 마르코프 랜덤 필드(Markov random fields: MRF) 기반으로 배경을 모델링하는 방식과 함께 관련 파라미터들을 추정하는 알고리즘을 제안한다. 화소 기반의 배경 모델링 기법은 인근 화소 간의 연관성을 고려하지 않고 화소 단위의 시간적 변화에 대한 통계적 특성에 주로 의존하므로 판정 오류를 줄이는데 한계가 있다. 제안 알고리즘은 화소 기반으로 배경 모델을 일차적으로 수행한 다음 MRF를 이용하여 시공간적으로 인근한 화소 간의 상호 의존성을 활용하여 배경모텔의 정확도를 향상시키는데 그 목적을 두고 있다. MRF는 기본적으로 파라미터의 크기에 매우 민감하므로 기존의 MRF 기반 알고리즘은 이미지에 따라 적절한 값을 사전에 구하여 적용하고 있다. 제안한 방식은 초기에 임의의 파라미터로 배경/전경 상태변수를 구한 후에 이의 통계적 특성을 이용하여 파라미터들을 추정하고 추정된 파라미터를 적용하여 상대변수를 재차 구하는 과정을 반복함으로써 최적의 파라미터에 적응적으로 수렴하도록 조정한다. 실내외의 다양한 환경에서 촬영한 비디오를 이용하여 제안한 방식 성능을 확인한다.