본 논문은 스테레오 영상에서 물체영역을 추출하기 위하여 변위정보와 밝기정보를 함께 사용하는 개선된 물체 추출 알고리즘을 제안한다. 변위정보와 밝기정보를 이용하여 물체를 추출하는 기법은 Ping과 Chaohui에 의해 연구된 바 있으며 이들의 기법은 입력영상 밝기기반으로 분할하고 분할된 영역 내의 변위정보를 고려하여 분할영역을 병합한다. 그러나 물체와 배경의 밝기 값이 비슷한 경우, 분할영역은 물체영역과 배경영역을 동시에 포함하게 됨으로써 분할영역 단위의 병합은 물체영역 추출의 오류를 야기한다. 이 문제를 해결하기 위해서 제안된 기법에서는 화소단위의 병합을 수행한다. 또한 변위정보의 신뢰도를 높이고 단방향 정합의 부족한 변위정보를 보완하기 위하여 양방향 스테레오 정합을 구현하며, 변위 탐색의 진행 여부는 입력영상의 기울기 성분, 즉 물체의 경계정보로부터 결정한다. 제안된 물체추출 알고리즘은 기존 방법에서 추출되지 않은 변위정보를 탐색함으로써 우수한 물체추출 성능을 보인다. 최종적으로 스테레오 카메라를 이용하여 획득한 실사영상에 대한 실험으로 제안된 방법의 성능을 평가한다.

일반적으로 HDR 영상을 얻기 위해서는 장면의 다이내믹 레인지를 충분히 포함하는 노출이 다른 많은 영상이 필요하고, 그 영상을 한 영상으로 합성한다. 본 논문에서는 적은 수의 영상으로 HDR 영상을 얻을 수 있는 효율적인 방법을 제안하였다. 먼저 노출이 다른 두 장의 영상을 사용해 장면의 다이내믹 레인지를 추정하였다. 이 두 영상은 장면의 다이내믹 레인지의 상한점과 하한점을 포함한다. 장면에 상관없이 노출 시간의 변화에 따라 상한점을 포함하는 영상의 최대 그레이레벨과 하한점을 포함하는 영상의 최소 그레이레벨이 일정한 경향이 나타나는 것을 확인하였다. 이런 경향을 모델링하여, 장면의 다이내믹 레인지를 추정하였다 추정한 장면의 다이내믹 레인지는 HDR 영상 획득을 위한 노출 시간을 찾는 데에 사용된다. 카메라의 다이내믹 레인지 세 개로 카메라가 만들 수 있는 전체 다이내믹 레인지를 포함할 수 있기 때문에, 영상 세 장만으로 HDR 영상을 얻을 수 있었다. HDR 영상의 오차를 평가하기 위해 가상의 카메라 영상을 사용하는 실험을 하였다. 실험을 통해 제안한 방법으로 얻은 HDR 영상의 오차가 10장 이상의 영상을 사용하여 얻은 HDR 영상의 오차가 큰 차이가 없음을 확인하였다.

본 논문에서는 비디오 화질 평가를 위해 움직임 벡터의 1차원 히스토그램을 비디오의 특징으로 이용하는 새로운 reduced-reference (RR) 평가 방법을 제안하였다. 제안한 화질 평가 방법은 수신단에서 열화 비디오를 재구성하는 대신 비디오 스트림 (video stream)의 파싱 (parsing) 과정에서 움직임 벡터를 직접 얻을 수 있기 때문에 수행시간 면에서 기존의 방법들에 비해 효율적이다. 또한 송신단에서는 입력 비디오 영상 전체에 대해 누적된 움직임 벡터의 1차원 히스토그램을 보내기 때문에 데이터량 측면에서도 효율적이다. 여기서, 기존의 방법들이 영상 한 장씩에 대해서 평가를 했던 것과 달리 제안한 방법에서는 전체 영상에 대해 누적된 움직임 벡터의 1차원 히스토그램을 사용하였다. 히스토그램의 유사도를 측정하기 위해 히스토그램 인터섹션 (histogram intersection)과 히스토그램 파이 (histogram difference)을 사용하였다. 여러 가지 비트율 (bit rate), 영상크기, 프레임율 (frame rate)로 코딩된 비디오 클립 52개에 대해 제안한 방법과 기존의 방법들을 비교하였고, 제안한 방법의 효율성을 기존 방법들과의 비교 실험을 통해 보였으며, 실험 결과를 통해, 제안한 방법이 기존의 방법들보다 mean opinion score (MOS)와 유사함을 보였다.

본 논문에서는 취득된 영상으로부터 실세계 지시 영역을 추정하는 방법을 제안한다. 일반적으로 사람은 무엇인가를 지시할 경우, 얼굴 방향을 목표물에 두게 된다. 따라서 얼굴영역과 손끝 영역을 연결한 직선을 지시방향이라 간주하였다. 먼저, 제안된 알고리듬은 2대의 카메라로부터 실시간으로 얻어진 영상에서 피부색 검출을 통해 사용자의 얼굴 및 손끝영역에서 2점을 추출하고, 이를 실세계 3차원 기하학 정보를 이용하여 지시방향 및 지시영역을 추정한다. 또한 제안된 알고리듬을 이용한 정확한 지시영역 추출을 기반으로 두 대의 카메라와 한 대의 빔 프로젝터로 구성된 '양방향 영화정보 안내 시스템(ICIGS: Interactive Cinema Information Guiding System)'을 구성하여 제안된 알고리듬의 실용화 가능성을 확인하였다.

일반적으로 움직임 벡터는 한 카메라에서 촬영된 영상 속에서의 객체의 움직임 정보를 나타내고, 변이 벡터는 서로 다른 카메라에서 촬영된 영상 간 객체의 위치 차이를 나타낸다. 기존의 H.264/AVC에서는 단일 시점 영상을 위한 비디오 부호화 기술이기 때문에 변이 벡터를 고려하지 않는다. 하지만, 다시점 비디오 부호화 기술은 H.264/AVC를 기반으로 하여 시점 간 예측구조를 지원하기 때문에, 다른 시점에서의 영상을 참조할 때는 움직임 벡터 대신 변이 벡터가 고려된다. 따라서, 본 논문에서는 다시점 비디오 부호화 기술을 위해 전역 변이 벡터 대체 방법과 확장된 주변 블록 예측 방법을 이용하여 개선된 움직임/변이 벡터 예측 방법을 제안한다. 제안하는 방법을 통해서 움직임 벡터 탐색 범위를 ${\pm}16$으로 설정하고, 전역 변이 벡터 탐색 범위를 ${\pm}32$으로 설정한 경우 평균 1.07%의 BD (Bjontegaard delta)-비트율 감소를 얻었으며, 전역 변이 벡터 탐색 범위를 ${\pm}64$로 설정한 경우 평균 1.32%의 BD-비트율 감소를 얻을 수가 있었다.

최근에 휴먼 컴퓨터 인터페이스 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력장치를 구축하고자 하는 연구가 많이 진행되고 있다. 하지만 복잡한 하드웨어 구성으로 제품의 가격이 매우 비싸고, 까다로운 사용자 캘리브레이션 과정으로 인해 시스템의 사용에 어려움을 겪는다. 본 논문에서는 HMD(Head Mounted Display)에 USB 카메라와 적외선을 반사시키는 hot-mirror와 적외선 조명을 이용한 시선 추적 모듈을 부착하고, 이를 통해 획득한 눈 영상의 2차원적인 분석과 간단한 사용자 캘리브레이션 과정을 통해 시선 위치를 파악하는 방법을 제안한다. HMD는 사용자의 얼굴 움직임과 함께 움직이므로, 얼굴움직임에 영향을 받지 않는 시선 추적 시스템을 구현할 수 있다. 또한, 시선 추적 시스템을 3차원 1인칭 슈팅 게임에 적응하여, 캐릭터의 시선 방향을 조정하고, 적 캐릭터를 조준하여 사격이 가능하도록 하여, 게임의 몰입감과 흥미성을 높일 수 있게 하였다. 실험 결과, 한 대의 데스크톱 컴퓨터 환경에서 게임과 시선 추적 시스템이 실시간으로 동작 가능했으며, 약 $0.88^{\circ}$의 시선 위치 추출 오차를 보였다. 또한 3차원 1인칭 슈팅게임에서 일반 마우스의 역할을 시선 추적 시스템이 문제없이 대신할 수 있음을 확인하였다.

모바일 폰에서 사용되고 있는 카메라와 LCD 디스플레이의 정확한 색 재현을 위한 특성화 과정은 많이 알려져 있다. 카메라의 입력 신호인 CIEXYZ 색 자극 값을 LCD의 출력 신호인 CIEXYZ 값으로 정확하게 사상하기 위해서는 카메라와 LCD 특성화, 그리고 색역 사상 과정이 필요하다. 각 장치의 특성화는 입력 신호와 출력 신호 사이의 관계를 추정하는 과정이다. LCD의 경우 출력장치이기 때문에 임의의 입력에 대해 출력 색 자극 값을 측색기를 통해 측정이 가능하나 카메라와 같은 입력 장치인 경우 입력 신호를 생성할 수 없기 때문에 특성화 과정이 부정확하고 출력 신호의 획득과정에서 많은 수작업이 필요로 한다. 더욱이 노이즈에 민감한 카메라의 특성 때문에 색역 사상 후 카메라 모듈 생산 초기에 노이즈에 최적화된 감마 톤 커브가 왜곡이 되어 결과적으로 노이즈가 증가하게 된다. 이러한 문제들을 해결하고자 본 논문에서는 카메라의 출력 신호 획득 시스템과 노이즈 제거를 위한 부분적인 감마 보정 방법을 제안한다. 카메라의 출력 신호는 입력신호 사용되는 칼라 차트를 촬영하여 이미지에서의 패치 값을 읽어 획득한다. 그러나 촬영과정에서의 조명의 영향뿐만 아니라 다수의 카메라모듈에 대해 촬영 시 뷰파인더에서의 차트의 위치에 대한 오차가 발생하게 된다. 이러한 수작업에서 발생하는 오차를 보정하기 위해 카메라의 위치를 조성하는 시스템을 제안한다. 카메라의 위치는 촬영된 이미지로부터 추정 할 수 있으며 카메라의 이동과 위치 추정을 반복적으로 적용하면서 최적의 위치를 찾게 되고, 각 패치의 위치를 추정하여 출력 값을 획득한다. 또한 특성화로 인해 발생하는 노이즈를 줄이기 위하여 카메라의 출력 신호의 밝기 커브를 부분적으로 감마 커브를 조정한다.

시공필터는 공간필터로는 제거할 수 없는 동영상의 노이즈를 제거하지만 알고리듬이 매우 복잡하여 하드웨어로 구현하기에 부적절하다. 본 논문에서는 적응 평균필터 알고리듬을 바탕으로 최대 세 장의 프레임을 사용하는 실시간 시공 노이즈 제거 시스템을 구현한다. 기존의 알고리듬에서 하드웨어로 구현하기에 부적절한 요소들을 수정하였다. 동작 속도를 높이기 위해서 노이즈 추정과 필터링이 병렬적으로 수행되도록 이전 프레임에서 추정된 노이즈를 현재 프레임 필터링에 이용하게 하였다. 또한 필터링 윈도우의 형태를 변형하여 시스템의 동기화를 용이하게 하였다. 제안하는 구조는 Virtex 4 XC4VLX60 상에 구현하였고 총 66%의 슬라이스를 사용하고 최대 80MHz의 속도로 동작하였다.

광대역 신호는 16 kHz로 표본화되어 50-7000 Hz로 밴드 제한된 신호를 말하며, 전화대역 음성 신호에 비해서 높은 자연성(naturalness)과 명료성(intelligibility)을 가진다. 이런 특징으로 광대역 부호화기는 화상회의, 디지털 AM 방송 및 고음질 음성통신 등에 사용될 수 있다. 본 논문에서는 가변대역 특징을 갖는 광대역 음성 오디오 부호화기를 제안하였다. 제안된 부호화기는 대역분한 구조를 가진다. 저주파 대역은 전화대역 음성 부호화기로 많이 사용되고 있는 8 kbit/s ITU-T G.729나 보다 높은 전송률로 오디오 신호까지 처리할 수 있는 11.8 kbit/s ITU-T G.729 Annex E로 부호화한다. 고주파 대역은 청각 모델을 기반으로 한 파라미터 부호화 방법으로 부호화한다. 제안된 고주파 대역 부호화는 감마톤 필터뱅크(gammatone filterbank)를 이용하여 입력신호를 임계대역으로 분할한 후, 각각의 임계대역 신호를 양자화한다. 저주파 대역 부호화기와 고주파 대역 부호화기는 서로 독립되어 있으므로, 복호화기에서는 채널 조건에 따라 전화대역 합성신호와 광대역 합성신호를 선택할 수 있는 특징이 있다. 성능 평가 결과, 제안된 부호화기는 낮은 전송률과 짧은 지연 시간으로 음성과 오디오 신호 모두에 대해 ITU-T G.722.1 24 kbit/s와 동등한 음질을 제공한다는 것을 확인하였다.

적응 필터의 입력 신호의 상관도 (correlation)가 클 경우 LMS 알고리즘의 수렴 속도는 상당히 느려지게 된다. 본 논문에서는 입력 신호의 상관도가 높은 상황에서 수렴 속도를 향상시킬 수 있는 적응 필터링 알고리즘을 제안한다. 입력 신호에 대하여 직교성을 가지도록 변환을 인위적으로 가하여 LMS 알고리즘의 한계를 극복한다. 제안한 알고리즘의 성능 향상은 시스템식별 모델을 통하여 그 수렴 속도의 개선을 확인하며 또한 시변 환경 하에서 적응 필터의 시변 추적 능력을 통해 보여 진다.

본 논문에서는 다양한 배경잡음에 의해 열화된 음성을 강조하기 위하여 청각시스템을 기초로 한 적응적인 음성강조시스템을 제안한다. 제안한 시스템은 먼저 유성음과 무성음의 구간을 검출한 후, 각 입력 프레임에서 검출된 결과에 따라서 상호억제 계수와 진폭성분조정계수를 적응적으로 조정한다. 마지막으로 시간지연신경회로망을 사용하여 잡음신호를 제거한다. 실험결과 본 시스템은 신호대잡음비의 평가방법을 통하여 다양한 잡음에 의해서 열화된 음성신호를 백색잡음 및 유색잡음에 대해서 효과적인 것을 보여준다.