• 정보처리학회논문지B
• /
• 제14B권5호
• /
• pp.351-360
• /
• 2007

비디오 복원(video completion) 기술은 비디오 영상에서 색상 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 물체가 서로 교차하는 비디오 영상에서 원하지 않는 물체를 제거하고 이때 발생한 영상 홀(image hole)을 채우는 비디오 복원 기술을 제안한다. 움직이는 카메라에서 획득한 비디오 영상에서 이동하는 두 물체 중 카메라와 가까운 물체를 제거함으로써 가려진 이동물체와 배경에 홀이 발생하게 되고, 이 홀온 다른 프레임들의 정보를 이용하여 채움으로써 새로운 비디오를 생성한다. 입력 영상의 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색(temporal search)을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단된 부분을 삭제하고 공간적 탐색(spatial search) 방법을 이용하여 홀을 채워 가려짐이 있는 이동 물체 및 배경을 복원한다. 복원된 영상에서 블렌딩을 통해 솔기(seam)를 제거한다. 비디오카메라로 획득한 두 실영상을 이용하여 실험을 수행한 결과 가려진 물체를 복원한 새로운 비디오 영상을 생성할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.743-746
• /
• 2001

멀티미디어 정보 중 비디오 데이터는 정보량이 많기 때문에 자동화된 비디오 영상 처리 기술이 필요하다. 시청자의 이해와 시청의 편의성을 제공하기 위하여 대부분 비디오에 자막을 삽입하게 된다. 외국 방송물 및 영화에 삽입된 다른 언어 자막을 편집 과정에서 자막으로 교환 할 필요성이 종종 있게 된다. 기존의 방법들은 자막 부분을 충분히 포함하는 일정 영역에 특정 색상을 채운 후 새로운 자막을 삽입하게 된다. 기존 방법의 문제점은 많은 영역에 대해 비디오 영상 정보를 손실 시킴으로써 시청자에게 시청의 불편을 초래하고 자막 교환의 비 효율성과 부 자연스러움을 발생시킨다. 본 논문에서는 기존 방법의 문제점을 극복하기 위하여 자막 영역을 원영상으로 복원한 후 다른 자막으로 교환하는 방법을 제안하고자 한다. 원영상 복원을 위하여 비디오 정보와 BMA(Block Matching Algorithm)를 이용한 원영상 복원 방법을 제안하고, 복원된 영역에 다른 자막으로 교환함으로써 효과적인 자막 교환 방법을 제안하고자 한다. 실험 결과 원영상 복원을 이용한 자막 교환 방법은 기존 방법에 비해 자연스럽고 효과적인 교환 방법임을 볼 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.281-286
• /
• 2007

비디오 복원(video completion)은 비디오 영상에서 색상값에 대한 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 두 물체가 교차하는 입력영상으로부터 하나의 물체를 제거함으로 발생하는 홀(hole)을 채우는 비디오 복원 기술을 제안한다. 입력 영상에서의 두 물체 중 카메라와 가까운 물체를 제거함으로써 영상의 홀이 발생하게 되고, 이 홀을 다른 프레임들의 정보를 이용하여 채움으로써 가려진 물체를 복원한다. 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단 된 부분을 삭제하고 공간적 탐색 방법을 이용하여 홀을 채워 가려짐이 있는 물체를 복원하는 과정을 소개한다. 실험 결과를 통해 제안한 기술이 비교적 자연스러운 결과를 얻을 수 있다는 것을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.66-68
• /
• 2018

본 논문에서는 비디오로부터 추출된 프레임에서 3D 인체 모델의 복원하고 이를 부드럽게 재생될 수 있도록 보정하는 기법을 제안한다. 매개변수 기반의 모델을 사용하여 자세 및 체형을 복원하도록 접근하고 있다. 매개변수 기반의 인체 모델은 다양한 인체 데이터의 학습을 통해 만들어지며 입력 영상으로부터 최적의 자세와 체형 매개변수 값을 찾아 복원하게 된다. 자세 복원은 CNN 을 사용하여 영상으로부터 인체의 관절 위치를 추정하고 3D 모델로부터 2D 로 투영을 통해 관절 간의 거리가 최소화되는 매개변수 값을 찾아 복원한다. 형상 복원은 2D 영상으로부터 취득된 사람의 윤곽 데이터와 3D 모델의 윤곽 데이터 간의 매칭을 통해 복원된다. 이러한 단일 입력 영상에서 비디오와 같은 다중 입력 영상으로 확장하여 칼만 필터를 적용하여 오류 프레임을 검출하고 이전, 이후 프레임의 매개변수와의 보간을 통해 보다 자연스럽고 정확한 모델을 생성한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.296-299
• /
• 2013

디스플레이 기술이 발전함에 따라 다양한 크기의 디스플레이를 탑재한 장치들이 등장하게 되었고, 다양한 디스플레이 크기만큼 다양한 해상도를 사용하고 있다. 때문에 비디오 코덱과 scaler는 보편적으로 함께 사용된다. 그러나 기존의 scaler는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않으므로 시스템의 성능 개선에 한계가 존재하였다. 즉, 비디오 코덱의 복호화기는 비트스트림으로부터 복호한 정보를 바탕으로 영상을 복원하고, 복원영상은 up/down scaler에서 확대/축소를 수행한다. 하지만 비디오 코덱의 비트스트림에 존재하는 정보는 영상의 특성을 반영하기 때문에 up/down scaler에서 비디오 코덱의 복호화기에서 복호된 정보를 이용하면 복잡도의 증가 없이 효율적인 확대/축소를 수행할 수 있다. 이에 본 논문에서는 비디오 코덱 중 차세대 비디오 코덱인 H.264/AVC 복호화기에서 생성된 복원 영상에 대해서 별도로 영상의 특성을 계산하는 모듈 없이 H.264/AVC 복호화기에서 복원된 정보 중 인트라 모드 정보를 바탕으로 영상의 특성에 맞는 up/down scaler를 구현하는 방법을 제안한다. 이 방법은 기존의 scaler들보다 물체의 경계영역을 더 선명하게 확대하는 효과를 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2007년도 춘계종합학술대회
• /
• pp.145-148
• /
• 2007

논문은 비디오 픽쳐 타입을 이용한 비디오 셧 검출에 관한 연구이다. 제안한 방법은 압축된 비디오 프레임에 대하여 원 영상을 복원하지 않고, 압축 상태의 비디오 프레임을 이용한다. I픽쳐 프레임에서 DC영상을 복원하고, P픽쳐 프레임에서는 매크로블록의 개수를 이용하여 비디오 셧을 검출 한다. 테스트 비디오를 이용하여 실험 결과 $85\sim98%$의 장면전환 검출이 가능 하였고, 압축비트스트림을 복원하여 장면전환의 셧을 검출 하는 기법에 비해 4배 빠른 검색이 가능하다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.452-454
• /
• 1998

본 논문에서는 MPEG 압축 비디오 상에서 얼굴 영역을 추출하고 이를 인식하는 방법에 대하여 제안한다. 제안된 방법은 크게 MPEG 압축 비디오의 처리를 위한 축소된 DC 영상의 구성 단계, 축소된 DC 영상에서의 얼굴 영역 추출 단계, 그리고 얼굴 영역이 추출된 프레임에 대한 압축 복원 및 얼굴 인식의 3단계로 구성되어있다. DC 영상의 구성 단계에서는 압축 복원 없이 DCT 계수의 DC 값과 2개의 AC 값만을 사용하여 부분적인 2차원 역 DCT 변환을 이용한 방법을 사용하였으며, 얼굴 영역 추출 단계에서는 DC 영상에 대해 얼굴의 색상 및 형태 정보를 이용한 얼굴 후보 영역 추출 방법과 K-L 변환 및 역 변환의 오차에 의한 얼굴 영역 추출 방법을 사용하였다. 얼굴 인식 단계에서는 얼굴 영역이 추출된 프레임에 대하여 GOP 단위의 압축 복원을 수행한 후 고유 얼굴 영상을 이용한 방법으로 얼굴 인식을 수행하였다. 제안된 방법의 성능을 검증하기 위하여 뉴스와 드라마 MPEG 비디오를 대상으로 실험을 수행하였으며, 실험 결과 제안된 방법이 효율적임을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.396-397
• /
• 2010

본 논문에서는 스테레오 비디오의 오류 복원 알고리즘을 제안한다. 제안하는 알고리즘은 시간적 시점간 상관관계를 동시에 고려하여 오류 블록을 복원한다. 시간적 상관관계가 있는 블록들의 디스패리티 벡터 유사성을 통해 움직임 벡터와 디스패리티 벡터를 예측하고, 시점간 상관관계가 있는 블록들의 움직임 벡터 유사성을 통해 디스패리티 벡터와 움직임 벡터를 예측한다. 예측된 벡터들로부터, 오류 블록의 인접 화소 값들과 가장 유사한 값을 갖는 시간 시점 후보 블록들을 찾고, 시간 시점후보 블록들을 조합하여 오류 블록을 복원한다. 제안하는 알고리즘이 스테레오 비디오를 위한 효과적인 오류 은닉 방법으로서 높은 복원 효율을 나타냄을 컴퓨터 모의실험을 통해 확인한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.733-735
• /
• 2004

이 논문은 한 대의 카메라에서 얻은 일련의 영상을 해석하여 단순한 2차원의 영상을 3차원물체로 복원하는 방법에 대해 설명을 한다. 이러한 3차원 복원 방법은 카메라 내부 변수가 동일하다는 가정을 이용하여 별도의 캘리브레이션 작업 없이 한 대의 카메라로부터 얻은 여러 장의 영상을 이용한다. 이 논문에서 제안한 방법은 내부 변수 중 카메라 행렬의 단순화와 사영 기하를 이용한 것이다 이 방법은 실제 비디오 프레임에 가상의 그래픽 모델을 더하는 AR (Augmented reality) 분야에 특히 유용하다 이 논문에서의 실험은 실제 여러 비디오 스트림 데이터를 바탕으로 수행되었고, 하나의 카메라를 사용한 동영상에서 3차원 구조로 복원하는 실험 결과는 시스템의 유용성을 보여준다.