• 한국콘텐츠학회논문지
• /
• 제14권2호
• /
• pp.1-9
• /
• 2014

영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다. 제안 방식은 우선순위가 결정된 패치에 대해 패치 내 이미 알고 있는 영역의 화소 값을 이용하여 패치 내 비어있는 영역의 화소 값을 외삽 방식으로 예측치를 구하여 채운 후 유사 패치를 탐색한다. 실험 결과를 통해 제안방식이 기존 예제기반 인페인팅 방식에 비해 자연스러운 결과 영상을 얻을 수 있음을 보여준다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권8호
• /
• pp.629-640
• /
• 2010

영상에서 일부분을 제거하거나 훼손된 영상에서 훼손된 부분을 복원하기위해 예제기반 인페인팅 방법이 주로 사용되고 있다. 예제 기반 인페인팅은 데이터 항 계산, 신뢰도 항 계산, 그리고 복사할 패치 선택 등 세가지 부분으로 구성되어 있는데 본 논문에서는 이들 각각 부분을 개선하여 기존의 예제기반 인페인팅 방법의 성능을 향상하는 방법을 제안한다. 기존에는 데이터 항을 계산하는데 편미방을 이용해서 국부적인 기울기를 구하기 때문에 잡음에 민감한 문제가 있어 이를 16개의 방향성 마스크를 사용하여 전역적 기울기를 구하도록 하여 잡음에 강건하도록 개선하였다. 신뢰도 항을 계산하는 과정에서 복원할 영역 내부에서 신뢰도 값이 매우 작아지는 문제를 개선하기 복원할 영역의 내부에서 신뢰도 항이 천천히 감소하도록 하는 방법을 제안하였다. 또한 복원할 영역에서 가까운 패치에 가중치를 주도록 패치 선택 방법을 개선하였다. 여러 가지 영상에 대한 실험한 결과 제안된 방법을 통한 인페인팅이 기존의 예제 기반 인페인팅보다 자연스럽게 복원함을 알 수 있었으며 훼손된 영상을 복원하는 경우에도 제안된 방법이 기존 방법보다 오차가 줄어듦을 알 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.848-850
• /
• 2015

본 논문에서는 픽셀 그레디언트의 방향성 정보를 이용하여 복원하는 예제기반 인페인팅 방법을 제안한다. 제안하는 방법에서는 영상 내에서 픽셀 그레디언트의 방향성을 검출하여 강도가 높은 그레디언트를 가지는 픽셀들을 먼저 복원하는 특징을 가진다. 지역적인 그래디언트의 특성을 이용하여 복원 영역의 연결성을 높이고 에러의 파급 효과를 줄임으로써, 기존의 예제기반 인페인팅 방법보다 개선된 결과를 보여준다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.186-189
• /
• 2019

영상 인페인팅(image inpainting)이란 입력 영상에 훼손되거나 빈 영영이 존재할 경우 이 영역을 자연스럽게 채워 영상을 복원해내는 영상처리 기법이다. 본 논문에서는 기존의 예제 기반(exemplar-based) 영상 인페인팅의 단점 중 하나인 텍스쳐 가비지(texture garbage)의 생성을 억제할 수 있는 새로운 영상 인페인팅 기법을 제시한다. 기존 기법과 달리 영상의 텍스쳐는 통계적으로 정적(stationary)이라는 가정 하에 정적인 소스 패치만을 후보 패치로 샘플링 한다. 이를 통해 주변 신호와 일치하지 않는 신호인 텍스쳐 가비지가 타겟 영역에 복사되는 것을 방지할 수 있다. 실험을 통해 제안 기법을 이용한 텍스쳐 합성이 기존 기법에 비해 더욱 자연스러운 영상 인페인팅 결과를 생성함을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.369-372
• /
• 2011

본 논문에서는 가상 시점 생성 시 발생하는 홀 영역의 메움 기법에 관하여 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅 기술을 제안한다. 생성된 가상 시점이 실제 카메라들의 중간에 위치하는 경우, 이 때 발생하는 홀 영역은 시점 간 보상으로 메울 수 있다. 하지만, 가상 시점이 실제 카메라들의 Field-of-View를 벗어난 경우에는 홀 영역에 대한 정보가 없기 때문에 이를 메우는데 어려운 문제가 따른다. 이러한 문제를 해결하기 위해 제안한 방법은 예제 기반의 영상 인페인팅 기술을 이용하여 홀 영역을 메운다. 제안한 방법은 홀 영역의 기하학적 특성을 제약조건으로 우선순위(Priority)를 계산한다. 최적의 패치를 찾기 위해 컬러 정보뿐만 아니라 깊이 정보(Depth)를 활용한다. 또한, 전경 물체의 텍스쳐로 인하여 잘못된 패치가 선택되는 문제를 해결하기 위해 적응적으로 패치 크기를 변경한다. 실험 결과에서 제안한 방법은 일반적인 홀 메움 방식과 비교하여 객관적 평가와 주관적 평가 모두에서 시각적으로 우수한 결과를 보여주었다.

• 전자공학회논문지CI
• /
• 제48권1호
• /
• pp.8-16
• /
• 2011

영상 인페인팅(Image Inpainting)은 영상에서 손상된 영역을 제거하고 제거한 영역을 주변 영역과 유사하게 채워 넣어 자연스럽게 만E는 영상 복원의 한 기법이다. 그러나 제거할 영액이 클 경우, 복원한 결과의 구조가 자연스럽지 않아 원하지 않는 영상을 획득할 수 있는 문제가 발생한다. 본 논문에서는 화소 값 차이뿐만 아니라 거리 정보를 고려한 다중 패치들을 사용하는 향상된 예제 기반 영상 인페인팅 기법을 제안한다. 일반적인 예제 기반 영상 인페인팅 기법에서는 패치를 잘못 선택함으로써 블록 현상 같은 부자연스러운 결과들이 발생할 수 있다. 이런 문제점을 개선하기 위해 채워질 패치와 원본 영역에서의 패치들 간의 공간상 거리와 화소 값 차이를 둘 다 고려하여 여러 후보 패치들을 선택하고 선택된 패치들의 가중치를 적용하여 새로운 구조와 질감 정보를 생성하는 것을 제안한다. 실험 결과를 통해 제안하는 방법을 이용한 결과가 기존의 방법을 이용한 결과보다 구조와 질감 정보가 보다 향상된 결과를 보여준다.

• 대한전자공학회논문지SP
• /
• 제44권5호
• /
• pp.54-63
• /
• 2007

본 논문은 영상 완성(image completion)을 위해 계층적으로 적용되는 새로운 에너지 최적화 방식을 제안한다. 영상 완성의 목적은 영상의 특정 영역이 지워진 상태에서, 그 지워진 부분을 나머지 부분과 시각적으로 어울리도록 완성시키는 기법을 말한다. 본 논문에서는 전역적 특징의 탐지, 주변 환경 변화에 대한 유연성, 계산비용의 감소, 영상 인페인팅과 같은 관련기법들로의 확장성 문제들을 다룰 수 있도록 마르코프 랜덤 필드(Markov Random Field)로 모델링 된 예제 기반 방식(exampler-based mehtod) 접근법을 택한다. 그리고 MRF에서의 에너지 최적화를 위해 BP 알고리즘(Belief Propagation Algorithm)의 변형인 우선순위 BP 알고리즘(Priority-Belief Propagation Algorithm)을 적용하였다. 본 논문에서 제안한 계층적 우선순위 BP 알고리즘(Hierarchical Priority-Belief Propagation Algorithm)은 MRF의 정점의 수를 줄이고 메시지를 계층적으로 전파한다. 이렇게 계층적 우선순위 BP 알고리즘을 영상 완성에 적용하여 여러 영상들에서 바람직한 결과를 얻었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.