• Journal of the Optical Society of Korea
• /
• 제19권4호
• /
• pp.390-396
• /
• 2015

We propose a partial occlusion removal method for computational integral imaging reconstruction (CIIR) based on the usage of the exemplar based inpainting technique. The proposed method is an improved version of the original linear inpainting based CIIR (LI-CIIR), which uses the inpainting technique to fill in the data missing region. The LI-CIIR shows good results for images which contain objects with smooth surfaces. However, if the object has a textured surface, the result of the LI-CIIR deteriorates, since the linear inpainting cannot recover the textured data in the data missing region well. In this work, we utilize the exemplar based inpainting to fill in the textured data in the data missing region. We call the proposed method the neighboring elemental image exemplar based inpainting (NEI-exemplar inpainting) method, since it uses sources from neighboring elemental images to fill in the data missing region. Furthermore, we also propose an automatic occluding region extraction method based on the use of the mutual constraint using depth estimation (MC-DE) and the level set based bimodal segmentation. Experimental results show the validity of the proposed system.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.186-189
• /
• 2019

영상 인페인팅(image inpainting)이란 입력 영상에 훼손되거나 빈 영영이 존재할 경우 이 영역을 자연스럽게 채워 영상을 복원해내는 영상처리 기법이다. 본 논문에서는 기존의 예제 기반(exemplar-based) 영상 인페인팅의 단점 중 하나인 텍스쳐 가비지(texture garbage)의 생성을 억제할 수 있는 새로운 영상 인페인팅 기법을 제시한다. 기존 기법과 달리 영상의 텍스쳐는 통계적으로 정적(stationary)이라는 가정 하에 정적인 소스 패치만을 후보 패치로 샘플링 한다. 이를 통해 주변 신호와 일치하지 않는 신호인 텍스쳐 가비지가 타겟 영역에 복사되는 것을 방지할 수 있다. 실험을 통해 제안 기법을 이용한 텍스쳐 합성이 기존 기법에 비해 더욱 자연스러운 영상 인페인팅 결과를 생성함을 확인한다.

• 전자공학회논문지CI
• /
• 제48권1호
• /
• pp.8-16
• /
• 2011

영상 인페인팅(Image Inpainting)은 영상에서 손상된 영역을 제거하고 제거한 영역을 주변 영역과 유사하게 채워 넣어 자연스럽게 만E는 영상 복원의 한 기법이다. 그러나 제거할 영액이 클 경우, 복원한 결과의 구조가 자연스럽지 않아 원하지 않는 영상을 획득할 수 있는 문제가 발생한다. 본 논문에서는 화소 값 차이뿐만 아니라 거리 정보를 고려한 다중 패치들을 사용하는 향상된 예제 기반 영상 인페인팅 기법을 제안한다. 일반적인 예제 기반 영상 인페인팅 기법에서는 패치를 잘못 선택함으로써 블록 현상 같은 부자연스러운 결과들이 발생할 수 있다. 이런 문제점을 개선하기 위해 채워질 패치와 원본 영역에서의 패치들 간의 공간상 거리와 화소 값 차이를 둘 다 고려하여 여러 후보 패치들을 선택하고 선택된 패치들의 가중치를 적용하여 새로운 구조와 질감 정보를 생성하는 것을 제안한다. 실험 결과를 통해 제안하는 방법을 이용한 결과가 기존의 방법을 이용한 결과보다 구조와 질감 정보가 보다 향상된 결과를 보여준다.

• 한국콘텐츠학회논문지
• /
• 제14권2호
• /
• pp.1-9
• /
• 2014

영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다. 제안 방식은 우선순위가 결정된 패치에 대해 패치 내 이미 알고 있는 영역의 화소 값을 이용하여 패치 내 비어있는 영역의 화소 값을 외삽 방식으로 예측치를 구하여 채운 후 유사 패치를 탐색한다. 실험 결과를 통해 제안방식이 기존 예제기반 인페인팅 방식에 비해 자연스러운 결과 영상을 얻을 수 있음을 보여준다.

• 정보과학회 논문지
• /
• 제43권4호
• /
• pp.437-449
• /
• 2016

평면 대 평면 간 기하 변환에 기반을 두는 기존 영상처리 기술들은 구면 파노라마 영상에서의 픽셀 좌표에는 적용될 수 없다. 본 논문에서는 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다. 구면 영상에서 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용할 수 있도록 하는 것이 본 논문에서 제안하는 방법의 목적이다. 기존의 표본 기반 영상 인페인팅은 정사각형 표본을 그대로 사용하기 때문에 좌표계가 다른 구면 파노라마 영상에서는 사용할 수 없다. 본 논문에서는 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후 이를 정사각형으로 균일화하는 방법을 사용한다. 이후 균일화된 표본을 이용하여 표본 기반 영상 인페인팅을 수행하는 방법으로 영상을 복원한다. 실험 결과 본 논문에서 제안하는 방법은 구면 파노라마 영상에서 표본 기반 영상 인페인팅을 성공적으로 수행함을 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권8호
• /
• pp.629-640
• /
• 2010

영상에서 일부분을 제거하거나 훼손된 영상에서 훼손된 부분을 복원하기위해 예제기반 인페인팅 방법이 주로 사용되고 있다. 예제 기반 인페인팅은 데이터 항 계산, 신뢰도 항 계산, 그리고 복사할 패치 선택 등 세가지 부분으로 구성되어 있는데 본 논문에서는 이들 각각 부분을 개선하여 기존의 예제기반 인페인팅 방법의 성능을 향상하는 방법을 제안한다. 기존에는 데이터 항을 계산하는데 편미방을 이용해서 국부적인 기울기를 구하기 때문에 잡음에 민감한 문제가 있어 이를 16개의 방향성 마스크를 사용하여 전역적 기울기를 구하도록 하여 잡음에 강건하도록 개선하였다. 신뢰도 항을 계산하는 과정에서 복원할 영역 내부에서 신뢰도 값이 매우 작아지는 문제를 개선하기 복원할 영역의 내부에서 신뢰도 항이 천천히 감소하도록 하는 방법을 제안하였다. 또한 복원할 영역에서 가까운 패치에 가중치를 주도록 패치 선택 방법을 개선하였다. 여러 가지 영상에 대한 실험한 결과 제안된 방법을 통한 인페인팅이 기존의 예제 기반 인페인팅보다 자연스럽게 복원함을 알 수 있었으며 훼손된 영상을 복원하는 경우에도 제안된 방법이 기존 방법보다 오차가 줄어듦을 알 수 있었다.

• 한국게임학회 논문지
• /
• 제15권6호
• /
• pp.121-130
• /
• 2015

본 논문에서는 표본 기반 영상 인페인팅을 이용하여 틀린그림찾기 게임의 컨텐츠를 자동으로 생성하는 방법을 제안한다. 틀린그림찾기 게임은 원본 영상에서 특정 물체를 제거하거나 색상을 변경, 혹은 다른 물체로 대치시켜서 새로운 영상을 만든 후 두 영상의 차이점을 찾아내는 게임이다. 표본 기반 영상 인페인팅 기술은 정지 영상에서 의미가 없거나 관심 밖의 피사체를 영상에서 제거하는 역할을 한다. 본 논문에서는 표본 기반 영상 인페인팅을 이용해 물체 제거 문제를 자동화시키는 방법을 제안한다. 실제 구현 및 실험을 통해 틀린그림찾기 영상을 생성한 결과 제안하는 방법이 틀린그림찾기 컨텐츠를 자동 생성하는데 효과적임을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2007년도 하계종합학술대회 논문집
• /
• pp.365-366
• /
• 2007

In this paper, a novel correction method of red-eye effect is proposed. Conventional methods simply reduce red components in red-eye regions, not considering the expanded size of a pupil, thus the correction results can be unnatural. In the proposed method, an exemplar-based inpainting method is used for reducing the pupil region and filling the iris texture instead. Experimental results show that the proposed method is effective and its correction results look more natural than those of conventional methods.

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제22권2호
• /
• pp.91-100
• /
• 2018

In this paper, we propose a new method for template matching, patch ratio, to inpaint unknown pixels. Before this paper, many inpainting methods used sum of squared differences(SSD) or sum of absolute differences(SAD) to calculate distance between patches and it was very useful for closest patches for the template that we want to fill in. However, those methods don't consider about geometric similarity and that causes unnatural inpainting results for human visuality. Patch ratio can cover the geometric problem and moreover computational cost is less than using SSD or SAD. It is guaranteed about finding the most similar patches by Cauchy-Schwarz inequality. For ignoring unnecessary process, we compare only selected candidates by priority calculations. Exeperimental results show that the proposed algorithm is more efficent than Criminisi's one.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3642-3667
• /
• 2021

Texture synthesis technology has the advantages of repairing texture and structure at the same time. However, during the filling process, the size of the patch is fixed, and the content of the filling is not fully considered. In order to be able to adaptively change the patch size, we used the exemplar-based inpainting technique as the test algorithm, considering the image structure and texture, calculated the image structure patch size and texture patch size, and comprehensively determined the image patch size. This can adaptively change the patch size according to the filling content. In addition, we use multi-layer images to calculate the priority, so that the order of image repair was more stable. The proposed repair algorithm is compared with other image repair algorithms. The experimental results showed that the proposed adaptive image repair algorithm can better repair the texture and structure of the image, which proved the effectiveness of the proposed algorithm.