Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Texture Garbage Elimination Algorithm for Exemplar-based Image Inpainting

예제기반 영상 인페인팅을 위한 텍스쳐 가비지 제거 알고리즘

  • Kong, Young Il (Dept. of Multimedia Engineering, Hanbat National University) ;
  • Lee, Si-Woong (Dept. of Multimedia Engineering, Hanbat National University)
  • 공영일 (한밭대학교 멀티미디어공학과) ;
  • 이시웅 (한밭대학교 멀티미디어공학과)
  • Received : 2018.12.26
  • Accepted : 2019.01.08
  • Published : 2019.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

Image inpainting is an image processing technique that restores an image by naturally filling the empty or damaged regions in an image. In this paper, we present a new image inpainting technique that can suppress the generation of texture garbage which is one of the artifacts of existing exemplar-based image inpainting. Unlike the existing technique, only the stationary source patch is sampled as the exemplar patch based on the assumption of spatial stationarity of the texture. This prevents the texture garbage, which is an inconsistent piece of texture from being copied to the target region. Experimental results show that the texture synthesis using the proposed method produces more natural inpainting results than the existing method.

영상 인페인팅(image inpainting)이란 입력 영상에 훼손되거나 빈 영영이 존재할 경우 이 영역을 자연스럽게 채워 영상을 복원해내는 영상처리 기법이다. 본 논문에서는 기존의 예제 기반(exemplar-based) 영상 인페인팅의 단점 중 하나인 텍스쳐 가비지(texture garbage)의 생성을 억제할 수 있는 새로운 영상 인페인팅 기법을 제시한다. 기존 기법과 달리 영상의 텍스쳐는 통계적으로 정적(stationary)이라는 가정 하에 정적인 소스 패치만을 후보 패치로 샘플링 한다. 이를 통해 주변 신호와 일치하지 않는 신호인 텍스쳐 가비지가 타겟 영역에 복사되는 것을 방지할 수 있다. 실험을 통해 제안 기법을 이용한 텍스쳐 합성이 기존 기법에 비해 더욱 자연스러운 영상 인페인팅 결과를 생성함을 확인한다.

Keywords

BSGHC3_2019_v24n1_186_f0001.png 이미지

그림 1. 텍스쳐 가비지의 예: (a) 채우기 이전 영상 (b) 텍스쳐 가비지 Fig. 1. Example of texture grabages: (a) image before filling (b) texture garbages

BSGHC3_2019_v24n1_186_f0002.png 이미지

그림 2. 번지점프 영상의 실험 결과: (a) 원본 영상 (b) 객체 제거 영상 (c) 기존 방식 (d) 제안 방식 Fig. 2. Experimental results for bungee jump image: (a) original image (b) object removed image (c) conventional method (d) proposed method

BSGHC3_2019_v24n1_186_f0003.png 이미지

그림 3. Sign 영상의 실험 결과: (a) 원본 영상 (b) 객체 제거 영상 (c) 기존 방식 (d) 제안 방식 Fig. 3. Experimental results for Sign image: (a) original image (b) object removed image (c) conventional method (d) proposed method

표 1. 제안 인페인팅 알고리즘 Table 1. Proposed inpainting algorithm

BSGHC3_2019_v24n1_186_t0001.png 이미지

References

  1. C. Ballester, V. Caselles, J. Verdera, M. Bertalmio, and G. Sapiro, "A Variational Model for Filling-in Gray Level and Color Images," Proceeding of International Conference Computer Vision, Vancouver, Canada, pp. 10-16, 2001.
  2. T. F. Chan and J. Shen, "Non-texture Inpainting by Curvature-Driven Diffusions (CDD)," Journal of Visual Communication and Image Representation, Vol.4, No.12, pp.436-449, 2001.
  3. A. Efros and T. Leung, "Texture Synthesis by Non-Parametric Sampling," Proceeding of International Conference Computer Vision, Kerkyra, Greece, pp. 1033-1038, 1999.
  4. L. Liang, C. Liu, Y. Q. Xu, and B. Guo, "Real-Time Texture Synthesis by Patch-Based Sampling," ACM Transaction on Graphics, Vol.20, No.3, pp.127-150, 2001. https://doi.org/10.1145/501786.501787
  5. A. Chriminisi, P. Perez. and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting," IEEE Transactions on Image Processing, Vol.13, No.9, pp.1200-1212, 2004. https://doi.org/10.1109/TIP.2004.833105
  6. C. Guillemot and O. L. Meur, "Image Inpainting: Overview and Recent Advances," IEEE Signal Processing Magazine, Vol.31, No.1, pp.127-144, 2014. https://doi.org/10.1109/MSP.2013.2273004