Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Exemplar-based Image Inpainting Using Multiple Patches

다중 패치를 이용한 예제 기반 영상 인페인팅

  • Park, Chan-Woo (Dept. of Comp. Sci. & Eng., Hanyang University) ;
  • Lee, San-Hyun (Dept. of Comp. Sci. & Eng., Hanyang University) ;
  • Park, Ki-Tae (Ambient Intelligence Software Team, Institute of Hanyang University) ;
  • Moon, Young-Shik (Dept. of Comp. Sci. & Eng., Hanyang University)
  • 박찬우 (한양대학교 컴퓨터공학과) ;
  • 이상현 (한양대학교 컴퓨터공학과) ;
  • 박기태 (한양대학교 BK21 엠비언트인텔리전스소프트웨어팀) ;
  • 문영식 (한양대학교 컴퓨터공학과)
  • Received : 2010.11.23
  • Accepted : 2011.01.07
  • Published : 2011.01.25
Download PDF
⟨ Previous Next ⟩

Abstract

Image inpainting is a technique for removing damaged regions and reconstructing them with visually plausible backgrounds. However, if size of the damaged regions for reconstructing is large, the unexpected results can be obtained due to disconnected structures within reconstructed regions. In this paper, by considering spatial distance information between candidate patches and a damaged patch as well as pixel value difference, an exemplar-based image inpainting using multiple patches is proposed. In conventional exemplar-based image inpainting method, implausible results such as blocking effects or repetition of reconstructed patch may occur by using inappropriately selected single patch. To improve the exemplar-based method, the weighted sum of multiple patches considering both the spatial distance and the pixel value difference between the target patch and the candidate patches is utilized. Experimental results have shown that the proposed method produces better performance of image inpainting than the existing method.

영상 인페인팅(Image Inpainting)은 영상에서 손상된 영역을 제거하고 제거한 영역을 주변 영역과 유사하게 채워 넣어 자연스럽게 만E는 영상 복원의 한 기법이다. 그러나 제거할 영액이 클 경우, 복원한 결과의 구조가 자연스럽지 않아 원하지 않는 영상을 획득할 수 있는 문제가 발생한다. 본 논문에서는 화소 값 차이뿐만 아니라 거리 정보를 고려한 다중 패치들을 사용하는 향상된 예제 기반 영상 인페인팅 기법을 제안한다. 일반적인 예제 기반 영상 인페인팅 기법에서는 패치를 잘못 선택함으로써 블록 현상 같은 부자연스러운 결과들이 발생할 수 있다. 이런 문제점을 개선하기 위해 채워질 패치와 원본 영역에서의 패치들 간의 공간상 거리와 화소 값 차이를 둘 다 고려하여 여러 후보 패치들을 선택하고 선택된 패치들의 가중치를 적용하여 새로운 구조와 질감 정보를 생성하는 것을 제안한다. 실험 결과를 통해 제안하는 방법을 이용한 결과가 기존의 방법을 이용한 결과보다 구조와 질감 정보가 보다 향상된 결과를 보여준다.

Keywords

References

  1. M. Bertalmio, G. Sapiro, V. Caselles and C. Ballester, "Image inpainting," Proc. of 27th Conference Computer Graphics and Interactive Techniques (ACM SIGGRAPH 2000), pp. 417-424, New Orleans, LA, July 2000.
  2. T. Chan and J. Shen, "Mathematical models for local nontexture inpaintings," SIAM Journal on Applied Mathematics, Vol. 62, no. 3, pp. 1019-1043, February, 2002. https://doi.org/10.1137/S0036139900368844
  3. T. Chan and J. Shen, "Non-texture inpainting by curvature-driven diffusions," Journal of Visual Communication and Image Representation, Vol . 12, no. 4, pp. 436-449, December 2001. https://doi.org/10.1006/jvci.2001.0487
  4. A. Criminisi, P. Perez and K. Toyama, "Region filling and object removal by exemplar-based image inpainting," IEEE Trans. Image Processing, Vol. 13, no. 9, pp. 1200-1212, September 2004. https://doi.org/10.1109/TIP.2004.833105
  5. A. Criminisi, P. Perez and K. Toyama, "Object removal by exemplar-based image inpainting," Proc. IEEE International Conference on Computer Vision, 2003.
  6. Q. Chen, Y. Zhang and Y. Liu, "Image inpainting with improved exemplar-based approach", Multimedia Content Analysis and Mining 2007, Lecture Notes in Computer Science 477, pp. 242-251, 2007.
  7. Riri Boldys and Bernard Bessere, "Exemplar-based inpainting with rotation invariant patch matching," Proc. of Computer Vision Theory and Applications (VISAPP 2006), pp. 115-120, 2006.
  8. Wen-Huang Cheng, Chun-Wei Hsieh, Sheng-Kai Lin, Chia-Wei Wang, and Ja-Ling Wu, "Robust algorithm for exemplar-based image inpainting," International Conference on Computer Graphics, Imaging and Visualization (CGIV 2005), pp. 64-69, 2005.
  9. 김창기, 김백섭 "가우시안 거리 가중치를 이용한 exemplar-based inpainting", 한국정보과학회 2009 가을 학술발표논문집, 제36권 C편, 제2호, 384-388쪽, 2009년 11월
  10. D. Cho and T.D. Bui, "Image inpainting using wavelet-based inter- and intra-scale dependency," International Conference on Pattern Recognition (ICPR 2008), pp. 1-4, Tampa, FL, December 2008.