The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Design and Implementation of AR Model based Automatic Identification and Restoration Scheme for Line Scratches in Old Films

AR 모델 기반의 고전영화의 긁힘 손상의 자동 탐지 및 복원 시스템 설계와 구현

  • 한녹손 (한국전자통신연구소) ;
  • 김성환 (서울시립대학교 컴퓨터과학부)
  • Published : 2010.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Old archived film shows two major defects: line scratch and blobs. In this paper, we present a design and implementation of an automatic video restoration system for line scratches observed in archived film. We use autoregressive (AR) image model because we can make stochastic and specifically autoregressive image generation process with our PAST-PRESENT model and Sampling Pattern. We designed locality maximizing scanning pattern, which can generate nearly stationary time-like series of pixels, which is a strong requirement for a stochastic series to be autoregressive. The sampled pixel series undergoes filtering and model fitting using Durbin-Levinson algorithm before interpolation process. We designed three-stage film restoration system, which includes (1) film acquisition from VHS tapes, (2) simple line scratch detection and restoration, and (3) manual blob identification and sophisticated inpainting scheme. We implemented film acquisition and simple inpainting scheme on Texas Instruments DSP board TMS320DM642 EVM, and implemented our AR inpainting scheme on PC for sophisticated restoration. We experimented our scheme with two old Korean films: "Viva Freedom" and "Robot Tae-Kwon-V", and the experimental results show that our scheme improves Bertalmio's scheme for subjective quality (MOS), objective quality (PSNR), and especially restoration ratio (RR), which reflects how much similar to the manual inpainting results.

오래된 영화 필름이나 비디오 테이프 등의 영상물에서 나타나는 대표적인 손상으로는 긁힘과 얼룩무늬 손상이 있으며, 본 논문은 긁힘 손상을 자동 탐지하고, 자기상관 (AR: autoregressive) 이미지 생성모델 (PAST-PRESENT 모델) 기반의 영상 인페인팅 모델을 사용하여 손상을 복원하는 시스템을 설계하고 구현하였다. AR 이미지 모델 생성을 위해, 지역성을 최대화할 수 있도록 인접 화소를 모으는 Sampling Pattern을 사용하였으며, 추출된 화소들을 필터링 (filtering)하는 단계, AR 모델 파라미터 계산 (model fitting)을 위한 Durbin-Levinson 알고리즘, 최종 파라미터를 통한 훼손된 화소의 예측 및 보간 단계로 구성된다. 구현된 시스템은(1) VHS 테이프를 통한 아날로그 영상물의 디지털화, (2) 긁힘 손상의 자동탐지와 자동손상복원, (3) 얼룩무늬의 수동탐지와 자동복원의 3단계 복원절차를 지원하도록 설계하였다. 단계 1과 단계 2는 영상복원 고속화를 위해 TIDSP 보드 (TMS320DM642 EVM)을 이용하여 구현하였으며, 단계 3은 사용자의 수동탐지를위해, PC 를 사용하여 구현하였다. 본 논문에서 제안된 기법을 고전 한국영화 2편 (자유만세와 로보트 태권 V)에 대하여 실험하였으며, 본 논문에서 제안한 자기상관 기반의 복원 시스템은 Bertalmio 인페인팅 기법과 비교하였으며, 주관적 화질 (MOS 테스트) 및 객관적 화질 (PSNR), 특히, 숙련된 복원기술자에 의한 복원과의 차이를 정의하는 복구품질 (RR)에서 향상된 결과를 보임을 확인하였다.

Keywords

References

  1. M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester. “Image Inpainting,” In Proc. SIGGRAPH 2000, 2000, pp.417-424.
  2. PrestoSpace project, http://prestospace.org.
  3. D. Vitulano, V. Bruni, and P. Ciarlini, “Line scratch detection on digital images: an energy based model,” (Special Issue in) Journal of WSCG, Vol.10, No.2, 2002, pp.477-484.
  4. A. C. Kokaram, “Detection and removal of line scratches in degraded motion picture sequences,” Signal Processing VIII, Vol.1, pp.5-8, Sep., 1996.
  5. A. C. Kokaram, “Motion Picture Restoration: Digital Algorithms for Artefact Suppression in Degraded Motion Picture Film and Video,” Springer-Verlag, Berlin, Germany, 1998.
  6. M. Oliveira, B. Bowen, R. McKenna, and Y.-S. Chang. “Fast Digital Image Inpainting,” In Proc. VCIP 2001, 2001, pp. 261-266.
  7. A. Telea. “An Image Inpainting Technique Based on the Fast Marching Method,” Journal of Graphics Tools, Vol.9, No.1, pp.25-36, 2004.
  8. K. H. Ko and S. W. Kim. “Efficient Inpainting of Old Film Scratch using Sobel Edge Operator based Isophote Computation,” in CIT 2006, 2006, pp.125. https://doi.org/10.1109/CIT.2006.88
  9. A. C. Kokaram, “A statistical framework for picture reconstruction using AR models,” In European Conference on Computer Vision workshop on Statistical methods in video processing (ISBN 0-9581044-0-9),Copenhagen, Denmark, pp.73-78, June 2002.
  10. D. Marr and E. Hildreth, “Theory of edge detection,” In Proc. Roy. Soc., London B207, 1980, pp.187-217. https://doi.org/10.1098/rspb.1980.0020
  11. D. Mumford and J. Shah, “Optimal approximations bypiecewise smooth functions and associated variational problems,”In Comm. Pure Appl, Math, 42, 1989, pp.577-685. https://doi.org/10.1002/cpa.3160420503
  12. Texas Instruments Incorporated, http://www.ti.com.
  13. Peter J. Brockwell (Author), Richard A. Davis (Author), “Introduction to Time Series and Forecasting,” Springer, New York, 1996.