Automatic Film Line Scratch Removal System using Spatial Information

공간 정보를 이용한 오래된 필름에서의 스크래치 제거 시스템

  • Ko, Eun-Jeong (Dept. of Advanced technology Fusion IT, Konkuk University) ;
  • Kim, Kyung-Tai (Dept. of Advanced technology Fusion IT, Konkuk University) ;
  • Kim, Eun-Yi (Dept. of Advanced technology Fusion IT, Konkuk University)
  • 고은정 (건국대학교 신기술융합학과) ;
  • 김경태 (건국대학교 신기술융합학과) ;
  • 김은이 (건국대학교 신기술융합학과)
  • Published : 2008.11.25

Abstract

Film restoration is to detect the location and extent of defected regions from a given movie film, and if present, to reconstruct the lost information of each regions. It has gained increasing attention by many researchers, to support multimedia service of high quality. Among artifacts, scratch is the most frequent degradation. In this paper, an automatic film line scratch removal system is developed that can detect and restore all kind of scratches. For this we use the spatial information of scratches: The scratch in old films has lower or higher brightness than neighboring pixels in its vicinity and usually appears as a vertically long thin line. Our systems consists of scratch detection and scratch restoration. The scratches of various types are detected by neural network based texture classifier and morphology-based shape filter and then the degraded regions are restored using bilinear interpolation. To assess the validity of the Proposed method, it has been tested with all kinds of scratches, and then experimental results show that the proposed approach is robust to various scratches and efficient to apply a real film removal system.

필름 복원은 오래된 필름에서 손상된 영역을 검출하고 복원하는 것으로 최근 고화질의 멀티미디어 서비스에 대한 요구가 급증함에 따라 많은 연구자들로부터 관심을 받고 있다. 여러 손상요인 중 가장 빈번하게 나타나는 요인은 스크래치다. 따라서 본 논문에서는 모든 종류의 스크래치를 검출하고 이를 복원함으로써 자동으로 스크래치를 제거할 수 있는 시스템을 제안한다. 제안한 시스템은 다양한 종류의 스크래치를 제거하기 위하여 스크래치의 공간 정보를 이용한다.: 1) 스크래치는 주변 화소에 비해 밝거나 어두운 밝기 값을 가진다. 2) 대부분의 스크래치는 세로의 가늘고 긴 직선 형태로 나타난다. 제안한 시스템은 스크래치 검출과 스크래치 복원으로 구성된다. 다양한 종류의 스크래치들은 신경망 기반의 텍스처 분류기와 모폴로지 기반의 형태필터링을 통해 검출되며, 검출된 손상 영역은 양선형 보간법을 이용하여 복원된다. 제안한 방법의 효율성을 검증하기 위하여 모든 종류의 스크래치에 대해 실험하였고, 실험 결과는 제안된 방법이 다양한 종류의 스크래치를 강건하고 효율적으로 제거할 수 있음을 보여준다.

Keywords

References

  1. Schallauer, P, Pinz, A. and Hass, W., "Automatic restoration algorithms for 35mm film," VIDERE: J. Comput. Vis. Res., vol. 1, No. 3, pp. 59-85, 1999
  2. Joyeux, L., Boukir, S. and Besserer, B., "Film line scratch removal using Kalman filtering and Bayesian restoration," in Proc. of IEEE WACV2000, pp. 8-13, Palm Springs, USA, Dec. 2000.
  3. Kokaram, A. C., "Detection and removal of line scratches in degraded motion picture sequences," Signal Processing, Vol. 1. pp. 5-8, 1996
  4. Juyeux, L. et al., "Reconstruction of degraded image sequences. Application to film restoration," Image and Vision Computing, Vol. 19, pp. 503-516, 2001 https://doi.org/10.1016/S0262-8856(00)00091-3
  5. 김경태, 고은정, 김은이, "공간적인 정보 기반의 디지털 필름 스크래치 복원", 한국컴퓨터종합학술대회, 2007
  6. 이찬휘, "오래된 영화의 손상 검출과 개선된 Inpanting 기반의 복원 기법의 설계와 구현," 서울시립대학교:석사논문, 1999