Abstract
Film restoration is to detect the location and extent of defected regions from a given movie film, and if present, to reconstruct the lost information of each region. It has gained increasing attention by many researchers, to support multimedia service of high quality. In general, an old film is degraded by dust, scratch, flick, and so on. Among these, the most frequent degradation is the scratch. So far techniques for the scratch restoration have been developed, but they have limited applicability when dealing with all kinds of scratches. To fully support the automatic scratch restoration, the system should be developed that can detect all kinds of scratches from a given frame of old films. This paper presents a neurual network (NN)-based texture classifier that automatically detect all kinds of scratches from frames in old films. To facilitate the detection of various scratch sizes, we use a pyramid of images generated from original frames by having the resolution at three levels. The image at each level is scanned by the NN-based classifier, which divides the input image into scratch regions and non-scratch regions. Then, to reduce the computational cost, the NN-based classifier is only applied to the edge pixels. To assess the validity of the proposed method, the experiments have been performed on old films and animations with all kinds of scratches, then the results show the effectiveness of the proposed method.
영화복원은 오래된 필름으로부터 손상된 영역을 자동으로 검출하여 복원하는 것이다. 영화복원은 고화질의 멀티미디어 서비스를 위한 필수작업이기 때문에, 현재 많은 연구자들로부터 관심을 받고 있다. 필름은 flick, dust, 스크래치 등의 원인으로 손상이 이루어지는데, 이 중 가장 주된 요인은 스크래치이다. 스크래치로 손상된 데이터의 복원연구는 지난 몇 년간 활발히 수행되고 있다. 스크래치 복원을 위해서는 위치 및 길이 등의 기준에 따라 나타나는 다양한 종류의 스크래치들을 모두 검출할 수 있어야만 한다. 본 논문에서는 영화의 각 프레임 상에 나타나는 다양한 종류의 모든 스크래치를 자동으로 검출할 수 있는 신경망 기반의 검출 방법을 제안한다. 다양한 높이와 폭을 가진 스크래치들을 검출하기 위해 pyramid를 이용하여 입력 영상은 다양한 해상도의 영상으로 변환된다. 각 변환된 영상에 대하여 신경망기반의 텍스처 분류기를 이용하여 스크래치와 비스크래치의 영역으로 분류한다. 이때, 처리속도의 향상을 위해 에지로 분류된 화소에 대하여만 신경망을 적용한다. 제안된 방법의 평가를 위해 다양한 종류의 스크래치를 가진 영화 및 애니메이션 데이터에 대해 실험이 이루어졌고, 그 결과, 제안된 방법의 강건함과 효율성이 입증되었다.
