Abstract
In this paper, we introduced a system that extracts metadata by recognizing characters and objects in media using deep learning technology. In the field of broadcasting, multimedia contents such as video, audio, image, and text have been converted to digital contents for a long time, but the unconverted resources still remain vast. Building media archives requires a lot of manual work, which is time consuming and costly. Therefore, by implementing a deep learning-based metadata generation system, it is possible to save time and cost in constructing media archives. The whole system consists of four elements: training data generation module, object recognition module, character recognition module, and API server. The deep learning network module and the face recognition module are implemented to recognize characters and objects from the media and describe them as metadata. The training data generation module was designed separately to facilitate the construction of data for training neural network, and the functions of face recognition and object recognition were configured as an API server. We trained the two neural-networks using 1500 persons and 80 kinds of object data and confirmed that the accuracy is 98% in the character test data and 42% in the object data.
본 논문에서는 딥러닝을 적용하여 미디어 내의 등장인물 및 사물을 인식, 메타데이터를 추출하고 이를 통해 아카이브를 구축하는 시스템을 개발하였다. 방송 분야에서 비디오, 오디오, 이미지, 텍스트 등의 멀티미디어 자료들을 디지털 컨텐츠로 전환하기 시작한지는 오래 되었지만, 아직 구축해야 할 자료들은 방대하게 남아있다. 따라서 딥러닝 기반의 메타데이터 생성 시스템을 구현하여 미디어 아카이브 구축에 소모되는 시간과 비용을 절약 할 수 있도록 하였다. 전체 시스템은 학습용 데이터 생성 모듈, 사물 인식 모듈, 등장인물 인식 모듈, API 서버의 네 가지 요소로 구성되어 있다. 미디어 내에서 등장인물 및 사물을 인식하여 메타데이터로 추출할 수 있도록 딥러닝 기술로 사물 인식 모듈, 얼굴 인식 모듈을 구현하였다. 딥러닝 신경망을 학습시키기 위한 데이터를 구축하기 용이하도록 학습용 데이터 생성 모듈을 별도로 설계하였으며 얼굴 인식, 사물 인식의 기능은 API 서버 형태로 구성하였다. 1500명의 인물, 80종의 사물 데이터를 사용하여 신경망을 학습시켰으며 등장인물 테스트 데이터에서 98%, 사물 데이터에서 42%의 정확도를 확인하였다.