Context Extraction and Analysis of Video Life Log Using Bayesian Network

베이지안 네트워크를 이용한 동영상 기반 라이프 로그의 분석 및 의미정보 추출

최근 라이프 로그의 수집과 관리에 관련된 연구가 많이 진행 중에 있다. 또 핸드폰 카메라, 디지털 카메라, 캠코더 등의 발전으로 자신의 일상생활을 비디오로 저장하고, 인터넷을 통해 공유하는 사람도 증가하고 있다. 비디오 데이터는 많은 정보를 포함하고 있는 라이프 로그의 한 예로. 동영상의 촬영 및 수집이 활발해짐에 따라 동영상의 메타정보를 생성하고, 이를 이용해 동영상 검색과 관리에 이용하려는 연구들이 진행 중이다. 본 논문에서는 라이프 로그를 수집하고 수집된 동영상과 라이프 로그를 이용하여 의미정보를 추출하는 시스템을 제안한다. 의미정보란 사용자의 행동을 나타내는 정보로써 컴퓨터 사용, 식사, 집안일, 이동, 외출, 독서, 휴식, 일, 기타로 9가지의 의미정보를 추출한다. 제안하는 방법은 사용자로부터 GPS, 가속도센서, 캠코더를 이용해 실제 데이터를 수집하고, 전처리 과정을 통하여 특징을 추출한다. 이때 추출될 특징은 위치정보와 사용자의 상태정보 그리고 영상처리릍 통한 RGB와 HSL 색공간의 요소와 MPEG-7의 EHD(Edge Histogram Descriptor). CLD(Color Layout Descriptor)이다. 추출된 특징으로부터 사람 행동과 같은 불안정한 상황에서 강점을 보이는 확률모델 네트워크인 베이지안 네트워크를 이용하여 의미정보를 추출한다. 제안하는 방법의 유용성을 보이기 위해 실제 데이터를 수집하고 추론하고 10-Fold Cross-validation을 이용하여 데이터를 검증한다.