A Method of Frequency Response Normalization of Smart Phones Based on Deep Neural Networks for Virtual Reality Sound Reconstruction

가상현실 음향 재구성을 위한 심층신경망 기반 스마트폰의 주파수응답 정규화 방법

본 논문은 사용자제작콘텐츠 (User Created Contents, UCC)를 이용한 가상현실 (virtual reality, VR) 음향 재구성을 위한 스마트폰의 주파수응답 정규화에 관한 연구이다. 서로 다른 스마트폰들로 취득한 음향들을 연결할 때, 부자연스러운 음향이 발생하며, 이것은 주로 스마트폰별로 다른 주파수 응답에 기인한다. 이러한 문제를 해결하기 위하여 스마트폰의 주파수응답을 정규화 하는 과정이 필요하며, 본 연구에서는 심층신경망 (deep neural network)을 이용하는 방법을 제안한다. 심층신경망의 입력은 처리하고자 하는 스마트폰 음향의 스펙트럼이고 출력은 이것과 기준 스마트폰 음향의 스펙트럼과의 비율이다. 실험결과, 서로 다른 스마트폰으로 취득한 음향신호가 연결되었을 때, 객관적 및 주관적 평가를 통해 음향의 자연성이 개선됨을 확인 하였다.