Vibration Stimulus Generation using Sound Detection Algorithm for Improved Sound Experience

사운드 실감성 증진을 위한 사운드 감지 알고리즘 기반 촉각진동자극 생성

Sound effects coming with appropriate tactile stimuli can strengthen its reality. For example, gunfire in games and movies, if it is accompanied by vibrating effects, can enhance the impressiveness. On a similar principle, adding the vibration information to existing sound data file and playing sound while generating vibration effects through haptic interfaces can augment the sound experience. In this paper, we propose a method to generate vibration information by analyzing the sound. The vibration information consists of vibration patterns and the timing within a sound file. Adding the vibration information is labor-intensive if it is done manually. We propose a sound detection algorithm to search the moments when specific sounds occur in a sound file and a method to create vibration effects at those moments. The sound detection algorithm compares the frequency characteristic of specific sounds and finds the moments which have similar frequency characteristic within a sound file. The detection ratio of the algorithm was 98% for five different kinds of gunfire. We also develop a GUI based vibrating pattern editor to easily perform the sound search and vibration generation.

적절한 촉각자극은 사운드 효과의 실감성을 증진시킬 수 있다. 예를 들어, 게임이나 영화 등에서 총소리와 함께 발생하는 진동자극은 감상자의 몰입감을 향상시킬 수 있다. 이러한 맥락에서 음향만을 담고 있는 기존 사운드 파일에 촉각자극정보를 부가하여 사운드 플레이와 함께 햅틱장치를 통해 진동자극을 준다면 좀 더 사실감 있는 사운드 체험을 할 수 있을 것이다. 본 논문에서는 사운드 파일을 분석하여 그에 따른 촉각자극정보를 생성하는 방법을 제안한다. 촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시간위치와 발생시켜야 하는 촉각자극패턴이다. 수작업으로 이러한 촉각자극정보를 생성하는 것은 많은 수고를 필요로 한다. 본 논문은 이러한 수작업을 대체할 수 있도록, 사운드 파일에서 특정 소리의 발생시점을 검색할 수 있는 사운드 감지 알고리즘과 촉각자극정보 생성방식을 제안한다. 사운드 감지 알고리즘은 검색하고자 하는 사운드의 주파수 특성을 이용하여 유사한 특성을 가지는 시점들을 찾아낸다. 개발한 알고리즘을 실험한 결과, 5가지 서로 다른 사운드에 대해 98% 이상의 감지 성공률을 얻을 수 있었다. 연구 결과를 종합하여 GUI기반의 진동패턴 생성 유틸리티를 개발하였다. 이 유틸리티를 이용하면 사운드 파일에서 특정 소리의 발생 부분을 자동으로 검색하고, 그 시점마다 원하는 진동정보를 손쉽게 생성할 수 있다.