사운드 데이터를 이용한 실시간 3차원 지형 생성

Realtime 3D Terrain Generation with Sound Data

본 연구는 기존에 저장되어 있는 응원이나 입력되는 사운드 데이터를 사용하여 게임 플레이상에 지형을 생성함으로서 사운드의 적극적인 황용을 도모하고 렌더링되는 화면과 입출력되는 오디오 간의 동기화를 통해 사용자들에게 공감각적인 상호작용을 제공한다. 사용자가 직접 사운드를 발생시키거나 원하는 음원을 입력하면 그 입력받은 사운드 진폭 데이터를 푸리에 변환하여 주파수 데이터로 변환하고 취득한 데이터로 분석 및 재가공하여 시간에 따라 변화하는 3차원 지형을 만든다. 지형이 생성될 때는 여러 가지 보간 처리를 통하여 에이전트들과 오브젝트들이 활동 가능하도록 지형을 보정하며, 확장 역시 용이하도록 디자인한다.

In this paper, the sound data either from the sampled or streamed source are utilized for generating a map in the video game play for the dynamiccal use of sound data and synesthesia to users. When users can generate sound in real-time or put the sampled source, it is analyzed and re-processed through Fourier transformation to show the 3D map in dynamic shape over time. We interpolate the generated data to enable the game agents and objects to move.