• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.553-556
• /
• 2022

본 논문에서는 거품 입자를 활용하여 시뮬레이션 장면에 맞는 소리를 효율적으로 합성할 수 있는 기법을 제안한다. 물리 기반 시뮬레이션 환경에서 소리를 표현하는 대표적인 방법은 생성과 합성이다. 사운드 생성의 경우 시뮬레이션 장면마다 물리 기반 접근법을 사용하여 소리를 생성할 수 있는데 계산 시간과 재질 표현의 어려움으로 다양한 시뮬레이션 장면에 대한 소리를 만들어 내기에는 쉽지 않다. 사운드 합성의 경우 소리 데이터를 미리 구축해야 하는 사전 준비가 필요하지만, 한 번 구축하면 비슷한 장면에서는 같은 소리 데이터를 활용할 수 있는 점이 있다. 따라서 본 논문에서는 거품 시뮬레이션의 소리 합성을 위해 소리 데이터를 구축하고 거품 입자의 효율적인 군집화를 통해 계산 시간을 줄이면서 소리의 사실감은 개선할 수 있는 사운드 합성 기법을 제안한다.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.158-162
• /
• 2009

Sound effects coming with appropriate tactile stimuli can strengthen its reality. For example, gunfire in games and movies, if it is accompanied by vibrating effects, can enhance the impressiveness. On a similar principle, adding the vibration information to existing sound data file and playing sound while generating vibration effects through haptic interfaces can augment the sound experience. In this paper, we propose a method to generate vibration information by analyzing the sound. The vibration information consists of vibration patterns and the timing within a sound file. Adding the vibration information is labor-intensive if it is done manually. We propose a sound detection algorithm to search the moments when specific sounds occur in a sound file and a method to create vibration effects at those moments. The sound detection algorithm compares the frequency characteristic of specific sounds and finds the moments which have similar frequency characteristic within a sound file. The detection ratio of the algorithm was 98% for five different kinds of gunfire. We also develop a GUI based vibrating pattern editor to easily perform the sound search and vibration generation.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.632-637
• /
• 2006

본 논문에서는 가상현실 환경에서 방위각, 고도, 거리 등의 위치 정보를 인지할 수 있는 3 차원 사운드를 생성하기 위한 구조적 머리전달함수(Head-Related Transfer Function, HRTF) 모델을 제안하고 이를 구현한다. 이를 위해 우선 기존에 연구된 방위각과 고도에 관한 head model 과 pinna model 을 근간으로 거리의 변화를 고려하도록 하는 HRTF 모델을 제안한다. 제안된 거리 변화에 따른 HRTF 모델은 거리 차이에 따른 음압의 변화 모델과 근거리에서 사람의 머리에 의해 생기는 shadowing 모델로 구성된다. 본 논문에서는 제안한 모델로 부터 mono 사운드를 방위각, 고도, 거리를 인지할 수 있는 stereo 사운드로 변환하여 생성하는 3 차원 사운드 생성기를 구현하였고, 일반인을 대상으로 거리에 대한 청취 실험을 통하여 제안한 모델의 성능을 측정하였다. 그리고 제안된 모델을 가상현실의 실감모델인 MP3 에 구현하여 그 효과를 입증하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.251-254
• /
• 1999

본 논문에서는 피아노 음으로 구성된 간단한 웨이브 (Wave) 형식의 연주곡으로부터 각 음들의 음높이인 피치(pitch)를 추출하는 방법과 연주곡의 악보를 생성하는 방법에 대해 연구한다. 본 연구의 최종 목적은 위의 방법을 사용하여 클래식 악기로 연주된 CD-DA방식의 음악을 같은 음질이 보장되는 MIDI [1,3,7,8] 데이터로 변환하는데 있다. 이번 연구에서는 하나의 악기(피아노)로 연주된 음악으로 고정시줬으며, 잡음이 없는 깨끗한 웨이브 사운드로 제한하였다. 웨이브 사운드 형식으로 된 간단한 피아노 연주곡을 입력 데이타로 사용하였다. 이 웨이브사운드에서 Autocorrelation[4,5,6]방법을 사용하여 각 음들의 피치를 추출하였다 또한, 웨이브 사운드로부터 추출한 음의 피치, 음의 지속시간 등의 정보를 사용하여 연주곡에 대한 악보를 생성하는 방법에 대해 연구하였다. 본 논문에서는 웨이브 사운드 데이터에서 악보로의 변환까지를 이루고 있지만, 향후 실제 클래식 악기와 흡사한 MIDI 음원모듈이 제공될 경우 CD-DA방식의 원음과 같은 음질의 MIDI 음악을 생성하는 것도 가능할 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.795-798
• /
• 2016

소니피케이션은 다양한 데이터를 사운드로 변환시키는 과정으로 본 연구에서는 뇌파 신호를 사운드로 생성하는 객관적인 워크플로우를 제시하고자 하였다. 현재까지의 뇌파 소니피케이션은 사운드로의 변환이 인위적이고 임의적으로 진행되어 객관적인 논리를 제시하지 못하고 있는 실정이다. 이에 본 연구에서는 뇌파데이터의 정량적 분석을 통해 파라미터 추출, 사운드 맵핑, 사운드 모델 구축에 대한 논리적 근거를 제시하였으며 이를 통해 뇌파데이터의 객관적인 소니피케이션 과정을 구현하였다. 파라미터 추출을 위해 15Hz High pass filtering이 가장 적절한 방법으로 확인되었으며 뇌파 데이터의 최대값 빈도 분석과 음악코드의 비율 분석을 실제로 맵핑시켜 사운드 모델을 구축하여 사운드 생성을 구현하였다. 결론적으로, 본 연구에서는 뇌파데이터의 소니피케이션 과정에 대한 객관적이고 논리적인 워크플로우를 제시하였으며 이러한 워크플로우가 다양한 분야에서 적용될 수 있을 것으로 예상된다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.9
• /
• pp.55-62
• /
• 2023

In this paper, we present a method that utilizes geometry-based sound generation techniques to efficiently handle multiple sound sources, wind turbulence, and temperature-dependent interactions. Recently, a method based on reduced raytracing has been proposed to update the sound position and efficiently calculate sound propagation and diffraction without recursive reflection/refraction of many rays, but this approach only considers the propagation characteristics of sound and does not consider the interaction of multiple sound sources, wind currents, and temperature. These limitations make it difficult to create sound scenes in a variety of virtual environments because they only generate static sounds. In this paper, we propose a method for efficiently constructing a sound map in a situation where multiple sounds are placed, and a method for efficiently controlling the movement of an agent through it. In addition, we propose a method for controlling sound propagation by considering wind currents and temperature. The method proposed in this paper can be utilized in various fields such as metaverse environment design and crowd simulation, as well as games that can improve content immersion based on sound.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.184-189
• /
• 2008

In this paper, the sound data either from the sampled or streamed source are utilized for generating a map in the video game play for the dynamiccal use of sound data and synesthesia to users. When users can generate sound in real-time or put the sampled source, it is analyzed and re-processed through Fourier transformation to show the 3D map in dynamic shape over time. We interpolate the generated data to enable the game agents and objects to move.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.357-360
• /
• 2023

본 논문에서는 거품 입자의 물리적 속성을 활용하여 가상 시뮬레이션 장면에 맞는 거품 사운드를 합성하고 사운드의 물리적 현상을 기반으로 사운드의 크기를 효율적으로 제어할 수 있는 기법을 제안한다. 현실에서는 사운드의 근원지와 청중의 위치 관계에 따라 사운드 크기의 차이가 나타타는 것을 쉽게 관찰할 수 있다. 본 논문에서는 이 문제를 효율적으로 풀어내기 위해 복잡한 3차원 유체의 움직임을 분석하는 게 아닌, 2차원으로 투영된 입자의 유동을 분석하여 사운드를 합성하고 제어하는 방식을 소개한다. 우리의 방법은 거품 사운드의 크기를 효율적으로 조절할 수 있도록 스크린 공간에서 계산된 거품 입자의 속도와 위치를 활용하여 청중의 위치 관계 및 사운드의 방향성을 확인하고, 이를 통해 거품 사운드를 사실적으로 합성하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.587-590
• /
• 2022

본 논문에서는 물리기반 옷감 시뮬레이션에 적합한 소리를 효율적으로 생성하기 위한 데이터 기반 합성 기법을 제안한다. 시뮬레이션에서 소리를 표현하는 방법은 크게 생성과 합성이 있지만, 합성은 실시간 애플리케이션에서 활용이 가능하기 때문에 인터랙티브한 환경에서 자주 활용되고 있다. 하지만, 데이터에 의존하기 때문에 원하는 장면에 부합하는 사운드를 합성하기는 어려우며, 기존 방법은 한 방향으로만 사운드 데이터를 검색하기 때문에 불연속으로 인한 끊김 현상이 발생한다. 본 논문에서는 양방향 사운드 합성 기법을 제시하며, 이를 통해 불연속적으로 합성되는 사운드 결과를 효율적으로 개선될 수 있음을 보여준다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.397-400
• /
• 2020

본 논문은 영화에 나오는 효과음을 자막으로 생성해주는 자동자막생성을 제안하며, 그의 첫 단계로써 다중 사운드 분류 모델을 제안하였다. 고양이, 강아지, 사람의 음성을 분류하기 위해 사운드 데이터의 특정벡터를 추출한 뒤, 4가지의 기계학습에 적용한 결과 최적모델로 딥러닝이 선정되었다. 전처리 과정 중 주성분 분석의 유무에 따라 정확도는 81.3%와 33.3%로 확연한 차이가 있었으며, 이는 복잡한 특징을 가지는 사운드를 분류하는데 있어 주성분 분석과 넓고 깊은 형태의 신경망이 보다 개선된 분류성과를 가져온 것으로 생각된다.