A Particle-Grid Method for Efficient Sound Synthesis of Ocean Waves

Abstract

In this paper, we propose a technique that utilizes the physical properties of foam particles to synthesize foam sounds and efficiently control their size. A typical way to represent sound in physics-based simulation environments is to generate and synthesize virtual sounds. In particular, foam particles have a large number of particles, so synthesizing sounds using only particles is computationally expensive, and a way to reduce the amount of computation is to use spatial information, lattices. In this paper, we present a method for reliably mapping and clustering foam particles into a lattice space. Furthermore, we utilize this structure to control the loudness of the sound according to the location of the sound source and the audience. As a result, the method proposed in this paper proposes an efficient way to synthesize the sound of bubble particles, which utilizes the velocity and position of the bubble particles projected in the lattice space, and synthesizes the sound of bubble particles based on the position relationship of the audience and the directionality of the sound.

본 논문에서는 거품 입자의 물리적 속성을 활용하여 거품 사운드를 합성하고 크기를 효율적으로 제어할 수 있는 기법을 제안한다. 물리 기반 시뮬레이션 환경에서 사운드를 표현하는 대표적인 방법은 가상 사운드의 생성과 합성이다. 특히 거품 입자는 개수가 많기 때문에 입자만으로 사운드를 합성하는 것은 계산양이 크며, 이를 계산 양을 줄일 수 있는 방법은 공간(Spatial) 정보인격자를 이용하는 것이다. 본 논문에서는 거품 입자를 격자 공간으로 안정적으로 매핑하고 군집화하는 방법을 제시한다. 또한, 이 구조를 활용하여 사운드의 근원지와 청중의 위치 관계에 따라 사운드의 크기를 제어한다. 결과적으로 본 논문에서 제안하는 방법은 거품 입자의 사운드를 효율적으로 합성하는 방법을 제안한다. 이를 위해 격자 공간에 투영된 거품 입자의 속도와 위치를 활용하고, 청중의 위치 관계 및 사운드의 방향성을 기반으로 거품 입자의 사운드를 합성한다.

I. Introduction

최근 가상현실(Virtual Reality, VR)과 메타버스의 성장으로 가상 환경의 발전 가능성이 보이기 시작했다. 또한, COVID-19의 영향으로 야외 활동이 제한적으로 되자 게임 및 모바일 시장은 더욱 발전하게 되었다. 메타버스와 게임시장의 발전과 더불어 사용자에게 얼마나 사실감 있고 몰입감을 줄 수 있는지에 대한 경험 또한 중요해지고 있다[1]. 이를 위해 직관적인 상호작용, 시각적 특수 효과, 몰입형 사운드 등에 관한 다양한 방법이 제안되고 있다[2]. 사람은 정보를 받아들이는 감각 중 시각 다음으로 청각에서 많은 정보를 받아들이기 때문에 사운드에 대한 요소는 중요한 특징 중에 하나이다.

사용자에게 사실적인 몰입감을 제공하기 위해서는 시각적 특수 효과와 직관적인 상호작용뿐만 아니라, 입체적이고 사실적인 사운드를 표현해야 한다. 가상공간에서 상호작용 없이 모든 사운드가 동일하게 들린다면 몰입감을 저하시킬 수 있기 때문에 가상현실 콘텐츠에서 사운드는 중요하다. VR과 게임 시장뿐만 아니라 애니메이션 분야에서 사운드 표현은 실제 녹음된 사운드를 재생하기도 하지만, 반복 재생으로 인해 현실감 저하가 발생할 수 있다[3]. 따라서 가상환경에서는 더욱 사실적이고 몰입감 있는 사운드 표현을 위해 다양한 연구와 기술 개발이 이루어지고 있다. 사용자에게 몰입감을 전달하기 위해서는 사용자와의 상호작용을 통해 거리와 위치의 상관관계를 고려하여 사실감 있는 사운드를 표현해야 한다. 이를 효율적으로 모델링하기 위해 본 논문에서는 입자와 격자를 혼합한 접근법을 기반으로 사운드를 안정적이고 효율적으로 합성한다.

II. Related Work

유체의 사운드가 표현되는 원인은 다양하지만, 일반적으로는 버블 진동(Bubble vibration)을 통한 사운드 생성이 대부분이다[4,5]. Minnaert는 독립적으로 진동하는 구형 버블의 주파수를 계산했으며, 특정한 주파수로 조화롭게 진동하는 결과를 도출했다[6]. Strasberg는 버블의 형태와 주변 기하학이 버블 사운드에 미치는 영향을 설명하고, 이 모델을 비 구형 버블에 일반화했다[7]. 결합된 진동(Coupled oscillations)은 해양학 및 군사 연구에서 많은 관심을 받아왔다. 이는 등방성 버블(Isolated bubbles)의 주파수가 해양 파도의 특징과 저주파 사운드 분석에 활용될 수 있기 때문이다[8-12]. Lu 등은 등방성 버블의 주파수를 통해 해양에서 관찰되는 바람에 의존하는 사운드를 설명할 수 있음을 보여주었다[13]. 이후 연구들에서도 파도 사운드의 저주파 음향 방사를 설명하기 위해 버블 진동을 분석하고 모델링했다[14,15].

유체 시뮬레이션의 초기 연구는 자유표면(Free surfaces)을 시뮬레이션 하는 방법에 초점을 맞추었으며, 이 방법들은 직접적으로 버블을 시뮬레이션을 할 수 없다. PIC(Particle-in-cell)/FLIP(Fluid-implicit-particle) 방법은 산업에서 많이 사용하지만, 다양한 다상 효과를 표현하지는 못한다[16,17]. 다상 흐름(Multiphase flows)을 표현하기 위한 다양한 기법(SPH(Smoothed-particle hydrodynamics)[18], FLIP[19], power particle[20], 그리고 레벨셋(Level-sets)[21] 등)들이 제안되었다. 그러나 이 방법들의 정확성은 여러 가지 이유로 제한되었다 : 높은 밀도 비율을 처리하는 데 문제가 있고, 얼룩덜룩한 모양이 되며, 얇은 막 동역학(Thin film dynamics)을 명시적으로 모델링해야 하는 등의 문제가 있다. 최근에는 다상 유체를 좀 더 효율적으로 표현하기 위한 Lattice-Boltzmann 방법도 제안되었다[22]. CFD(Computational fluid dynamics)에서는 버블 모양, 표면 장력 및 높은 밀도 비율을 캡처하기 위해 2상(Two-phase), 가변 밀도 VOF 방법(variable-density VOF(Volume-of-fluid) method)에 의존하며, 이 이론을 기반으로 FLIP에서도 버블 입자를 생성할 수 있는 확률론적 방법이 제안되었다[23].

사운드 합성은 가상 장면의 애니메이션 현실감을 향상시키는 데 필수적이다. 공기역학적 사운드 합성[24], 불 사운드 합성[25-27], 손 박수 사운드 합성[28] 및 발자국 사운드 합성 등 다양한 효과가 있다[29]. 버블 사운드는 유체 사운드로 부터 표현되지만, 작은 개수의 버블들이 아닌 많은 개수의 버블들을 사운드 시뮬레이션 하는 데에는 상대적으로 연구가 활발하게 이루어지지 않았다. 버블들을 정확하게 시뮬레이션을 하는 것은 계산양도 크고 복잡하기 때문에 확률론적 방법이 제안되었지만, 이 방식은 버블들의 움직임을 실제로 시뮬레이션하지 않기 때문에 영상과 음향의 일관성이 부족하다. 본 논문에서는 FLIP기반 유체로 인해 생성된 거품 입자들을 이용하여 바다의 파도 사운드를 합성할 수 있는 기법을 제안한다. 본 논문에서 제안하는 기술적 기여도는 다음과 같다 : 1) 파도의 사운드를 합성하기 위해 표면에 존재하는 거품 입자들만을 격자에 투영하여 안정적으로 클러스터링 함으로써 사운드를 효율적으로 합성한다. 2) 사운드 근원지와 사용자의 위치를 고려하여 사운드 감쇠를 계산한다.

III. The Proposed Scheme

1. Particle Clustering

거품 시뮬레이션에서 거품 입자는 위치 (x, y, z)와 속도 u를 갖는다. 본 논문에서는 입자 군집화를 위해 입자의 위치를 활용한다. 이전 접근법처럼 유체 내부가 아니라, 자유표면을 기반으로 사운드를 합성한다[30]. 본 논문에서도 입자의 군집화를 계산할 때, 거품 입자의 높이인 y값을 x-z평면으로 투영하여 사운드를 합성함으로써 (x, z)값만을 고려하기 때문에 계산 시간을 줄일 수 있다 (Fig. 1 참조). 평면에 투영 후 수평좌표인 (x, z)를 기준으로 평면을 분할한다. 평면을 나눌 때는 격자 형태로 나누며, 본 논문에서는 30 × 30을 넘지 않도록 설정했다. 수평면을 기준으로 격자를 만든 후 군집화를 진행하여 수백만 개의 거품 입자를 노드로 양자화하면서 사운드 합성을 효율적으로 계산한다.

Fig. 1. Projection of foam particles on horizontal plane(x-z plane).

격자를 탐색할 때는 입자들의 위치를 이용하여 군집화를 할 때 3 × 3씩 탐색한다. 이때 중심이 되는 격자는 중심 격자, 인접한 8개의 격자를 인접 격자라고 부른다. 격자마다 중심 격자를 설정하고 인접 격자를 확인하며 거품입자에 대한 존재 여부를 확인한다. 인접 격자에 거품 입자가 존재한다면 중심 격자와 인접 격자를 묶어 하나의 라벨로 분류한다. 이때, 인접 격자가 이미 하나의 라벨로 분류되었다면 중심 격자와 인접 격자들을 모두 이미 분류된 라벨로 설정한다. 이 방식은 적은 개수의 거품 입자에 대해서는 잘 동작하지만, 거품 입자가 개수가 수백만 개 이상일 때에는 군집화가 제대로 동작하지 않는다.

Fig. 2는 이전 방법으로 거품 입자에 대한 군집화를 적용한 결과이다. Fig. 2a는 거품 입자들의 위치이고, Fig. 2b는 거품 입자들을 기존 방법으로 군집화한 결과이다. 이 그림에서도 볼 수 있듯이 거품 입자의 개수가 많아지면, 군집화 영역이 서로 구분되지 않는다. 이 문제를 완화하기 위해 해상도를 높일 수 있지만, 계산 시간이 크게 늘어나기 때문에 온전한 해결책이 될 수 없다 (Table 1 참조).

Fig. 2. Particle clustering with previous method[30].

Table 1. Processing time for particle clustering.

Table 1의 경우 30 × 30에서 100 × 100으로 격자 해상도를 변경하여 계산하는 경우 약 33%정도 더 많은 시간이 소요되었다. 따라서 격자의 개수를 늘리는 것은 이 문제를 온전히 해결할 수 있는 방법이 아니다. 본 논문에서는 격자마다 거품 입자의 개수가 일정 개수 이상이 되는 격자들을 그룹화하여 3 × 3씩 탐색하며 군집화를 진행한다 (Fig. 3 참조).

Fig. 3. Foam particles grouped above a threshold.

격자에 포함된 거품 입자의 개수가 일정 이상인 부분들을 먼저 그룹화하면 Fig. 3b와 같은 결과가 나온다. Fig. 3b의 파란색으로 표시된 부분이 격자의 입자 개수가 일정 개수 이상인 부분들만 그룹화한 곳이다. 본 논문에서는 그룹화를 결정하는 임계값을 25,000으로 설정하였다. 그룹화된 영역에서 한 격자마다 인접 격자를 탐색해 분류되지 않은 격자들을 같은 라벨로 포함시킨다.

Fig. 4에서도 볼 수 있듯이 본 논문에서 제안하는 방법을 사용하면 격자의 해상도를 늘리지 않고도 다양한 영역으로 군집화된 거품 입자에 대한 군집화가 가능하다. 이후 각 라벨로 분류된 격자들이 갖고 있는 거품 입자들의 속도를 사운드 매핑과 합성할 때 매개변수로 사용한다.

Fig. 4. Comparison results with previous and our method.

2. Sound Mapping

본 논문에서는 1분가량의 파도 사운드를 활용하였고, 이 사운드를 0.2초씩 분할하여, 총 300개의 클립으로 나눴으며, 매핑 과정은 Wang의 기법을 활용하였다[30]. 거품입자의 군집화를 통해 계산된 각 라벨의 속도 u를 활용하여 u와 각 클립의 평균 음향 값을 통해 사운드의 매핑을 진행한다. 본 논문에서는 속도 기반 매핑을 위해 클립의 음량 평균인 L을 다음과 같이 정규화한다 (수식 1 참조).

\(\begin{align}L=\frac{L-L_{\min }}{L_{\max }-L_{\min }}\end{align}\)       (1)

이때 u는 프레임에서 군집화 된 거품 입자들의 속도 합이기 때문에 균등한 값을 가지지 않아 속도의 상한 값을 알 수 없다. 그렇기 때문에 u는 군집화 된 거품 입자들의 평균속도로 변경하여 사용한다. 평균속도 u와 L을 활용하여 매핑을 진행하며, 이때 u의 크기에 따라 매핑 결과의 차이를 두기 위해 아래와 같은 비선형 방정식을 활용한다[30] (수식 2 참조).

\(\begin{align}L_{m a p}=\alpha_{1} \exp \left(-\left(\frac{u-b_{1}}{c_{1}}\right)^{2}\right)+\alpha_{2} \exp \left(-\left(\frac{u-b_{2}}{c_{2}}\right)^{2}\right)\end{align}\)       (2)

여기서 사용되는 각각의 변수는 다음과 같다 :

α₁ = 5.733 × 10²¹, b₁ = 3.223, c₁ = 0.3117, α₂ = -8.345 × 10⁷, b₂ = 9.621, c₂ = 1.985. 이 식을 통해 속도 u가 0~1값이 가질 때 다음과 같은 형태의 가중치 곡선이 나타난다 (Fig. 5 참조).

Fig. 5. Mapping curve with Equation 2.

수식 2를 통해 가중치 값을 계산했다면 0.2초씩 분할된 클립들에서 가장 알맞은 클립 데이터를 찾는다. 가장 적합한 클립을 매칭하는 방법은 다음과 같다 (수식 3 참조).

|L_map - L_j| < 0.01 + 0.05period       (3)

여기서 L_map은 수식 2에서 계산한 값이고, L_j는 정규화된 각 클립 데이터이다. 변수 period는 0부터 시작하여 요구사항을 충족하는 클립이 없으면 1씩 증가시켜 탐색한다. 요구사항을 충족하는 클립이 여러 개면 |L_map - L_j|의 값이 최소가 되는 클립을 선택하며, 이 같은 과정은 다른 라벨에서도 탐색을 반복한다. 이때, 같은 클립이 선택되는 것을 방지하기 위해 선택된 클립의 경우 대기시간을 갖도록 설정한다. 대기시간은 사용자가 설정 가능하며 본 논문에서는 30으로 설정했다. 본 논문에서는 매 프레임 사운드를 합성하는 것이 아니라 0.2초의 클립 길이에 맞춰 총 14프레임마다 사운드를 탐색하도록 설정한다.

3. Sound Attenuation

사운드를 합성하기 위해 기존 연구에서는 군집화한 속도 정보를 활용하여 합성을 진행했지만[30], 본 논문에서는 사운드의 감쇠를 적용하기 위해 군집화 된 속도와 위치를 모두 활용한다. 우선 사운드 에너지는 모든 방향으로 퍼지기 때문에 거리에 따라 듣는 사운드가 거의 일정하다. 하지만 사운드가 퍼지는 방향과 청중 사이의 상관관계를 고려해서 방향마다 사운드의 감쇠를 다르게 적용해야 한다. 이를 설계하기 위해 본 논문에서는 사운드의 방향성을 계산할 때 속도를 활용하고, 청중과의 위치 정보를 계산할 때는 군집화 된 입자들의 무게 중심 좌표를 이용한다.

Fig. 6a는 사운드의 감쇠를 모두 동일하게 적용한 것이고, Fig. 6b는 사운드의 방향성이 위쪽으로 향하고 있을 때의 감쇠를 적용한 결과이다. 이때, 사운드의 감쇠를 적용하기 위한 수식은 아래와 같다 (수식 4 참조).

db′ = db - 20log(r)       (4)

Fig. 6. Attenuation of sound with distance and direction.

여기서 db′는 사운드의 근원지에서 거리 r만큼 떨어져 있는 사운드를 말하며, 20log는 사운드의 세기를 데시벨로 변환할 때의 가중치이다. 이때, r을 위치에 따라 다르게 적용하기 위해 아래와 같은 수식을 적용한다 (수식 5 참조).

\(\begin{align}r^{\prime}=r \frac{\cos \theta+2}{3}\end{align}\)       (5)

여기서 r′는 청중의 위치와 사운드 근원지의 중심 좌표를 활용하여 두 위치가 이루는 각도인 cosθ를 구하고, 그 값에 r을 곱하여 사운드의 감쇠를 적용한다. 이때, 각도를 곱하지 않고 분모와 분자에 상수를 추가해주는 이유는 두 위치 관계가 90도일 때 사운드가 소실되는 현상을 방지하기 위해서이다.

그리고 수식 4와 같이 사운드의 감쇠를 적용할 때 데시벨(db)형태로 감쇠를 적용해야 하므로 합성되는 사운드의 진폭 값을 데시벨 형태로 변환시킨 후 감쇠를 적용한다. 그 후에 다시 진폭 값을 변환하는 작업을 진행한다 (수식 6과 7 참조).

db = 10log₁₀(mag²)       (6)

여기서 mag는 사운드의 진폭 값을 나타낸다. 위 수식들을 시뮬레이션에 적용하면 다음과 같은 사운드 크기에 대한 장을 얻을 수 있다 (Fig. 7 참조).

Fig. 7. Results of applying sound attenuation to the clustered scene.

Fig. 7에서 볼 수 있듯이 본 논문에서 제안하는 방법을 사용하면 군집화한 입자들의 속도와 무게 중심 좌표를 활용하여 각 군집화 영역의 사운드 방향성과 그에 따른 사운드의 감쇠를 적용할 수 있다. 사운드 감쇠를 적용하여 합성한 사운드 주파수는 다음과 같다 (Fig. 8 참조).

Fig. 8. Comparison of results for sound attenuation.

마지막 단계로 군집화와 사운드 매핑을 통해 각 라벨에 해당하는 사운드를 추출하고, 추출된 사운드를 합하여 한 프레임에서 나오는 하나의 사운드로 만든다. 이후 각 프레임에서 추출된 사운드를 이어 붙여 최종적으로 거품 시뮬레이션에 적합한 사운드를 합성한다.

IV. Experiment and Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 사용한 언어는 C++와 파이썬을 이용하였다. C++를 이용하여 유체 시뮬레이션을 구현했으며, 이 과정에서 추출된 거품 입자들을 이용하여 사운드를 합성하는 과정은 파이썬을 이용하여 개발하였다.

Fig. 9~11은 본 논문에서 제안한 방법으로 합성된 거품 입자의 사운드 결과이다. 거품의 운동량에 비례해서 사운드 크기가 제어되며 거품 입자와 청중 간의 거리를 고려해 사운드의 크기를 제어할 수 있으며, 사운드의 감쇠 또한 자연스럽게 이어져 합성되는 결과를 보여준다.

Fig. 9. Synthesized foam sound with our method (scene 1).

Fig. 10. Synthesized foam sound with our method (scene 2).

Fig. 11. Synthesized foam sound with our method (scene 3).

Fig. 12. Comparison results with our method and previous method[30].

Fig. 12는 Wang의 기법과 본 논문에서 제안하는 기법으로부터 계산된 사운드의 세기를 시각화한 결과이다. 이전 연구에서는 각 클러스터링에서 사운드를 계산하고 통합하는 과정에서 사운드 감쇠가 고려되지 않았기 때문에 클러스터링이 많을수록 사운드의 크기가 커지는 형태를 보였다 (Fig. 12a 참조). 반면에 제안하는 방법은 거리와 각도 기반으로 사운드의 형태가 감쇠되고, 클러스터링 별 사운드도 무작정 커지지 않고, 안정적으로 계산된 결과를 잘 보여주고 있다.

V. Conclusion

본 논문에서는 거품 입자의 물리적 속성을 활용하여 거품 사운드를 합성하고 크기를 효율적으로 제어할 수 있는 기법을 제안했다. 물리 기반 시뮬레이션 환경에서 사운드를 표현하는 대표적인 방법은 가상 사운드의 생성과 합성이다. 특히 거품 입자는 개수가 많기 때문에 입자만으로 사운드를 합성하는 것은 계산양이 크며, 이를 계산 양을 줄일 수 있는 방법은 격자를 이용하는 것이다. 본 논문에서는 거품 입자를 격자 공간으로 안정적으로 매핑하고 군집화 하는 방법을 제시했다. 또한, 이 구조를 활용하여 사운드의 근원지와 청중의 위치 관계에 따라 사운드의 크기를 제어한다. 그럼에도 불구하고 한계점이 존재한다. 표면상에 존재하는 거품 입자들만을 고려하기 때문에 물속에 존재하는 버블 입자에 대한 운동량을 고려하지 못한다. 향후 이 문제를 해결하기 위해 격자공간을 시점 기반으로 합성하여 사운드를 합성할 수 있는 방법으로 알고리즘을 확장할 계획이다.