Sound Visualization based on Emotional Analysis of Musical Parameters

음악 구성요소의 감정 구조 분석에 기반 한 시각화 연구

Abstract

In this study, emotional analysis was conducted based on the basic attribute data of music and the emotional model in psychology, and the result was applied to the visualization rules in the formative arts. In the existing studies using musical parameter, there were many cases with more practical purposes to classify, search, and recommend music for people. In this study, the focus was on enabling sound data to be used as a material for creating artworks and used for aesthetic expression. In order to study the music visualization as an art form, a method that can include human emotions should be designed, which is the characteristics of the arts itself. Therefore, a well-structured basic classification of musical attributes and a classification system on emotions were provided. Also, through the shape, color, and animation of the visual elements, the visualization of the musical elements was performed by reflecting the subdivided input parameters based on emotions. This study can be used as basic data for artists who explore a field of music visualization, and the analysis method and work results for matching emotion-based music components and visualizations will be the basis for automated visualization by artificial intelligence in the future.

본 연구에서는 음악의 속성인 구성 요소 데이터들과 심리학의 감정 차원 모델을 기반으로 감정분석을 하였고 그 결과를 조형예술에서의 시각화 규칙에 적용하였다. 음악 속성 데이터를 활용한 기존의 연구들에서는 사람들이 원하는 음악을 분류, 검색, 추천할 수 있도록 하는 보다 실용적인 목적을 가진 사례들이 많았다. 본 연구에서는 특히 음원 분석에 따른 음악의 감정분석을 기반으로 사운드 데이터가 예술작품 창작의 재료가 되어 심미적 표현에 활용될 수 있도록 하는 것에 집중하였다. 음악의 시각화 연구를 위해서는 예술이 가지는 중요한 속성인 감정표현을 가능하게 하는 방법이 필요하였고 이를 위해 잘 구조화된 음악의 기본 속성 분류 및 감정 정보의 분류 체계를 마련하였다. 그리고 조형요소의 형태, 색상, 애니메이션을 통해 음악 요소들에 대해 감정을 기반으로 세분화 된 입력 매개 변수들을 반영하여 시각화하는 작업을 수행하였다. 본 연구는 음악 시각화를 활용하는 작가들에게 기초 자료로 활용될 수 있을 것이다. 또한 감정분석에 기반 한 음악 구성요소와 시각화 매칭을 위한 분석 방법 및 작품 결과는 향후 인공지능 기반의 자동화 된 시각화 연구의 기반이 될 수 있을 것이다.

I. 서론

디지털 음원의 방대한 생산과 유통이 가능해지고 컴퓨터와 스마트 폰 등 다양한 디지털 기기를 활용하여 음악을 감상하게 되면서 음악의 정보 분석 기술은 사용자가 필요한 음악을 빠르고 쉽게 검색하고 활용하도록 하는데 광범위하게 사용되고 있다. 이러한 기술적 시도들은 날씨나 무드에 따라 어울리는 음악들을 자동으로 추천해주기도 하고 사용자가 자주 듣는 음악들의 성향을 파악하여 좋아할 만한 다른 음악들을 추천해주기도 한다. 그 이면에는 개인들의 주관적인 성향을 구조화하고 객관화하기 위한 방대한 데이터의 수집과 분석의 과정이 자리 잡고 있다. 디지털 미디어에서는 이미 다양한 형식의 매체들이 동일한 이진 체계의 데이터로 표현된다. 그리고 예술 분야에서도 이전보다 분석적이고 객관적인 창작의 방법론이 시도되고 있다. 특히 인터랙티브 미디어아트, 제너러티브 아트 등의 분야에서는 데이터를 창작의 재료로 활용하는 사례들이 많다. 또한 디지털화 된 음악은 시각적인 매체로, 혹은 그 반대의 경우로 전이되기에 매우 용이하며 서로 다른 매체 간의 감각적 경험의 전이를 실험하는 연구들과도 연결될 수 있다. 공감각(共感覺, synesthesia)은 색에서 소리를 듣거나 소리에서 색을 보는 것과 같이 인간의 오감 중 한 영역의 감관에 자극이 주어졌을 때 그 자극이 다른 영역의 자극을 불러일으키는 현상으로 한 감각이 다른 감각과 공유되는 현상이다. 고대 그리스 철학자들의 음악과 색을 결부시킨 사료를 기반으로 아이작 뉴턴( Newton)이 제안한 음조와 색조간의 관계를 탐구한 연구에서 그 시작을 찾을 수 있다[1]. 현대에 이르러서는 인지적 관점과 뇌과학 분야, 그리고 디지털 매체를 활용하는 예술 활동들에서 관련된 연구들을 찾아볼 수 있다.

본 연구에서는 먼저 사운드 시각화 및 감정분류와 관련 된 선행연구들을 소개하였다. 그리고 선행연구 조사를 통해 음악 구성요소들의 감정분석을 통해 시각화를 위한 파라미터(parameter, 매개변수)들의 분류체계를 마련하였다. 이러한 분류체계에 기반 하여 조형 요소의 형태, 색상, 애니메이션에 세분화 된 입력 파라미터들을 반영하였다. 마지막으로 해당 연구방법론에 따라 제작된 사운드 시각화 작품의 결과 및 향후 발전방향 및 의미에 대해 논의한다.

II. 관련선행 연구

사운드 시각화에 관련된 연구들은 예술창작의 영역에서 찾아볼 수 있다. 전통적으로 음과 색, 음과 이미지, 혹은 영상 간의 관계에 대한 대표적인 연구들은 시각 음악(Visual music) 혹은 컬러음악(Color music) 으로불렸다[2]. 괴테의 심리적인 색의 이론을 기반으로 음악을 색과 형태의 조형요소들로 표현 한 칸딘스키의 회화작품, 이의 영향으로 기하학적 도형과 음악의 관계를 탐구한 오스카 피싱어의 추상애니메이션 등이 선구적인 사례들이다[3].

현대의 음악의 분석은 디지털 신호처리 분야의 발전으로 디지털 음원에서 직접 정보를 추출하여 정확한 수치적 결과를 산출하는데 유용하게 사용되고 있고 이러한 정보들을 시각적 조형요소들에 적용하여 작품 창작에 활용하려는 시도들이 지속적으로 발전해 왔다[4][5].

데이터와 알고리즘을 활용하는 최근의 생성적 예술형식들에서 음과 이에 상응하는 색과 형의 변화는 작가가 선택적으로 부여한 규칙 외에도 데이터 흐름과 변화에 따라 다소 임의적으로 이루어지는 경향이 있다. 대표적으로 예술가가 데이터를 재료로 활용하는 사례들과 사운드로부터 추출된 데이터를 시각화 알고리즘과 결합하는 창작의 사례들이 있다[6][7]. 그러나 이러한 선행연구들은 주로 시청각 요소들을 하나의 정보로 다양한 시각화에 사용한 경우가 대부분이며 예술적 표현을 위해서는 수치적 데이터로써의 정보가 아닌 감정의 전달과 표현이 가능해져야 할 것이다. 이에 본 연구에서는 감정 구조분석을 기반으로 음악적 요소와 시각적 표현에 적용 가능한 새로운 분류 체계의 필요성을 인식하고 이를 적용해 보고자 한다. 음원의 속성 변화에 따른 감정분류를 위해 필요한 대표적 감정모델은 심리학 분야에서 소개된 연구들을 기반으로 하였다[4][7][8]. Thayer’s Valence and Arousal 모델은 2차원 좌표계와 4개의 클래스로 감정을 크게 구분한다[5][9][10].

그림 1. Thayer’s a two-dimensional energy-stress mood model(1996)[10][11].

음원 감정분석을 위해 음악 요소의 각 파라미터들을 감정 차원 기반으로 정리한 문헌조사에 따르면, 이주환 & 한광희(2006)의 연구[12]에서는 사운드의 기본 속성인 음고(pitch), 음량(loudness), 음색(timbre), 지속시간(duration) 등의 각 음원 속성에 따라 감정은 달라지며 일부 사운드 속성은 서로 상호 작용한다는 결론을 얻었다. 또한 음악 감정 분류 규칙에 대한 대표 연구로서는 Livingstone, S. T. et al.(2006)의 연구[13]가 있으며, 작곡가와 연주자가 음높이, 음량 및 조음과 같은 기본 음악 기능을 제어하여 감정적인 의도를 전달한다고 주장하였다. 이러한 기능의 체계적인 조작을 위해 소프트웨어로 감정을 제어 할 수 있도록 악보와의 연주 시 음악 감정의 실시간 제어를 할 수 있는 전산 음악 감정 규칙 시스템을 제시하였다[그림 2].

그림 2. The set of Primary Music-Emotion Rules mapped on to the 2DES, Adapted from Livingstone and Thompson (2006).

III. 제안된 기술 및 연구방법

1. 감정 차원 모델

본 연구에서는 Tellegen Watson Clark의 모델을 기반으로 6개의 클래스로 감정을 세분화하고 플러트칙이 고안한 3차원 원뿔형 모델의 기본 감정 8개 중 6개의 단어(alarmed, excited, content, calm, sad, upset)를 대표로 추출하여 파라미터 선정시 기준 값이 되도록 활용하였다[5][14][16][그림 3].

그림 3. Thayer’s Valence and Arousal 모델을 기반으로 6개의 클래스로 분류한 감정 모델

2. 음악 구성요소의 감정 구조 분석

2장의 선행연구들을 참고로 음원 감정분석을 위해 본연구에서 정리한 음악 요소의 각 파라미터들은 아래 [표 1]과 같다.

표 1. Musical parameters for a Computational rule system (참고: Livingstone, S. T. et al.(2006, 2010))

Pitch의 높낮음은 아래 그림의 악기별 표현 대역 [그림 4]에서 악기의 주파수(fundamental frequency)를 바탕으로 900hz를 중심으로 높고 낮음의 판단 기준으로 설정하였고 음색은 악기의 fundamental frequency 제외한 harmonics의 범위(range)를 900hz중심으로 높은 영역과 낮은 영역의 악기로 분류하여 판단하도록 설정하였다. 해당 악기별 표현 대역 참고자료를 통해 음역의 높고 낮음을 판단하는 대역 구분(저음, 중음, 고음 등)을 확인하였고 각 대역에서 들을 수 있는 감성적 표현(묵직하다, 선명하다 등)을 참고하였다. 또한 고역은 소리 자체보다 부가적인 표현(선명도, 존재감 등)에 영향을 준다는 것을 알 수 있다. 주파수 대역별 영역 및 대략적인 공통적으로 느끼는 표현정도는 [그림 4]의 첫 번째 그림을 참고하였다.

그림 4. 악기별 표현 대역 구분(저음, 중음, 고음 등) 및 대역별 부가적인 표현들[16][17]

[표 1]의 파라미터들을 [그림 3]에 그려진 감정 차원 모델을 2차원 평면형태에 재배치 해보면 [그림 5]와 같다.

그림 5. 2차원 평면의 감정차원모델에 그려진 [표 1] 의감정기반 음악 구성 요소 파라미터들

3. 감정기반 음악 구성요소의 시각화 방법

감정기반으로 분류된 음악적 파라미터들의 시각화에는 크게 조형요소의 형태와 색, 이미지의 종류와 애니메이션의 변화를 활용하였다. 일반적으로 이미지의 형태는 사실적, 표현적, 추상적인 것으로 구분될 수 있다. 앞서 소개된 음악 시각화 연구들에서는 실시간으로 추출되는 음악 정보들을 가능한 정확하게 표현하기 위해 점, 선 면, 도형 등으로 구성된 기하학적 추상형식의 이미지들이 주로 활용하였다. 본 연구에서는 시각화 요소의 일부는 구체적인 형상과 표정을 드러내도록 하여 관객들이 쉽게 감정이입을 할 수 있도록 하였고 형태의 추상화가 가능한 부분에서는 기하학적 요소들을 활용하여 음악 정보 요소들이 효과적으로 시각화되도록 하였다. 시각화에 사용된 도구는 프로세싱 (processing.org)을 웹 기반의 자바스크립트로 구현한 p5js(p5js.org)이며, 사운드 라이브러리를 활용하여 음원을 분석하였고 추가적으로 음악의 템포 및 음색과 함께 음악의 감정구조 분석 분류체계를 활용하여 [표 2] 와 같이 시각화 요소들에 적용하였다.

표 2. 감정기반 분류된 음악 구성 요소의 파라미터에 적용한 시각한 요소

IV. 감정기반 음악시각화 작품제작

1. 작품 소개

본 장에서 소개할 영상작품 <변주곡 시리즈: 공작새 peacock>에서는 음원의 감정분석을 공작새 깃털의 색과 모양의 변화로 시각화하였다. 공작(孔雀)은 다양한 상징적인 의미를 지닌다. 일반적으로 길조라고 여겨지며 화려한 색으로 조선시대 왕실 의복이나 그림, 조각 등에도 사용되었고 주로 높은 관직, 권세, 충신, 인도의 주요 신인 크리슈나의 상징 등으로 나타났다[18]. 본 연구에서는 특별히 이러한 상징적 의미 혹은 생태적인 특성을 반영했다기보다는 공작새의 깃털의 펼침과 닫음의 화려한 조형적 효과와 다채로운 색의 변화에 착안하여 음원에서 분석된 감정을 표현하는 시각적 매개체로 활용하였다. 작품에서 동일한 멜로디의 악기별 음색 (timber)에 따른 차이를 터치 UI(User Interface)를통해 선택 가능하도록 구현하였다. 사용된 악기는 크게 타악기, 현악기, 관악기, 건반악기, 전자악기로 분류되며 이 분류에 따라 마림바(건반타악기), 비파, 첼로, 클라리넷, 피아노, 신디사이저가 사용되었다. 그리고 [그림 6]에서 언급한 바와 같이 주파수, 소리크기, 주법, 조성, 탬포 등의 개별적 음원 속성들의 감정분석에 따른 결과들을 방사되는 선의 크기 및 개수, 애니메이션의 움직임, 채도 등의 시각화 요소에 각각 적용하였다. 음원 감정 분석에 따른 시각화 방법에 대한 전체 구성도는 [그림 6]과 같다.

그림 6. 음원 감정 분석 방법 및 시각화 방법 흐름도

2. 작품에 사용된 음원의 감정분석

앞 장에서 소개 된 MUSICAL PARAMETERS for A Computational Rule System [표 1]에서 설정된 항목과 내용을 바탕으로 주파수 대역 및 음색, 템포 등을 통해 음원의 감정을 분석해본 결과이다. 사용된 음원은 가사와 음악 멜로디의 감정을 비교 분석하기 위해 사람음성이 없는 연주곡을 선택하였으며 그 중 대표 분석된 음원 샘플은 아래의 동요 원곡 ‘섬집아기’의 비올라 (viola) 연주곡 버전과 ‘Feeling good’의 기타(guitar) 연주곡 버전이다. 작품에 사용된 두 음원의 음악 요소들의 감정 분석 결과는 [표 3]과 같다.

표 3. 분석된 음원 섬집 아기(위)와 Feeling good(아래)’의 음악 감정 요소 및 각 파라미터

섬집아기의 음악의 조성은 장조, Feeling good은 단조이었으며, 두 곡의 악보를 보면[그림 7], 섬집아기는 A장조의 느린 템포의 곡이며, Feeling good은 G단조의 느린 템포곡인 것을 알 수 있다.

그림 7. 섬집 아기(위)와 Feeling good(아래) 악보의 일부분

감정 기반으로 분류된 음악적 파라미터들의 값으로부터 분석된 결과는 [그림 8]부터 [그림 10]로 확인해 볼 수 있다. 스펙트로그램은 멜로디의 전체의 주파수 대역의 주파수 영역의 변화와 음량 값을 알아보기 위함이다. 스펙트로그램의 X축은 멜로디를 이루는 구간의 시간을 나타내며, Y축은 주파수(frequency)를 나타낸다 [그림 8] [그림 9]. 그 다음 각 결과를 나타내는 그래프에서 FFT 분석의 X축은 주파수(frequency)를 나타내고, Y축은 음량(amplitude)를 나타낸다[그림 9]. 스펙트로그램 분석 및 FFT 분석의 일부는 주파수 대역을 잘 보이도록 로그(log) 스케일로 확대하여 나타내었다. 본 연구의 FFT 분석에 사용된 윈도우 사이즈(window size)는 1024이고 윈도우 타입 (window type)은 해밍 (hamming)1이다.

그림 8. 섬집 아기(a)와 Feeling good(b) 일부분의 spectrogram

그림 9. 섬집 아기(a)와 Feeling good(b) 곡 전체의 spectrogram

그림 10. 섬집 아기(위)와 Feeling good(아래)에 사용된 악기 음 FFT 분석: Viola, E3=154.6Hz, Guitar, G3=207.5Hz

[그림 8]과 [그림 9]에서 ‘섬집 아기(a)’와 ‘feeling good(b)’을 구성하고 있는 주파수 대역을 살펴보면, 스펙트로 그램에서 대부분 1kHz 이하의 저주파 대역에 주로 연주되고 있는 것을 볼 수 있다. 또한 음의 길이가 시간 축으로 끊어짐 없이 길에 이어지는 것은, 연주기법과 지속시간(articulation/duration) 부분이 길게 표현되고 있어, 짧고 강렬한 느낌이 아닌 길고 느린 표현에 가깝다고 볼 수 있다. 일부분을 확대한 스펙트로 그램에서 비교해 보면 ‘섬집 아기’의 비올라 악기가 좀 더 긴 연주기법과 지속시간으로 표현 및 연주되고 있음을 알 수 있다.

다음 그림은 [그림 10] ‘섬집 아기’(a)와 ‘Feeling good’(b)에 사용된 악기인 비올라의 한음인 E3(164.8Hz)와 기타의 한음인 G3(207.5Hz) 대한 악기 음 FFT 분석을 통한 배음(하모닉스, harmonics)을 나타낸다. 두 악기 모두 3kHz 이상의 고주파의 하모닉스를 가지고 있음을 알 수 있다.

섬집 아기(빨간색 영역)와 Feeling good(파란색 영역)의 감정 분류 기반 음악 요소들의 분석 결과[표 2]를 반영한 음악 요소 분석 결과 설정해 놓은 규칙에 따라 2차원 감정 공간에 그려진 감정군에 대한 최종 결과는 [그림 11]과 같다. 노래 ‘섬집 아기’의 음원 분석 결과는 긍정적인(positive)과 수동적인(passive) 사이의 감정군(calm)에 있으며, ‘Feeling good’은 부정적인 (negative)과 수동적인(passive) 사이의 감정군(sad)에 존재한다.

그림 11. 차원 감정 공간'에 그려진 섬집 아기(빨간색 영역)와 Feeling good(파란색영역)의 기본 음악 감정 구조 규칙 결과

5. 감정기반 영상 시각화의 결과

이 작업은 초중등 학생들의 체험학습을 위한 콘텐츠로 제작되어 악기별 소리의 특성과 음악의 감정을 직관적인 시각화를 통해 감상하도록 하는 시도로 만들어졌다.

시각화에 있어서는 음악의 감정을 표현은 공작새의 형태 이미지가 애니메이션으로 나타나도록 연출하였다. 시각화 작업에 활용된 조형요소들의 변화요소는 아래 [표 4]와 같다.

표 4. 영상시각화 형태의 기본규칙

먼저 공작새의 이미지는 프레임 바이 프레임(frame by frame) 애니메이션 기법으로 연속 이미지들을 연결하여 움직임을 구성하였고 감정의 분류결과에 따른 포즈, 의인화 새의 표정, 깃털의 펴짐, 색상 등의 요소가 배열(array)에 저장된 이미지들을 선택적으로 호출하여 변화하도록 하였다. 두 번째 외부 방사형은 공작새의 깃털을 방사형으로 펼쳐진 선의 기하학적 형태로 시각화한 것이다. 주파수 값에 따라 방사형 지름(radius)의 값과 선들의 개수가 변화하고 색상 값도 HSB 컬러모델2을 기반으로 변화하도록 하였다. 도형은 이 선들 위에 점진적으로 나타나는 조형요소로 음악 구성 요소인 조성(tonality)에 따라 사각형과 원형이 선택적으로 나타나도록 하였다. 위의 음원 감정 분석 결과에서와 같이 조성(tonality)은 Major는 음악에서 주로 긍정의 의미로 Minor는 부정의 의미로 표현 가능한데, Major일 경우에는 원형이, Minor일 경우에는 사각형이 나타나도록 하였다. 이는 칸딘스키 조형이론의 내용을 참조하였다[8]. 마지막으로 내부 방사형의 선들은 역시 외부방사형 선들의 끝부분에 나타나는 것으로 깃털 장식을 위한 시각 요소로 사용되었고 주파수 분석 후 음원이 가지는 harmonics의 복잡도에 따라 삼각 함수공식을 활용하여 방사형의 선들이 그려지고 변화하도록 하였다. 값이 적어질수록 각진 형태로 커질수록 원형의 형태를 만들고 외부 형태보다는 작게 하여 반복적으로 외부 방사형 선 위에 생성되도록 하였다.

그림 12. 변주곡 시리즈: 공작새(peacock), 전시설치전경, 김혜란, 2020

앞서 섬집아기와 feeling good의 음원분석결과를 시각화 구성요소에 적용한 결과는 다음 [그림 13][그림 14]와 같다.

그림 13. 변주곡 시리즈 : 공작새(peacock), feeling good 음원분석 결과의 시각화 버전, 비디오 스틸, 김혜란, 2020

그림 14. 변주곡 시리즈: 공작새(peacock), 섬집아기 음원 분석 결과의 시각화 버전, 비디오 스틸, 김혜란, 2020

V. 결론 및 고찰

본 논문에서 사용된 음원들은 비교적 단순하여 시각적으로 표현하기 용이하다는 장점이 있었다. 하지만 더 복잡하고 다양한 음원에 대해 분석하여 시각화하기 위해서는 음악의 감정분류를 위해 본 논문에서 수치화 하지 못한 다른 요소들에 대해서도 추가로 연구되어야 할 것으로 판단된다. 또한 분류된 음악적 요소들 간의 상대적 중요성에 관한 비교분석은 향후 추가적으로 연구되어야 할 부분들이다.

시각화 방법에 있어서는 기존의 방식이 주는 정보 시각화 방식의 추상적 표현에서 벗어나 일반 대중들에게 친숙하게 다가갈 수 있도록 구체적인 동물의 형상과 애니메이션 요소를 추가적으로 활용하였다. 해당 시각화작품이 순수 예술 전시에서 뿐만 아니라 음악 체험 교육의 현장에서도 활용되었기 때문에 구체적 형상과 애니메이션은 사람들에게 감정이입을 가능하게 하고 친숙하게 접근할 수 있도록 하는 시각적 장치로 활용되었다.

음악 정보의 자동 시각화에 대한 다양한 방법들이 연구되고 있으나 음악의 시각화에서는 음악이라는 예술적 특성을 고려한 감정적인 측면을 고려하지 않을 수 없다. 또한 인공지능(AI) 기술의 발달로 자동으로 음악의 분위기 및 음색을 추출하는 등 자동 분석 및 분류에 대한 연구들은 활발히 이루어지고 있으나 아직까지 완전한 자동 시각화 이전에 시각적인 요소들과 음악적 요소들이 어떻게 심미적으로 매칭될 수 있는지 사람의 제작 단계에서 분석 및 수치화가 필요하다고 판단된다. 혹은 임의로 자동 제작된 작품의 결과물에는 후반 작업 내지 재가공이 필요한 단계이기도 하다. 본 논문에 사용된 음악의 시각화를 위한 음악 감정 분석 방법은 추후 보다 의미 있는 자동 음악 시각화의 기반으로 활용되고 발전 될 수 있을 것으로 판단된다.