• 한국콘텐츠학회논문지
• /
• 제21권7호
• /
• pp.83-92
• /
• 2021

본 연구의 목적은 영화 <이미테이션 게임>에서 사용되는 작곡가 데스플라(Alexandre Desplat)의 음악(청각적 정보)과 틸덤(Morten Tyldum)감독의 연출에 의하여 표현되는 영상(시각적 정보)이 연합하여 생성하는 의미를 살펴보는 것이다. 본 연구자는 영화에서 나타나는 청각적·시각적 정보가 어떻게 연합하는지를 연구하기 위하여 즈비코프스키(Lawrence Zwikowski)의 개념적 혼성이론을 방법론으로 채택하였다. 즈비코프스키는 포코니에(Golles Fauconnier)와 터너(Mark Turner)가 고안한 개념적 혼성 망(Conceptual Integration Networks, CIN)을 사용하여 청각적·시각적 정보의 연합에 의해 생성되는 의미를 분석하였다. 따라서 본 연구자는 <이미테이션 게임>에서 나타나는 음악과 영상의 조합을 연구하기 위해 음악과 영상에 의한 CIN분석을 연구 방법으로 적용하였다. 작곡가 데스플라는 에올리아 선법을 사용하여 조성적 선율 진행에 의한 익숙함을 교묘하게 피하여 주인공을 표현하였다. 또한 이 에올리아 선법은 영상을 통하여 나타나는 내러티브와 효과적인 연합을 위해 다양한 변형을 취하고 있다. 먼저 변박자와 단조 코드의 활용은 등장인물들의 불안정한 감정을 대변하는 반면, 간간히 활용되는 클리셰한 선율 진행과 장조 코드는 영상의 안정적인 분위기와 연합한다. 또한 데스플라는 긍정적 또는 부정적 반응을 만들기 위해 악기의 변형을 통한 다양한 음색변화와 기복이 심한 음량변화를 활용하였다. 본 연구자는 이러한 음악 및 음색 변화로 생성되는 청각적 신호의 의미가 영상에 의한 시각적 정보와 연합하여 영화가 내포하는 의미를 강화하고 있음을 확인하였다.

• 스마트미디어저널
• /
• 제11권10호
• /
• pp.65-75
• /
• 2022

딥러닝은 기존의 분석 모델이 갖는 한계를 극복하고 텍스트, 이미지, 음악 등 다양한 형태의 결과물을 생성할 수 있는 창의적인 도구로 활용되고 있다. 본 고에서는 Niko's MIDI Pack 음원 파일 1,609개를 데이터 셋으로 삼아 전처리 과정을 수행하고, 양방향 장단기 기억 순환 신경망(Bi-LSTM) 모델을 이용하여, 효율적으로 음악을 생성할 수 있는 전처리 방법과 예측 모델을 제시한다. 생성되는 으뜸음을 바탕으로 음악적 조성(調聲)에 적합한 새로운 시계열 데이터를 생성할 수 있도록 은닉층을 다층화하고, 디코더의 출력 게이트에서 인코더의 입력 데이터 중 영향을 주는 요소의 가중치를 적용하는 어텐션(Attention) 메커니즘을 적용한다. LSTM 모델의 인식률 향상을 위한 파라미터로서 손실함수, 최적화 방법 등 설정 변수들을 적용한다. 제안 모델은 MIDI 학습의 효율성 제고 및 예측 향상을 위해 높은음자리표(treble clef)와 낮은음자리표(bass clef)를 구분하여 추출된 음표, 음표의 길이, 쉼표, 쉼표의 길이와 코드(chord) 등을 적용한 다채널 어텐션 적용 양방향 기억 모델(Bi-LSTM with attention)이다. 학습의 결과는 노이즈와 구별되는 음악의 전개에 어울리는 음표와 코드를 생성하며, 화성학적으로 안정된 음악을 생성하는 모델을 지향한다.