The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Development of the Artwork using Music Visualization based on Sentiment Analysis of Lyrics

가사 텍스트의 감성분석에 기반 한 음악 시각화 콘텐츠 개발

  • 김혜란 (세종대학교 소프트웨어융합대학 만화애니메이션텍 전공 초빙교수)
  • Received : 2020.08.03
  • Accepted : 2020.10.06
  • Published : 2020.10.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, we tried to produce moving-image works through sentiment analysis of music. First, Google natural language API was used for the sentiment analysis of lyrics, then the result was applied to the image visualization rules. In prior engineering researches, text-based sentiment analysis has been conducted to understand users' emotions and attitudes by analyzing users' comments and reviews in social media. In this study, the data was used as a material for the creation of artworks so that it could be used for aesthetic expressions. From the machine's point of view, emotions are substituted with numbers, so there is a limit to normalization and standardization. Therefore, we tried to overcome these limitations by linking the results of sentiment analysis of lyrics data with the rules of formative elements in visual arts. This study aims to transform existing traditional art works such as literature, music, painting, and dance to a new form of arts based on the viewpoint of the machine, while reflecting the current era in which artificial intelligence even attempts to create artworks that are advanced mental products of human beings. In addition, it is expected that it will be expanded to an educational platform that facilitates creative activities, psychological analysis, and communication for people with developmental disabilities who have difficulty expressing emotions.

본 연구에서는 음악 가사의 감성분석을 통한 영상작품의 제작을 시도하였다. 가사 텍스트의 감성분석에는 구글(Google)의 자연어 처리 API를 활용하였고 그 결과를 영상 시각화 규칙과 연결하였다. 기존의 공학적 연구들에서의 텍스트 기반 감성분석은 소셜 미디어에서의 사용자 댓글과 리뷰를 분석해서 사용자들의 감정과 태도를 이해하도록 하는 연구들이 많았다. 본 연구에서는 감성분석 데이터가 예술작품 창작의 재료가 되어 심미적 표현에 활용될 수 있도록 하였다. 기계의 관점에서 볼 때 감정은 숫자로 치환되어 나타나므로 규격화, 표준화 될 수밖에 없다는 한계점이 있다. 이에 가사 데이터의 감성분석 결과를 시각예술에서의 조형요소들의 규칙과 연결하여 이러한 한계를 일부 극복해보자 하였다. 본 연구는 인공지능이 인간의 고도화 된 정신적 산물인 예술작품의 창작까지 시도하는 현 시대를 반영하며 문학, 음악, 회화, 무용 등 기존의 전통적인 예술작품을 기계를 통해 바라본 새로운 형태의 예술작품으로 만들어 보고자 하는 목표를 가지고 있다. 더불어 감정표현에 어려움을 겪는 발달 장애인들의 창작활동과 심리분석 및 의사소통을 용이하게 해주는 예술창작 및 교육 플랫폼으로 확장되기를 기대한다.

Keywords

References

  1. H. Katayose and S, Inokuchi, "The Kansei music system," Comput. Music J, Vol.13, No.4, pp.72-77, 1989. https://doi.org/10.2307/3679555
  2. A. Joshi, P. Bhattacharyya, and M. J. Carman, "Automatic sarcasm detection: A surveym," ACM Computing Surveys (CSUR), Vol.50, No.5, pp.1-22, 2017.
  3. I. Hernandez-Farías, J. Benedí, and P. Rosso, "Applying basic features from sentiment analysis for automatic irony detection," In Proceedings of the Conference on Pattern Recognition and Image Analysis, Springer, pp.337-344, 2015.
  4. X. Hu and J. Downie, "Improving mood classification in music digital libraries by combining lyrics and audio," In Proc. JCDL. ACM, pp.159-168, 2010.
  5. 최수환, "음악 정보 추출(MIR) 알고리즘을 활용한 사 운드 시각화 연구," 에밀레, 제8권, pp.33-58, 2010.
  6. 이동섭, 김효영, 박진완, "L-system을 이용한 음악 시각화," 디지털디자인학연구, 제12권, 제2호, pp.67-77, 2012.
  7. 박진완, 김효영, "예술적 데이터 고찰," 디지털디자인학연구, 제11권, 제3호, pp.193-202, 2011.
  8. T. S. Utomo and R. Sarno, "Emotion Label from ANEW dataset for Searching Best Definition from WordNet," International Seminar on Application for Technology of Information and Communication (iSemantic), ACM, 2018.
  9. L. Gomez and M. Caceres, "Applying data mining for sentiment analysis in music," PAAMS 2017, AISC, Springer, Cham, Vol.619, pp.198-205, 2017.
  10. https://ko.wikipedia.org/wiki/감성, 2020.7.6.
  11. 손진훈, "정서의 심리적 모델 : 개별 정서 모델, 평가모델, 차원 모델을 중심으로," 대한인간공학회지, 제30권, 제1호, pp.179-186, 2011.
  12. 황민철, 김종화, 문성철, 박상인, "감성 모델링 및 인식 기술," 로봇과 인간, 제8권, 제4호, pp.34-44, 2011.
  13. 김동림, 림빈, 임영환, "감성 트리 기반의 음악 감성조절 알고리즘," 한국콘텐츠학회논문지, 제15권, 제3호, pp.21-31, 2015. https://doi.org/10.5392/JKCA.2015.15.03.021
  14. R. Thayer, The Origin of Everyday Moods: Managing Energy, Tension, and Stress, Oxford University Press, Oxford, 1996.
  15. S. Hsiao, S. Chen, and C. Lee, "Methodology for stage lighting control based on music emotions," Information sciences, Vol.412, pp.14-35, 2017. https://doi.org/10.1016/j.ins.2017.05.026
  16. http://www.fractal.org/Bewustzijns-Besturings-Model/Nature-of-emotions.htm, 2020.7.24.
  17. https://m.blog.naver.com/sehyunfa/221675809410, 2020.7.24.
  18. https://cloud.google.com/natural-language/docs/basics?hl=ko, 2019.10.3.
  19. 김혜란, 이상욱, "라반의 공간조화이론 '코레우틱스(Choreutics)'를 활용한 신체 움직임의 추상적 시각화 연구," 예술인문사회 융합 멀티미디어 논문지, Vol.7, No.3, pp.371-381, 2017.
  20. 배미영, 칸딘스키 조형이론과 작품분석을 통한 색채 특성에 관한 연구, 이화여자대학교, 석사학위논문, 2010.