A Design and Implementation of Music & Image Retrieval Recommendation System based on Emotion

감성기반 음악.이미지 검색 추천 시스템 설계 및 구현

  • Kim, Tae-Yeun (Department of Computer Science and Statistics, Chosun University) ;
  • Song, Byoung-Ho (Institute of Information Science and Engineering Research, Mokpo National University) ;
  • Bae, Sang-Hyun (Department of Computer Science and Statistics, Chosun University)
  • 김태연 (조선대학교 컴퓨터통계학과) ;
  • 송병호 (목포대학교 정보산업중점연구소) ;
  • 배상현 (조선대학교 컴퓨터통계학과)
  • Published : 2010.01.25

Abstract

Emotion intelligence computing is able to processing of human emotion through it's studying and adaptation. Also, Be able more efficient to interaction of human and computer. As sight and hearing, music & image is constitute of short time and continue for long. Cause to success marketing, understand-translate of humanity emotion. In this paper, Be design of check system that matched music and image by user emotion keyword(irritability, gloom, calmness, joy). Suggested system is definition by 4 stage situations. Then, Using music & image and emotion ontology to retrieval normalized music & image. Also, A sampling of image peculiarity information and similarity measurement is able to get wanted result. At the same time, Matched on one space through pared correspondence analysis and factor analysis for classify image emotion recognition information. Experimentation findings, Suggest system was show 82.4% matching rate about 4 stage emotion condition.

감성 지능형 컴퓨팅은 컴퓨터가 학습과 적응을 통하여 인간의 감성을 처리할 수 있는 감성인지 능력을 갖는 것으로 보다 효율적인 인간과 컴퓨터의 상호 작용을 가능하게 한다. 감성 정보들 중 시각과 청각 정보인 음악 이미지는 짧은 시간에 형성되고 기억에 오랫동안 지속되기 때문에 성공적인 마케팅에 있어서 중요한 요인으로 꼽히고 있으며, 인간의 정서를 이해하고 해석하는데 있어서 매우 중요한 역할을 한다. 본 논문에서는 사용자의 감성키워드(짜증, 우울, 차분, 기쁨)를 고려하여 매칭된 음악과 이미지를 검색하는 시스템을 구축하였다. 제안된 시스템은 인간의 감성을 4단계 경우로 상황을 정의하며, 정규화 된 음악과 이미지를 검색하기 위해 음악 이미지 온톨로지와 감성 온톨로지를 사용하였으며, 이미지의 특징정보를 추출, 유사성을 측정하여 원하는 결과를 얻게 하도록 하였다. 또한, 이미지 감성인식정보를 분류하기위해 대응일치분석과 요인분석을 통한 성컬러와 감성어휘를 하나의 공간에 매칭하였다. 실험결과 제안된 시스템은 4가지 감성상태에 대해 82.4%의 매칭율를 가져올 수 있었다.

Keywords

References

  1. 황상민, "색채 감성 이미지 척도(PCIS)를 통하여 살펴본 인간의 색채 감성 연구", 한국색채학회논문지, 제19권, 제1호, 13-25쪽, 2005년
  2. 조윤호, 박규식, "성별 구분을 통한 음성 감성인식 성능 향상에 대한 연구", 전자공학회논문지, 제45권 SP편, 제4호, 107-114쪽, 2008년 4월
  3. 백선경, "감성기반 의미지 검색을 위한 시각정보 요소별 감성공간 생성", 조선대학교 박사논문, 2008년 2월
  4. 황환규, "영역기반 이미지 검색을 위한 칼라 이미지 세크멘터이션", 전자공학회논문지, 제45권 CI 편, 제1호, 11-24쪽, 2008년 1월
  5. Damasio, A. R. "Fundamental feelings: concept of emotion.," Nature 413(6858), Issue of 25 October 2001, 781. 2001. https://doi.org/10.1038/35101669
  6. 김지수, "분자컴퓨팅을 이용한 감성 정보 범주화", 서울대학교 석사논문, 2005년 2월
  7. W. Niblack, et al. "The QBIC project: Query images by content using color, texture and shape," SPIE V 1908, 1993.
  8. S. Chang, Q. Shi and S. Yan, "Iconic indexing using 2-D strings," IEEE Trans. on Pattern Analysis & Machine Intelligence, Vol. 9, No. 3, pp. 413-428, 1987
  9. M. Stricker and M Orengo, "Similarity of Color Images," SPIE Proc. Series Vol. 2420, pp. 381-392, 1995
  10. C. Carson, S. Belongies, H. Greenspan and J Malik, "Region-based image querying," Proc. IEEE Workshop on Content-Based Access of Image and Video Libraries, June 1997