Emotion Recognition Using Color and Pattern in Textile Images

컬러와 패턴을 이용한 텍스타일 영상에서의 감정인식 시스템

  • Shin, Yun-Hee (Department of advanced technology fusion, Konkuk University) ;
  • Kim, Young-Rae (Department of advanced technology fusion, Konkuk University) ;
  • Kim, Eun-Yi (Department of Internet and Multimedia Eng. Konkuk University)
  • 신윤희 (건국대학교 일반대학원 신기술융합학과) ;
  • 김영래 (건국대학교 일반대학원 신기술융합학과) ;
  • 김은이 (건국대학교 인터넷 미디어 공학부)
  • Published : 2008.11.25

Abstract

In this paper, a novel method is proposed using color and pattern information for recognizing some emotions included in a fertile. Here we use 10 Kobayashi emotion to represent emotions. - { romantic, clear, natural, casual, elegant chic, dynamic, classic, dandy, modem } The proposed system is composed of feature extraction and classification. To transform the subjective emotions as physical visual features, we extract representative colors and Patterns from textile. Here, the representative color prototypes are extracted by color quantization method, and patterns exacted by wavelet transform followed by statistical analysis. These exacted features are given as input to the neural network (NN)-based classifiers, which decides whether or not a textile had the corresponding emotion. When assessing the effectiveness of the proposed system with 389 textiles collected from various application domains such as interior, fashion, and artificial ones. The results showed that the proposed method has the precision of 100% and the recall of 99%, thereby it can be used in various textile industries.

본 논문에서는 컬러와 패턴 정보를 이용하여 텍스타일 영상에 포함된 감성을 자동으로 인식할 수 있는 방법을 제안한다. 이때, 감성을 표현하기 위해 고바야시의 10가지 감성 그룹 - {romantic, clear, natural, casual, elegant chic, dynamic, classic, dandy, modern}- 을 이용한다. 제안된 시스템은 특징 추출과 분류로 구성된다. 특징 추출 단계에서는 주관적인 감성을 물리적인 영상 특징으로 표현하기 위해 텍스타일을 구성하는 대표 컬러와 패턴을 추출 한다. 이 때 대표 컬러를 추출하기 위해서 양자화 기법을 이용하고, 패턴정보를 표현하기 위해서는 웨이블릿 변환 후의 통계적인 정보를 이용한다 추출된 컬러와 패턴 특징은 신경망을 이용한 분류기의 입력으로 사용되고, 분류기를 통해 입력 텍스타일이 임의의 감성을 가지는지 여부가 결정된다. 제안된 감성인식 방법의 효율성을 증명하기 위해서 인위적인 도메인, 패션 도메인, 인테리어 도메인에서 얻어진 389장의 텍스타일 영상에서 실험하였다. 다양한 도메인의 영상에 대해 사용된 결과 제안된 방법은 100%의 정확도와 99%의 재현율을 보였다. 이러한 실험 결과는 제안된 감성인식 방법이 다양한 텍스타일 관련 산업분야에 일반화되어 사용될 수 있음을 보여주었다.

Keywords

References

  1. Shigenobu Kobayashi, "The Aim and Method of the Color Image Scale, Color Research & Application" , Vol. 6, pp. 93-107, 1981 https://doi.org/10.1002/col.5080060210
  2. T. Soen, T. Shimada, and M. Akita, Objective Evaluation of Color Design, Color Res. Appl., vol. 12, pp. 187-194, 1987 https://doi.org/10.1002/col.5080120406
  3. B. Furht and o. Marques, Content-based Image and Video Retrieval, Kluwer Academic Publishers, 2002
  4. Li-Chen Ou, M. Ronniner Luo, "A Study Of Colour Emotion and Colour Preference.Part I : Colour Emotions for Single Colours", Color Research & Application, Vol. 29, pp.232-240, 2004. https://doi.org/10.1002/col.20010
  5. Naoki Kawamoto, Toshichi Soen, "Objective Evaluation of Color Design.II, Color Research & Application", Vol.18, pp. 260-266, 1993
  6. Eun Yi Kim, Soo-jeong Kim, Hyun-jin Koo, Karpjoo Jeong, Jee-in Kim, "Emotion-based Textile Indexing using Colors and Texture," Lecture Notes in Computer Sciences, vol. 3613, pp. 1077-1080, 2005 https://doi.org/10.1007/11539506_133
  7. 류형주, 채송아, 김수정, 김은이, 김지인, 정갑주, 구현진, "퍼지시스템을 이용한 텍스타일 인덱싱", 한국정보과학회 가을 학술발표논문집 Vol.31, No.2, 2004
  8. 김나연, 신윤희, 김수정, 김지인, 정갑주, 구현진, 김은이, "신경망을 이용한 텍스타일 영상에서의 감성인식 시스템", 정보과학회논문지: 소프트웨어 및 응용 제34권 제9호, 2007
  9. Na Yeon Kim, Yunhee Shin, and Eun Yi Kim, "Emotion-based Textile Indexing System using Pattern Recognition", IEEE International Symposium on Consumer Electronics, vol. 1, pp 1-6. 2007
  10. 김수정, "직물 영상을 위한 감성 인식 프레임 워크", 건국대학교 박사학위논문, 2007
  11. Shigenobu Kobayashi, "COLOR IMAGE SCALE" , Kodansha, 1991
  12. Gonzalez et al. "Digital Image Processing", Addison-Wesley, 2002
  13. Huiping Li, David Doermann, and Omid Kia, "Automatic Text Detection and Tracking in Digital Video", IEEE Transactions on Image Processing, Vol. 9, No. 1, January 2000
  14. Simon Haykin, Neural Networks a comprehensive foundation 2nd edition, Prentice Hall, pp.10-13, pp.156-173, 1999
  15. H.-U. Bauer and T. Geisel, "Dynamics of signal processing in feedback multilayer perceptrons," in Proc. Int. Joint Conf. Neural Networks, pp. 131-136, 1990
  16. M. Brown, P. C. An, C. J. Harris, and H. Wang, "How biased is your multi-layer perceptron?", in World Congr. Neural Networks, pp. 507-511, 1993