데이타베이스연구회지:데이타베이스연구 (Database Research)

한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지

자동문서분류를 위한 텐서공간모델 기반 심층 신경망

A Tensor Space Model based Deep Neural Network for Automated Text Classification

  • 임푸름 (서울시립대학교 전자전기컴퓨터공학부) ;
  • 김한준 (서울시립대학교 전자전기컴퓨터공학부)
  • 투고 : 2018.11.07
  • 심사 : 2018.12.03
  • 발행 : 2018.12.31

⟨ 이전 논문 다음 논문 ⟩

초록

자동문서분류(Text Classification)는 주어진 텍스트 문서를 이에 적합한 카테고리로 분류하는 텍스트 마이닝 기술 중의 하나로서 스팸메일 탐지, 뉴스분류, 자동응답, 감성분석, 쳇봇 등 다양한 분야에 활용되고 있다. 일반적으로 자동문서분류 시스템은 기계학습 알고리즘을 활용하며, 이 중에서 텍스트 데이터에 적합한 알고리즘인 나이브베이즈(Naive Bayes), 지지벡터머신(Support Vector Machine) 등이 합리적 수준의 성능을 보이는 것으로 알려져 있다. 최근 딥러닝 기술의 발전에 따라 자동문서분류 시스템의 성능을 개선하기 위해 순환신경망(Recurrent Neural Network)과 콘볼루션 신경망(Convolutional Neural Network)을 적용하는 연구가 소개되고 있다. 그러나 이러한 최신 기법들이 아직 완벽한 수준의 문서분류에는 미치지 못하고 있다. 본 논문은 그 이유가 텍스트 데이터가 단어 차원 중심의 벡터로 표현되어 텍스트에 내재한 의미 정보를 훼손하는데 주목하고, 선행 연구에서 그 효능이 검증된 시멘틱 텐서공간모델에 기반하여 심층 신경망 아키텍처를 제안하고 이를 활용한 문서분류기의 성능이 대폭 상승함을 보인다.

Text classification is one of the text mining technologies that classifies a given textual document into its appropriate categories and is used in various fields such as spam email detection, news classification, question answering, emotional analysis, and chat bot. In general, the text classification system utilizes machine learning algorithms, and among a number of algorithms, naïve Bayes and support vector machine, which are suitable for text data, are known to have reasonable performance. Recently, with the development of deep learning technology, several researches on applying deep neural networks such as recurrent neural networks (RNN) and convolutional neural networks (CNN) have been introduced to improve the performance of text classification system. However, the current text classification techniques have not yet reached the perfect level of text classification. This paper focuses on the fact that the text data is expressed as a vector only with the word dimensions, which impairs the semantic information inherent in the text, and proposes a neural network architecture based upon the semantic tensor space model.

키워드

과제정보

연구 과제 주관 기관 : 서울시립대학교

참고문헌

  1. Aggarwal, Charu C., and ChengXiang Zhai, "A survey of text classification algorithms", Mining text data, Springer, 2012.
  2. Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, "Efficient Estimation of Word Representations in Vector Space", CoRR, 2013.
  3. Xiang Zhang, Junbo Zhao, Yann LeCun, "Character-level Convolutional Networks for Text Classification", Proceedings of the 28th International Conference on Neural Information Processing Systems, 2015.
  4. Long Ma, Yanqing Zhang, "Using Word2Vec to process big text data", 2015 IEEE International Conference on Big Data, 2015.
  5. Joseph Lilleberg, Yun Zhu, Yanqing Zhang, "Support vector machines and word2vec for text classification with semantic features", IEEE 14th International Conference on Cognitive Informatics & Cognitive Computing (ICCI* CC), 2015.
  6. Pengfei Liu, Xipeng Qui, Xuanjin Huang, "Recurrent Neural Network for Text Classification with Multi-Task Learning", Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, 2016.
  7. Ji Young Lee, Franck Dernoncourt, "Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks", HLT-NAACL, 2016.
  8. Conneau Alexis, Holger Schewenk, Yann LeCun, Loic Barrault, "Very Deep Convolutional Networks for Text Classification", Proceeding of the Fifth Conference of the European Chapter of the Association for Computational Linguistics, 2017.
  9. Siwei Lai, Liheng Xu, Kang Liu, Jun Zhao, "Recurrent Convolutional Neural Networks for Text Classification", Proceedings of the Twenty-Ninth AAAI Conference on Artificial intelligence, 2015.
  10. Thang Luong, Richard Socher, Christopher Manning, "Better word representations with recursive neural networks for morphology", Proceedings of the Seventeenth Conference on Computational Natural Language Learning. 2013.
  11. 김한준, 장재영, 위키피디어 기반 개념 공간을 가지는 시멘틱 텍스트 모델, 한국전자거래학회지 제19권 3호, 2014, pp. 107-123. https://doi.org/10.7838/jsebs.2014.19.3.107
  12. Han-joon Kim, Jiyun Kim, Jinseog Kim, Pureum Lim, "Towards perfect text classification with Wikipedia-based semantic Naive Bayes learning", Neurocomputing, Vol.315, 2018.
  13. Weubi Liu, Z. Wang, X. Liu, N. Zeng, Y. Liu, FE. Alsaddi, "A survey of deep neural network architectures and their applications", Neurocomputing, Vol.234, 2017.
  14. Yoon Kim, "Convolutional neural networks for sentence classification", arXiv preprint arXiv:1408.5882, 2014.