KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

An Attention Method-based Deep Learning Encoder for the Sentiment Classification of Documents

문서의 감정 분류를 위한 주목 방법 기반의 딥러닝 인코더

  • 권순재 (서강대학교 컴퓨터공학과) ;
  • 김주애 (서강대학교 컴퓨터공학과) ;
  • 강상우 (가천대학교 소프트웨어학과) ;
  • 서정연 (서강대학교 컴퓨터공학과)
  • Received : 2016.10.20
  • Accepted : 2016.12.29
  • Published : 2017.04.15
⟨ Previous Next ⟩

Abstract

Recently, deep learning encoder-based approach has been actively applied in the field of sentiment classification. However, Long Short-Term Memory network deep learning encoder, the commonly used architecture, lacks the quality of vector representation when the length of the documents is prolonged. In this study, for effective classification of the sentiment documents, we suggest the use of attention method-based deep learning encoder that generates document vector representation by weighted sum of the outputs of Long Short-Term Memory network based on importance. In addition, we propose methods to modify the attention method-based deep learning encoder to suit the sentiment classification field, which consist of a part that is to applied to window attention method and an attention weight adjustment part. In the window attention method part, the weights are obtained in the window units to effectively recognize feeling features that consist of more than one word. In the attention weight adjustment part, the learned weights are smoothened. Experimental results revealed that the performance of the proposed method outperformed Long Short-Term Memory network encoder, showing 89.67% in accuracy criteria.

최근 감정 분류 분야에서 딥러닝 인코더 기반의 접근 방법이 활발히 적용되고 있다. 딥러닝 인코더 기반의 접근 방법은 가변 길이 문장을 고정 길이 문서 벡터로 압축하여 표현한다. 하지만 딥러닝 인코더에 흔히 사용되는 구조인 장 단기 기억망(Long Short-Term Memory network) 딥러닝 인코더는 문서가 길어지는 경우, 문서 벡터 표현의 품질이 저하된다고 알려져 있다. 본 논문에서는 효과적인 감정 문서의 분류를 위해, 장 단기 기억망의 출력을 중요도에 따라 가중합하여 문서 벡터 표현을 생성하는 주목방법 기반의 딥러닝 인코더를 사용하는 것을 제안한다. 또한, 주목 방법 기반의 딥러닝 인코더를 문서의 감정 분류 영역에 맞게 수정하는 방법을 제안한다. 제안하는 방법은 윈도우 주목 방법(Window Attention Method)을 적용한 단계와 주목 가중치 재조정(Weight Adjustment) 단계로 구성된다. 윈도우 주목 방법은 한 단어 이상으로 구성된 감정 자질을 효과적으로 인식하기 위해, 윈도우 단위로 가중치를 학습한다. 주목 가중치 재조정에서는 학습된 가중치를 평활화(Smoothing) 한다, 실험 결과, 본 논문에서 제안하는 방법은 정확도 기준으로 89.67%의 성능을 나타내어 장 단기 기억망 인코더보다 높은 성능을 보였다.

Keywords

Acknowledgement

Grant : 퍼스널 미디어가 연결공유결합하여 재구성 가능케하는 복함 모달리티 기반 미디어 응용 프레임워크 개발

Supported by : 정보통신기술진흥센터, 한국연구재단

References

  1. Yang, Changhua, et al., "Emotion classification using web blog corpora," IEEE/WIC/ACM International Conference on IEEE, pp. 275-278, 2007.
  2. Montejo-Raez, Arturo et al., "Ranked wordnet graph for sentiment polarity classification in twitter," Computer Speech&Language, Vol. 28, No. 1, pp. 93-107, 2014. https://doi.org/10.1016/j.csl.2013.04.001
  3. Tsai, Angela Charng-Rurng, et al., "Building a concept-level sentiment dictionary based on commonsense knowledge," IEEE Intelligent Systems, Vol. 28, No. 1, pp. 93-107, 2014.
  4. Saif Mohammad, et al., "NRC-Canada: Building the state-ofthe-art in sentiment analysis of tweets," SemEval-2013, pp. 321-327, 2013.
  5. Jaewon Hwang and Youngjoong Ko, "A Document Sentimet Classification System Based on the Feature Weighting Method Improved by Measuring Sentence Sentiment Intensity," Journal if KIISE : Software and applications, Vol. 36, No. 6, pp. 491-497, 2009. (In korean)
  6. Johnson, Rie,and Tong Zhang, "Supervised and Semi-Supervised Text Categorization using One-Hot LSTM for Region Embeddings," arXiv preprint arXiv:1602.02373, 2016.
  7. Tang,, Duyu, et al., "Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification," ACL 2014, pp. 1555-1565, 2014.
  8. Le, Quoc V and Tomas Mikolov, "Distributed Representations of Sentences and Documents," ICML 2014, Vol. 14, pp. 1188-1196, 2014.
  9. Graves, Alex, Greg Wayne, and Ivo Danihelka, "Neural Turing Machines," arXiv preprint arXiv:1410.5401, 2014.
  10. Dzmitry Bahdanau, KyungHyun Cho and Yoshua Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate," arXiv preprint arXiv:1409.0473, 2014.
  11. Nal Kalchbrenner, Edward Grefenstrette and Phil Blunsom, "A Convolutional Neural Network for Modelling Sentence," Proc. of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 655-665, 2014.
  12. Hochreiter, Sepp, and Jurgen Schmidhuber, "Long Short-Term Memory," Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997. https://doi.org/10.1162/neco.1997.9.8.1735
  13. Srivastava, Nitish, et al., "Dropout: a simple way to prevent neural networks from overfitting," Journal of Machine Learning Research, Vol. 15, No. 1, pp. 1929-1958, 2014.