The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Relationship between Result of Sentiment Analysis and User Satisfaction -The case of Korean Meteorological Administration-

감성분석 결과와 사용자 만족도와의 관계 -기상청 사례를 중심으로-

  • 김인겸 (국립기상과학원 연구기획운영과) ;
  • 김혜민 (국립기상과학원 연구기획운영과) ;
  • 임병환 (국립기상과학원 연구기획운영과) ;
  • 이기광 (단국대학교 경영학과)
  • Received : 2016.07.08
  • Accepted : 2016.08.22
  • Published : 2016.10.28
Download PDF
⟨ Previous Next ⟩

Abstract

To compensate for limited the satisfaction survey currently conducted by Korea Metrological Administration (KMA), a sentiment analysis via a social networking service (SNS) can be utilized. From 2011 to 2014, with the sentiment analysis, Twitter who had commented 'KMA' had collected, then, using $Na{\ddot{i}}ve$ Bayes classification, we were classified into three sentiments: positive, negative, and neutral sentiments. An additional dictionary was made with morphemes appeared only in the positive, negative, and neutral sentiments of basic $Na{\ddot{i}}ve$ Bayes classification, thus the accuracy of sentiment analysis was improved. As a result, when sentiments were classified with a basic $Na{\ddot{i}}ve$ Bayes classification, the training data were reproduced about 75% accuracy rate. Whereas, when classifying with the additional dictionary, it showed 97% accuracy rate. When using the additional dictionary, sentiments of verification data was classified with about 75% accuracy rate. Lower classification accuracy rate would be improved by not only a qualified dictionary that has increased amount of training data, including diverse keywords related to weather, but continuous update of the dictionary. Meanwhile, contrary to the sentiment analysis based on dictionary definition of individual vocabulary, if sentiments are classified into meaning of sentence, increased rate of negative sentiment and change in satisfaction could be explained. Therefore, the sentiment analysis via SNS would be considered as useful tool for complementing surveys in the future.

기상청에서 현재 시행되고 있는 만족도 설문조사의 한계를 보완하기 위해 SNS를 통한 감성분석이 활용될 수 있다. 감성분석은 2011~2014년 동안 '기상청'을 언급한 트위터를 수집하여 나이브 베이즈 방법으로 긍정, 부정, 중립 감성을 분류하였다. 기본적인 나이브 베이즈 방법에 긍정, 부정, 중립의 각 감성에서만 출현한 형태소들로 추가사전을 만들어 감성분석의 정확도를 향상시키는 방법을 제안하였다. 분석결과 기본적인 나이브 베이즈 방법으로 감성을 분류할 경우 약 75%의 정확도로 학습데이터를 재현한데 반해 추가 사전을 적용할 경우 약 97%의 정확성을 보였다. 추가사전을 활용하여 검증자료의 감성을 분류한 결과 약 75%의 분류 정확도를 보였다. 낮은 분류 정확도는 향후 기상 관련의 다양한 키워드를 포함시켜 학습데이터 양을 늘려 감성사전의 질을 높임과 동시에 상시적인 사전의 업데이트를 통해 개선될 수 있을 것이다. 한편, 개별 어휘의 사전적 의미에 기반한 감성분석과 달리 문장의 의미에 기반하여 감성을 분류할 경우 부정적 감성 비율의 증가와 만족도 변화 추이를 설명할 수 있을 것으로 보여 향후 설문조사를 보완할 수 있는 좋은 수단으로 SNS를 통한 감성분석이 활용될 수 있을 것으로 사료된다.

Keywords

References

  1. A. Silver and C. Conrad, "Public perception of and response to severe weather warning in Nova Scotia, Canada," Meteorological Applications, Vol.17, pp.173-179, 2010. https://doi.org/10.1002/met.198
  2. D. Demeritt, S. Nobert, H. Cloke, and F. Pappenberger, "The European Flood Alert System and the communication, perception, and use of ensemble predictions for operational flood risk management," Hydrological Precesses, Vol.27, pp.147-157, 2013. https://doi.org/10.1002/hyp.9419
  3. H. Stephanine, B. Rachel, K. Kim, Dr. B. Jerry, and E. Somer, "A Preliminary Look at the Social Perspective of Warn-on-Forecast: Preferred Tornado Warning Lead Time and the general Public's Perceptions of Weather Risks," weather, climate, and society, Vol.3, pp.128-140, 2011. https://doi.org/10.1175/2011WCAS1076.1
  4. J. Demuth, J. Lazo, and R. Morss, "Exploring Variations in Perple's Sources, Uses, and Perceptions of Weather Forecasts," Weather, Climate, and Society, Vol.3, pp.177-192, 2011. https://doi.org/10.1175/2011WCAS1061.1
  5. R. Morss, J. Demuth, and J. Lazo, "Communicating Uncertainty in Weather Forecasts: A Survey of the U.S. Public," Weather and Forecasting, Vol.23, pp.974-991, 2008. https://doi.org/10.1175/2008WAF2007088.1
  6. S. Joslyn and S. Savelli, "Communicating forecast uncertainty: public perception of weather forecast uncertainty," Meteorological Applications, Vol.17, pp.180-195, 2010. https://doi.org/10.1002/met.190
  7. S. Savelli and S. Joslyn, "Boater Safety: Communicating Weather Forecast Information to High-Stakes End Users," Weather, Climate, and Society, Vol.4, pp.7-19, 2012. https://doi.org/10.1175/WCAS-D-11-00025.1
  8. T. Kox, L. Gerhold, and U. Ulbrich, "Perception and use of uncertainty in severe weather warnings by emergency services in Germany," Atmospheric Research, Vol.158-159, pp.292-301, 2015. https://doi.org/10.1016/j.atmosres.2014.02.024
  9. 기상청, 2015년도 기상업무 국민 만족도 조사 결과보고서, 2015.
  10. 김인겸, 정지훈, 김정윤, 신진호, 김백조, 이기광, "기상예보 정보 사용자 그룹의 만족가치 제고 방안: 강수예보를 중심으로," 한국콘텐츠학회논문지, 제13권, 제11호, pp.382-395, 2013. https://doi.org/10.5392/JKCA.2013.13.11.382
  11. 기상청, "기상현상과 소셜 데이터 연관성 분석을 위한 기반 연구," 2014.
  12. S. Kiritchenko, X. Zhu, and S. Mohammad, "Sentiment Analysis of Short Informal Texts," Journal of Artificial Intelligence Research, Vol.50, pp.723-762, 2014.
  13. H. Tang, S. Tan, and X. Cheng, "A survey on sentiment detection of reviews," Expert Systems with Applications, Vol.36, pp.10760-10773, 2009. https://doi.org/10.1016/j.eswa.2009.02.063
  14. 장재영, "온라인 쇼핑몰의 상품평 자동분류를 위한 감성분석 알고리즘," 한국전자거래학회지, 제14권, 제4호, pp.19-33, 2009.
  15. 이상훈, 최정, 김종우, "영역별 맞춤형 감성사전 구축을 통한 영화리뷰 감성분석," 지능정보연구, 제22권, 제2호, pp.97-113, 2016. https://doi.org/10.13088/JIIS.2016.22.2.097
  16. 김도연, 오영, 박혁로, "감성 강도를 고려한 감성 분석 평가집합 구축," 한국콘텐츠학회논문지, 제12권, 제11호, pp.30-38, 2012. https://doi.org/10.5392/JKCA.2012.12.11.030
  17. 김유신, 김남규, 정승렬, "뉴스와 주가: 빅데이터 감성분석을 통한 지능형 투자의사결정모형," 지능정보연구, 제18권, 제2호, pp.143-156, 2012. https://doi.org/10.13088/JIIS.2012.18.2.143
  18. 정지선, 김동성, 김종우, "온라인 언급이 기업 성과에 미치는 영향 분석: 뉴스 감성분석을 통한 기업별 주가 예측," 지능정보연구, 제21권, 제4호, pp.37-51, 2015. https://doi.org/10.13088/JIIS.2015.21.4.037
  19. A. Go, R. Bhayani, and L. Huang, Twitter sentiment classification using distant supervision, Technical report, Stanford, 2009.
  20. A. Pak and P. Paroubek, "Twitter as a corpus for sentiment analysis and opinion mining," Poreceedings of LREC, 2010.
  21. B. O'Connor, R. Balasubramanyan, B. Routledge, and N. Smith, "From Tweets to Polls: Linking Text Sentiment to Public Opinion Time Series," in Proceeding of the Fourth international AAAI Conference on Weblogs and Social Media Washington, DC, May23-26, pp.122-129, 2010.
  22. D. Kang and Y. Park, "Review-based measurement of customer satisfaction in mobile service: Sentiment analysis and VIKOR approach," Expert Systems with Applications, Vol.41, pp.1041-1050, 2014. https://doi.org/10.1016/j.eswa.2013.07.101
  23. 김장석, 진은미, 이샘, "20대 여성소비자의 화장품 용기디자인 선호도에 관한 연구-기초화장품을 중심으로," Journal of Integrated Design Research, 제14권, 제4호, pp.97-106, 2015.
  24. http://kldp.net/projects/hannanum/
  25. L. L. Dhande and G. K. Patnaik, "Analyzing Sentiment of Movie Review Data using Naive Bayes Neural Classifier," International Journal of Emerging Trends & Technology in Computer Science, Vol.3, pp.313-320, 2014.
  26. H. S. Kang, J. Yoo, and D. Han, "Senti-lexicon and improved Naive-bayes algorithms for sentiment analysis of restaurant reviews," Expert Systems with Applications, Vol.39, pp.6000-6010, 2012. https://doi.org/10.1016/j.eswa.2011.11.107
  27. E. Fersini, E. Messina, and F. A. Pozzi, "Sentiment analysis: Bayesian Ensemble Learning," Decision Support Systems, Vol.68, pp.26-38, 2014. https://doi.org/10.1016/j.dss.2014.10.004
  28. A. Onan, S. Korukoglu, and H. Bulut, "Ensemble of keyword extraction methods and classifiers in text classification," Expert Systems with Applications, Vol.57, pp.232-247, 2016. https://doi.org/10.1016/j.eswa.2016.03.045
  29. 기상청, "2011년도 기상업무 대국민 만족도 조사," 2011.