• 제목/요약/키워드: Text Data Analysis

검색결과 1,523건 처리시간 0.03초

오피니언 분류의 감성사전 활용효과에 대한 연구 (A Study on the Effect of Using Sentiment Lexicon in Opinion Classification)

  • 김승우;김남규
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.133-148
    • /
    • 2014
  • 최근 다양한 정보채널들의 등장으로 인해 빅데이터에 대한 관심이 높아지고 있다. 이와 같은 현상의 가장 큰 원인은, 스마트기기의 사용이 활성화 됨에 따라 사용자가 생성하는 텍스트, 사진, 동영상과 같은 비정형 데이터의 양이 크게 증가하고 있는 것에서 찾을 수 있다. 특히 비정형 데이터 중에서도 텍스트 데이터의 경우, 사용자들의 의견 및 다양한 정보를 명확하게 표현하고 있다는 특징이 있다. 따라서 이러한 텍스트에 대한 분석을 통해 새로운 가치를 창출하고자 하는 시도가 활발히 이루어지고 있다. 텍스트 분석을 위해 필요한 기술은 대표적으로 텍스트 마이닝과 오피니언 마이닝이 있다. 텍스트 마이닝과 오피니언 마이닝은 모두 텍스트 데이터를 입력 데이터로 사용할 뿐 아니라 파싱, 필터링 등 자연어 처리기술을 사용한다는 측면에서 많은 공통점을 갖고 있다. 특히 문서의 분류 및 예측에 있어서 목적 변수가 긍정 또는 부정의 감성을 나타내는 경우에는, 전통적 텍스트 마이닝, 또는 감성사전 기반의 오피니언 마이닝의 두 가지 방법론에 의해 오피니언 분류를 수행할 수 있다. 따라서 텍스트 마이닝과 오피니언 마이닝의 특징을 구분하는 가장 명확한 기준은 입력 데이터의 형태, 분석의 목적, 분석의 결과물이 아닌 감성사전의 사용 여부라고 할 수 있다. 따라서 본 연구에서는 오피니언 분류라는 동일한 목적에 대해 텍스트 마이닝과 오피니언 마이닝을 각각 사용하여 예측 모델을 수립하는 과정을 비교하고, 결과로 도출된 모델의 예측 정확도를 비교하였다. 오피니언 분류 실험을 위해 영화 리뷰 2,000건에 대한 실험을 수행하였으며, 실험 결과 오피니언 마이닝을 통해 수립된 모델이 텍스트 마이닝 모델에 비해 전체 구간의 예측 정확도 평균이 높게 나타나고, 예측의 확실성이 강한 문서일수록 예측 정확성이 높게 나타나는 일관적인 성향을 나타내는 등 더욱 바람직한 특성을 보였다.

Is Text Mining on Trade Claim Studies Applicable? Focused on Chinese Cases of Arbitration and Litigation Applying the CISG

  • Yu, Cheon;Choi, DongOh;Hwang, Yun-Seop
    • Journal of Korea Trade
    • /
    • 제24권8호
    • /
    • pp.171-188
    • /
    • 2020
  • Purpose - This is an exploratory study that aims to apply text mining techniques, which computationally extracts words from the large-scale text data, to legal documents to quantify trade claim contents and enables statistical analysis. Design/methodology - This is designed to verify the validity of the application of text mining techniques as a quantitative methodology for trade claim studies, that have relied mainly on a qualitative approach. The subjects are 81 cases of arbitration and court judgments from China published on the website of the UNCITRAL where the CISG was applied. Validation is performed by comparing the manually analyzed result with the automatically analyzed result. The manual analysis result is the cluster analysis wherein the researcher reads and codes the case. The automatic analysis result is an analysis applying text mining techniques to the result of the cluster analysis. Topic modeling and semantic network analysis are applied for the statistical approach. Findings - Results show that the results of cluster analysis and text mining results are consistent with each other and the internal validity is confirmed. And the degree centrality of words that play a key role in the topic is high as the between centrality of words that are useful for grasping the topic and the eigenvector centrality of the important words in the topic is high. This indicates that text mining techniques can be applied to research on content analysis of trade claims for statistical analysis. Originality/value - Firstly, the validity of the text mining technique in the study of trade claim cases is confirmed. Prior studies on trade claims have relied on traditional approach. Secondly, this study has an originality in that it is an attempt to quantitatively study the trade claim cases, whereas prior trade claim cases were mainly studied via qualitative methods. Lastly, this study shows that the use of the text mining can lower the barrier for acquiring information from a large amount of digitalized text.

스마트제조를 위한 머신러닝 기반의 설비 오류 발생 패턴 도출 프레임워크 (A Machine Learning Based Facility Error Pattern Extraction Framework for Smart Manufacturing)

  • 윤준서;안현태;최예림
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.97-110
    • /
    • 2018
  • 4차 산업혁명 시대를 맞아, 제조 기업들은 생산성 향상을 위해 축적된 설비 데이터를 활용하여 스마트제조를 실현하는 것에 높은 관심을 두고 있다. 하지만 기존의 설비 데이터 분석 연구들은 주로 센서 데이터 등 정형 데이터를 대상으로 하여, 실제 큰 비중을 차지하고 있는 텍스트와 같은 비정형 데이터에 대한 분석 연구는 부족한 실정이다. 특히, 작업자가 수기로 작성한 텍스트 데이터를 활용한 사례는 매우 적었다. 따라서 본 논문에서는 작업자가 수기로 작성한 설비 오류 데이터를 분석하여 연관 규칙 마이닝을 통해 설비 오류 발생 패턴을 도출하는 프레임워크를 제안하고자 한다. 이때, 일반적인 텍스트 분석 기법과 같이 단어를 분석 기준으로 사용하는 경우 전문 용어에 해당하는 설비 오류의 의미를 표현하는 데에 한계가 있다는 점에 착안하여 구절을 추출하여 텍스트 분석 기준으로 사용하였다. 제안하는 프레임워크의 성능을 실제 사례를 통해 검증하였으며, 본 연구 결과를 활용하면 설비 오류를 예방하여 가동률을 높이고 나아가 제조 기업의 생산성 향상에 기여할 수 있을 것으로 기대한다.

Understanding the Food Hygiene of Cruise through the Big Data Analytics using the Web Crawling and Text Mining

  • Shuting, Tao;Kang, Byongnam;Kim, Hak-Seon
    • 한국조리학회지
    • /
    • 제24권2호
    • /
    • pp.34-43
    • /
    • 2018
  • The objective of this study was to acquire a general and text-based awareness and recognition of cruise food hygiene through big data analytics. For the purpose, this study collected data with conducting the keyword "food hygiene, cruise" on the web pages and news on Google, during October 1st, 2015 to October 1st, 2017 (two years). The data collection was processed by SCTM which is a data collecting and processing program and eventually, 899 kb, approximately 20,000 words were collected. For the data analysis, UCINET 6.0 packaged with visualization tool-Netdraw was utilized. As a result of the data analysis, the words such as jobs, news, showed the high frequency while the results of centrality (Freeman's degree centrality and Eigenvector centrality) and proximity indicated the distinct rank with the frequency. Meanwhile, as for the result of CONCOR analysis, 4 segmentations were created as "food hygiene group", "person group", "location related group" and "brand group". The diagnosis of this study for the food hygiene in cruise industry through big data is expected to provide instrumental implications both for academia research and empirical application.

빅데이터 기반 시민의견 모니터링 방안 연구 : "경기지역화폐"를 중심으로 (A Study on Monitoring Method of Citizen Opinion based on Big Data : Focused on Gyeonggi Lacal Currency (Gyeonggi Money))

  • 안순재;이새미;유승의
    • 디지털융복합연구
    • /
    • 제18권7호
    • /
    • pp.93-99
    • /
    • 2020
  • 본 연구에서는 비정형적인 대용량의 텍스트 자료로부터 유의미한 정보를 추출하는 빅데이터 분석방법 중 텍스트 마이닝을 이용하여 시행 중인 정책과 제도에 대한 시민의견을 모니터링 할 수 있는지 확인하였다. '경기지역화폐'와 관련된 5,108건의 신문기사와 748건의 온라인 카페글을 수집하여 빈도분석, TF-IDF분석, 연관분석, 워드트리 시각화 분석을 수행하였다. 그 결과로 기사에서는 지역화폐의 도입 목적, 제공되는 혜택, 사용방법에 관련된 내용이 많았고 카페글에서는 지역화폐의 실사용과 관련된 내용 위주로 작성이 되어있음을 확인하였다. 또한 지역화폐 활성화를 위해서 뉴스는 정보전달자로서 지역화폐의 홍보에 관여하고 있었고 카페글은 지역화폐 사용자인 시민들의 의견으로 이루어져 사용과 관련된 실제적인 정보 교환의 장으로 기능하고 있었다. 지역화폐뿐만 아니라 다양한 정책과 제도에 관해서도 SNS와 텍스트 마이닝을 통해 시민들의 의견을 수렴하여 효과적으로 활성화시킬 수 있을 것으로 보인다.

해안해양공학 연구 분야의 SCOPUS 서지정보 Text Mining 분석 (Text Mining Analysis on the Research Field of the Coastal and Ocean Engineering Based on the SCOPUS Bibliographic Information)

  • 이기섭;조홍연;한재림
    • 한국해안·해양공학회논문집
    • /
    • 제30권1호
    • /
    • pp.19-28
    • /
    • 2018
  • 서지정보학의 발달 및 전산화로 방대한 양의 연구논문들이 축적되고 있다. 이에 따라 전 세계에서 출판되는 관련 분야 논문들을 모두 검토하기는 실질적으로 어려워졌으며, 연구방향을 잡고 추진하는 것도 어려워졌다. 그러나 자연어 처리기법의 발달로 인해 출판된 연구논문들의 경향 분석이 수월해졌다. 여기서는 해안 해양공학 분야의 SCOPUS DB(Data Base) 서지정보 텍스트 마이닝(Text Mining) 분석을 R언어를 이용하여 수행했다. 분석 결과, 예상한 바와 같이 'wave' 용어가 압도적으로 우세하였으며, 'numerical model', 'numerical simulation' 및 experimental study' 용어로부터 여전히 수치해석 및 수리실험의 우세가 확인되었다. 또한 최근 해양에너지와 관련되는 'wave energy' 용어 사용이 부각되고 있는 것으로 파악되었다. 한편, 해안 해양공학 분야의 연구주제 용어의 빈도와 연결 관계는 'wave -> height, energy' 우세를 정량적으로 확인할 수 있었으며, 향후 세부분야 및 시기별 고해상도 분석 가능성을 제시하였다.

섬유소재 분야 특허 기술 동향 분석: DETM & STM 텍스트마이닝 방법론 활용 (Research of Patent Technology Trends in Textile Materials: Text Mining Methodology Using DETM & STM)

  • 이현상;조보근;오세환;하성호
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제30권3호
    • /
    • pp.201-216
    • /
    • 2021
  • Purpose The purpose of this study is to analyze the trend of patent technology in textile materials using text mining methodology based on Dynamic Embedded Topic Model and Structural Topic Model. It is expected that this study will have positive impact on revitalizing and developing textile materials industry as finding out technology trends. Design/methodology/approach The data used in this study is 866 domestic patent text data in textile material from 1974 to 2020. In order to analyze technology trends from various aspect, Dynamic Embedded Topic Model and Structural Topic Model mechanism were used. The word embedding technique used in DETM is the GloVe technique. For Stable learning of topic modeling, amortized variational inference was performed based on the Recurrent Neural Network. Findings As a result of this analysis, it was found that 'manufacture' topics had the largest share among the six topics. Keyword trend analysis found the fact that natural and nanotechnology have recently been attracting attention. The metadata analysis results showed that manufacture technologies could have a high probability of patent registration in entire time series, but the analysis results in recent years showed that the trend of elasticity and safety technology is increasing.

팬데믹 시기의 패션 테크놀로지에 관한 시각 - 텍스트 마이닝과 내용 분석을 중심으로 - (Perspectives on Fashion Technology during the Pandemic Era - A Mixed Methods Approach Using Text Mining and Content Analysis -)

  • 김미경;임은혁
    • 한국의류산업학회지
    • /
    • 제24권5호
    • /
    • pp.545-556
    • /
    • 2022
  • To overcome the pandemic, a new strategy for innovation is in demand throughout the value chains of the fashion industry that emphasize the importance of fashion technology. Accordingly, as various viewpoints and fields of debate are unfolding to consider the direction of change led by fashion technology, it is necessary to make an active value judgment precedent by understanding the differences between various opinions. This study aims to derive keywords from fashion technology used during the pandemic, to infer the characteristics of each type of perspective and to understand their characteristics. For the research, this study combines text mining analysis and content analysis. Text mining analysis is used to find statistical patterns by collecting keywords from big data from online media, and content analysis is used to interpret the data qualitatively. After analyzing the results of this study, the following observations are made. First, the perspective of positive acceptance seeks to maximize the perception and sensory action of fashion through technology; this amplifies experience, an opportunity for innovation and efficiency. Second, critical vigilance highlights the side effects of radical changes in fashion technology, characterized by concerns about capital-centered polarization, threats to human rights, and infringement of creative thinking. Lastly, the perspective of gradual adoption is the gradual convergence of technologies, characterized by the pursuit of an appropriate balance.

고객의 소리(VOC) 데이터를 활용한 서비스 처리 시간 예측방법 (A Method of Predicting Service Time Based on Voice of Customer Data)

  • 김정훈;권오병
    • 한국IT서비스학회지
    • /
    • 제15권1호
    • /
    • pp.197-210
    • /
    • 2016
  • With the advent of text analytics, VOC (Voice of Customer) data become an important resource which provides the managers and marketing practitioners with consumer's veiled opinion and requirements. In other words, making relevant use of VOC data potentially improves the customer responsiveness and satisfaction, each of which eventually improves business performance. However, unstructured data set such as customers' complaints in VOC data have seldom used in marketing practices such as predicting service time as an index of service quality. Because the VOC data which contains unstructured data is too complicated form. Also that needs convert unstructured data from structure data which difficult process. Hence, this study aims to propose a prediction model to improve the estimation accuracy of the level of customer satisfaction by combining unstructured from textmining with structured data features in VOC. Also the relationship between the unstructured, structured data and service processing time through the regression analysis. Text mining techniques, sentiment analysis, keyword extraction, classification algorithms, decision tree and multiple regression are considered and compared. For the experiment, we used actual VOC data in a company.

텍스트 마이닝 기법을 활용한 인공지능과 헬스케어 융·복합 분야 연구동향 분석 (Research Trend Analysis by using Text-Mining Techniques on the Convergence Studies of AI and Healthcare Technologies)

  • 윤지은;서창진
    • 한국IT서비스학회지
    • /
    • 제18권2호
    • /
    • pp.123-141
    • /
    • 2019
  • The goal of this study is to review the major research trend on the convergence studies of AI and healthcare technologies. For the study, 15,260 English articles on AI and healthcare related topics were collected from Scopus for 55 years from 1963, and text mining techniques were conducted. As a result, seven key research topics were defined : "AI for Clinical Decision Support System (CDSS)", "AI for Medical Image", "Internet of Healthcare Things (IoHT)", "Big Data Analytics in Healthcare", "Medical Robotics", "Blockchain in Healthcare", and "Evidence Based Medicine (EBM)". The result of this study can be utilized to set up and develop the appropriate healthcare R&D strategies for the researchers and government. In this study, text mining techniques such as Text Analysis, Frequency Analysis, Topic Modeling on LDA (Latent Dirichlet Allocation), Word Cloud, and Ego Network Analysis were conducted.