• Title/Summary/Keyword: 비정형데이터분석

Search Result 405, Processing Time 0.032 seconds

Sentimental Analysis using the Phoneme-level Embedding Model (음소 단위 임베딩 모형을 이용한 감성 분석)

  • Hyun, Kyeongseok;Choi, Woosung;Jung, Soon-young;Chung, Jaehwa
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.1030-1032
    • /
    • 2019
  • 형태소 분석을 통하여 한국어 문장을 형태소 단위의 임베딩 및 학습 관련 연구가 되었으나 최근 비정형적인 텍스트 데이터의 증가에 따라 음소 단위의 임베딩을 통한 신경망 학습에 대한 요구가 높아지고 있다. 본 논문은 비정형적인 텍스트 감성 분석 성능 향상을 위해 음소 단위의 토큰을 생성하고 이를 CNN 모형을 기반으로 다차원 임베딩을 수행하고 감성분석을 위하여 양방향 순환신경망 모델을 사용하여 유튜브의 비정형 텍스트를 학습시켰다. 그 결과 텍스트의 긍정 부정 판별에 있어 90%의 정확도를 보였다.

Study on the Methodology for Extracting Information from SNS Using a Sentiment Analysis (SNS 감성분석을 이용한 정보 추출 방법론에 관한 연구)

  • Hong, Doopyo;Jeong, Harim;Park, Sangmin;Han, Eum;Kim, Honghoi;Yun, Ilsoo
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.16 no.6
    • /
    • pp.141-155
    • /
    • 2017
  • As the use of SNS becomes more active, many people are posting their thoughts about specific events in their SNS in the form of text. As a result, SNS is used in various fields such as finance and distribution to conduct service satisfaction surveys and consumer monitoring. However, in the transportation area, there are not enough cases to utilize unstructured data analysis such as emotional analysis. In this study, we developed an emotional analysis methodology that can be used in transportation by using highway VOC data, which is atypical data collected by Korea Expressway Corporation. The developed methodology consists of morpheme analysis, emotional dictionary construction, and emotional discrimination of the collected unstructured data. The developed methodology was verified using highway related tweet data. As a result of the analysis, it can be guessed that many information and information about the construction and the accident were related to the highway during the analysis period. Also, it seems that users complain about the delay caused by construction and accident.

Korean Multiple Sensibility Analysis Technique of SNS Unstructured Data (SNS 비정형 데이터의 한국어 다중감성 분석 기법)

  • Kim, So-Yeon;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2018.08a
    • /
    • pp.147-149
    • /
    • 2018
  • 음성인식, 행동패턴인식, 텍스트마이닝 등 사람의 자연스러운 사회적인 활동을 통해 감성을 분석하려는 연구는 지속적으로 증가하고 있다. 특히 SNS는 현대사회에서 없어서는 안 될 소통의 도구로 자리 잡았기 때문에 SNS의 비정형데이터를 이용한 감성분석은 마케팅 분야에서 중요한 활용도구로 사용되고 있다. 이러한 추세에 따라 한국어에 대한 감성인식 역시 다방면으로 분석, 활용되고 있고 한국어의 어순과 표현방식, 중의성, 방언 등의 몇 가지 특징으로 인해 영어와는 다른 방식으로의 접근방식에 대한 필요성이 많은 연구에서 논의되고 있다. 따라서, 이 연구에서는 이러한 한국어의 특징을 수용하여 분석할 수 있도록 시계열 분석에 유용한 LSTM과 중복단어에 대한 가중치를 적용하여 한국어 감성분석을 진행해보고자 한다.

  • PDF

A Study on the Problem Analysis and Quality Improvement in Fabricating Free-Form Buildings Facade Panels through Mock-up Panels Production (Mock-up 부재제작을 통한 비정형 건축 외장부재의 제작 문제점 분석 및 개선방안에 관한 연구)

  • Kwen, Soon-Ho;Shim, Hyoun-Woo;Ock, Jong-Ho
    • Korean Journal of Construction Engineering and Management
    • /
    • v.12 no.3
    • /
    • pp.11-21
    • /
    • 2011
  • The most critical issue in free-form buildings is how to construct the free-formed exterior facade panels. Their geometric complexity delivers many cons and problems in fabricating and constructing their shapes. To construct a free-form building, first of all, its skin has to be chopped into small pieces, which is called panelization. After panelization, the panels go through an optimization process to construct them economically. The panel's geometries are modified or regenerated through this optimization process. In this study, the panel optimization process of free-form buildings are performed through a case study. The panel shapes of the case study are modeled with Digital Project. To test the constructability of the various panels, 8 mock-up panels are made and laser scanning technology is applied to measure the preciseness of the panels manufactured in comparison with their original design.

Technology of Distributed Stream Computing (분산 스트림 컴퓨팅 기술 동향)

  • Lee, M.Y.
    • Electronics and Telecommunications Trends
    • /
    • v.26 no.1
    • /
    • pp.80-88
    • /
    • 2011
  • 데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

  • PDF

A Study on Patent Data Analysis and Competitive Advantage Strategy using TF-IDF and Network Analysis (TF-IDF와 네트워크분석을 이용한 특허 데이터 분석과 경쟁우위 전략수립에 관한 연구)

  • Yun, Seok-Yong;Han, Kyeong-Seok
    • Journal of Digital Contents Society
    • /
    • v.19 no.3
    • /
    • pp.529-535
    • /
    • 2018
  • Data is explosively growing, but many companies are still using data analysis only for descriptive analysis or diagnostic analysis, and not appropriately for predictive analysis or enterprise technology strategy analysis. In this study, we analyze the structured & unstructured patent data such as IPC code, inventor, filing date and so on by using big data analysis techniques such as network analysis and TF-IDF. Through this analysis, we propose analysis process to understand the core technology and technology distribution of competitors and prove it through data analysis.

A Insight Study on Keyword of 4th Industrial Revolution Utilizing Big Data (빅데이터 분석을 활용한 4차 산업혁명 키워드에 대한 통찰)

  • Nam, Soo-Tai;Jin, Chan-Yong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.05a
    • /
    • pp.153-155
    • /
    • 2017
  • 빅데이터 분석은 데이터베이스에 잘 정리된 정형 데이터뿐 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 생성되는 웹 문서, 이메일, 소셜 데이터 등 비정형 데이터를 효과적으로 분석하는 기술을 말한다. 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 글로벌 리서치 기관들은 빅데이터를 2011년 이래로 최근 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅데이터의 적용을 통해 가치 창출을 위한 노력을 기하고 있다. 본 연구에서는 다음 커뮤니케이션의 빅데이터 분석도구인 소셜 매트릭스를 활용하여 2017년 5월, 1개월 시점을 설정하고 "4차 산업혁명" 키워드에 대한 소비자들의 인식들을 살펴보았다. 빅데이터 분석의 결과는 다음과 같다. 첫째, 4차 산업혁명 키워드에 대한 연관 검색어 1위는 "후보"가 빈도수(7,613)인 것으로 나타났다. 둘째, 연관 검색어 2위는 "안철수"가 빈도수(7,297), 3위는 "문재인"이 빈도수(5,183)로 각각 나타났다. 다음으로 "4차 산업혁명" 키워드에 대한 검색어 긍정적 여론 빈도수 1위는 새로운(895)으로 나타났고, 부정적 여론 빈도수 1위는 위기(516)가 차지하였다. 이러한 결과 분석결과를 바탕으로 연구의 한계와 시사점을 제시하고자 한다.

  • PDF

Unstructured Data Processing Using Keyword-Based Topic-Oriented Analysis (키워드 기반 주제중심 분석을 이용한 비정형데이터 처리)

  • Ko, Myung-Sook
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.6 no.11
    • /
    • pp.521-526
    • /
    • 2017
  • Data format of Big data is diverse and vast, and its generation speed is very fast, requiring new management and analysis methods, not traditional data processing methods. Textual mining techniques can be used to extract useful information from unstructured text written in human language in online documents on social networks. Identifying trends in the message of politics, economy, and culture left behind in social media is a factor in understanding what topics they are interested in. In this study, text mining was performed on online news related to a given keyword using topic - oriented analysis technique. We use Latent Dirichiet Allocation (LDA) to extract information from web documents and analyze which subjects are interested in a given keyword, and which topics are related to which core values are related.

Development of flash flood guidance system for rural area based on deep learning (딥러닝 기반 농촌유역 돌발홍수 예경보 시스템 개발)

  • Ryu, Jeong Hoon;Kang, Moon Seong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.309-309
    • /
    • 2018
  • 기후변화에 따른 강우의 규모와 발생빈도 증가로 농촌유역의 홍수 피해는 지속적으로 증가하고 있다. 하지만 우리나라의 홍수 피해 저감 대책은 도시지역의 대하천 주변으로 집중되어있으며, 소하천 및 농촌유역의 홍수 피해 저감에 대한 관리와 투자 노력은 부족한 실정이다. 특히, 최근 들어 갑작스런 집중호우 등으로 인한 농촌유역 돌발홍수 피해 사례가 증가하고 있으며, 이에 대응하기 위해서는 홍수 발생 등을 신속하게 파악하기 위한 돌발홍수 예경보 시스템 개발이 필요하다. 한편, 최근 산업의 혁신과 생산성 향상을 위한 새로운 패러다임으로 4차 산업혁명이 대두되고 있으며, 빅데이터와 인공지능 (Artificial Intelligence, AI)을 비롯하여 사물인터넷 (Internet of Things, IoT), 드론, 슈퍼컴퓨팅 등의 이른바 4차 산업혁명 기술을 활용한 연구가 수행되고 있다. 본 연구에서는 기후변화에 따른 농촌유역 홍수 피해를 저감하고 또한 사전에 대비하기 위해 빅데이터와 인공지능 등 4차 산업혁명 기술을 적용한 농촌유역 돌발홍수 예경보 시스템을 개발하고 그 적용성을 평가하고자 한다. 우선, 농촌유역의 홍수와 관련된 빅데이터 (기상 자료, 수문 자료, 기후변화 자료, 농업용 수리구조물 자료 등)를 토대로 정형 빅데이터와 비정형 빅데이터를 구분 추출하고 이를 연계 해석할 수 있는 시스템을 개발하였다. 추출한 정형 및 비정형 빅데이터를 활용하여 딥러닝을 기반으로 농촌유역의 홍수를 예측하고 홍수 예경보 기준에 따른 평가를 수행할 수 있는 시스템을 개발하였다. 과거 강우사상을 홍수 예경보 시스템에 적용하여 홍수 모의 결과를 도출하였으며, 재해연보 등과 비교 분석하여 시스템의 적용성을 분석하였다.

  • PDF

Identify the Failure Mode of Weapon System (or equipment) using Machine Learning (Machine Learning을 이용한 무기 체계(or 구성품) 고장 유형 식별)

  • Park, Yun-Kyung;Lee, Hye-Won;Kim, Sang-Moon
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.19 no.8
    • /
    • pp.64-70
    • /
    • 2018
  • The development of weapon systems (or components) is hindered by the number of tests due to the limited development period and cost, which reduces the scale of accumulated data related to failures. Nevertheless, because a large amount of failure data and maintenance details during the operational period are managed by computerized data, the cause of failure of weapon systems (or components) can be analyzed using the data. On the other hand, analyzing the failure and maintenance details of various weapon systems is difficult because of the variation among groups and companies, and details of the cause of failure are described as unstructured text data. Fortunately, the recent developments of big data processing technology, machine learning algorithm, and improved HW computation ability have supported major research into various methods for processing the above unstructured data. In this paper, unstructured data related to the failure / maintenance of defense weapon systems (or components) is presented by applying doc2vec, a machine learning technique, to analyze the failure cases.