• Title/Summary/Keyword: 비정형분석

Search Result 484, Processing Time 0.032 seconds

Analysis of the Yearbook from the Korea Meteorological Administration using a text-mining agorithm (텍스트 마이닝 알고리즘을 이용한 기상청 기상연감 자료 분석)

  • Sun, Hyunseok;Lim, Changwon;Lee, YungSeop
    • The Korean Journal of Applied Statistics
    • /
    • v.30 no.4
    • /
    • pp.603-613
    • /
    • 2017
  • Many people have recently posted about personal interests on social media. The development of the Internet and computer technology has enabled the storage of digital forms of documents that has resulted in an explosion of the amount of textual data generated; subsequently there is an increased demand for technology to create valuable information from a large number of documents. A text mining technique is often used since text-based data is mostly composed of unstructured forms that are not suitable for the application of statistical analysis or data mining techniques. This study analyzed the Meteorological Yearbook data of the Korea Meteorological Administration (KMA) with a text mining technique. First, a term dictionary was constructed through preprocessing and a term-document matrix was generated. This term dictionary was then used to calculate the annual frequency of term, and observe the change in relative frequency for frequently appearing words. We also used regression analysis to identify terms with increasing and decreasing trends. We analyzed the trends in the Meteorological Yearbook of the KMA and analyzed trends of weather related news, weather status, and status of work trends that the KMA focused on. This study is to provide useful information that can help analyze and improve the meteorological services and reflect meteorological policy.

Development of CEP-based Real Time Analysis System Using Hospital ERP System (병원 ERP시스템을 적용한 CEP 기반 실시간 분석시스템 개발)

  • Kim, Mi-Jin;Yu, Yun-Sik;Seo, Young-Woo;Jang, Jong-Wook
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.05a
    • /
    • pp.290-293
    • /
    • 2015
  • 개개인의 데이터가 비즈니스적으로 중요하지 않을 수 있지만, 대량으로 모으면 그 안에 숨겨진 새로운 정보를 발견할 가능성이 있는 데이터의 집합체로 빅데이터 분석 활용 사례는 점차 늘어나는 추세이다. 빅데이터 분석 기술 중 전통적인 데이터 분석방법인 하둡(Hadoop)은 예전부터 현재에 이르기까지 정형 비정형 빅데이터 분석에 널리 사용되고 있는 기술이다. 하지만 하둡은 배치성 처리 시스템으로 데이터가 많아질수록 응답 지연이 발생할 가능성이 높아, 현재 기업 경영환경과 시장환경에 대한 엄청난 양의 고속 이벤트 데이터에 대한 실시간 분석이 어려운 상황이다. 본 논문에서는 급변하는 비즈니스 환경에 대한 대안으로 오픈소스 CEP(Complex Event Processing)기반 기술을 사용하여 초당 수백에서 수십만건 이상의 이벤트 스트림을 실시간으로 지연 없이 분석가능하게 하는 실시간 분석 시스템을 개발하여 병원 ERP시스템에 적용하였다.

  • PDF

Analysis of Factors Affecting Surge in Container Shipping Rates in the Era of Covid19 Using Text Analysis (코로나19 판데믹 이후 컨테이너선 운임 상승 요인분석: 텍스트 분석을 중심으로)

  • Rha, Jin Sung
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.27 no.1
    • /
    • pp.111-123
    • /
    • 2022
  • In the era of the Covid19, container shipping rates are surging up. Many studies have attempted to investigate the factors affecting a surge in container shipping rates. However, there is limited literature using text mining techniques for analyzing the underlying causes of the surge. This study aims to identify the factors behind the unprecedented surge in shipping rates using network text analysis and LDA topic modeling. For the analysis, we collected the data and keywords from articles in Lloyd's List during past two years(2020-2021). The results of the text analysis showed that the current surge is mainly due to "US-China trade war", "rising blanking sailings", "port congestion", "container shortage", and "unexpected events such as the Suez canal blockage".

Performance Evaluation of Steel Moment Frame and Connection including Inclined Column (경사기둥을 포함한 철골모멘트 골조 및 접합부의 성능평가)

  • Kim, Yong-Wan;Kim, Taejin;Kim, Jongho
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.26 no.3
    • /
    • pp.173-182
    • /
    • 2013
  • The building design projects which are being proceeded nowadays pursue a complex and various shape of structures, escaping from the traditional and regular shape of buildings. In this new trend of the architecture, there rises a demand of the research in the structural engineering for the effective realization of such complex-shaped buildings which disassembles the orthogonality of frames. As a distinguished characteristics of the buildings in a complex-shape, there frequently are inclined columns included in the structural frame. The inclined column causes extra axial force and bending moment at the beam-column connection so it is necessary to assess those effects on the structural behavior of the frame and the connection by experiment or analysis. However, with comparing to the studies on the normal beam-column connections, the inclined column connections have not been studied sufficiently. Therefore, this study evaluated the beam-column connections having an inclined column using nonlinear and finite element analysis method. In this paper, steel moment frames having inclined columns were analyzed by the nonlinear pushover analysis to check the global behavior and beam-column connection models were analyzed by the finite element analysis to check the buckling behavior and the fracture potentials.

Prediction of Onion Purchase Using Structured and Unstructured Big Data (정형 및 비정형 빅데이터를 이용한 양파 소비 예측)

  • Rah, HyungChul;Oh, Eunhwa;Yoo, Do-il;Cho, Wan-Sup;Nasridinov, Aziz;Park, Sungho;Cho, Youngbeen;Yoo, Kwan-Hee
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.11
    • /
    • pp.30-37
    • /
    • 2018
  • The social media data and the broadcasting data related to onion as well as agri-food consumer panel data were collected and investigated if the amount of money spent to purchase onion in year 2014 when onion price plunged latest were correlated with the frequencies of onion-related keywords in the social media data and the broadcasting programs because onion price in year 2018 is expected to plunge due to overproduction and there has been needs to analyze impacts of social media and broadcasting program on onion purchase in the previous similar events, and identify potential factors that can promote onion consumption in advance. What we identified from our study include a) broadcasting news programs mentioning words "onion," were correlated with onion purchase with 3 - 6 weeks in advance; b) broadcasting entertainment programs mentioning words "onion and health," were correlated with onion purchase with 11 weeks in advance; c) blog mentioning words "onion and efficacy," were correlated with onion purchase with 5 weeks in advance. Our study provided a case on how social media and broadcasting programs could be analyzed for their effects on consumer purchase behavior using big data collection and analysis in the field of agriculture. We propose to use the findings from the study may be applied to promote onion consumption.

Characteristics of Coal Ash Melting in Bench Scale Entrained Coal Gasifier (Bench Scale급 기류층 석탄가스화기에서 회분의 용융 특성)

  • 정봉진;이중용;이계봉;윤용승
    • Journal of Energy Engineering
    • /
    • v.8 no.1
    • /
    • pp.127-136
    • /
    • 1999
  • Bench Scale급 기류층 석탄가스화기에서 배출된 슬form의 특성을 파악하기 위해서 Drayton 석탄과 Kideco 석탄으로부터 생성된 슬래그의 조성, 형상, 잔존탄소함량 및 중금속 성분들을 분석하였다. Drayton 석탄 슬래그의 형상은 표면이 매끄럽고 단단하며 다공성을 띄면서 crack이 거의 없고 결정구조가 비정형인 반면에, Kideco석탄 슬래그의 경우는 표면이 거칠고 crack이 상당히 많이 존재하며 주결정상은 pyroxene과 anorthnite 등으로 이루어져있다. 슬래그의 재활용시 판단 기준이 되는 잔존탄소함량은 두 대상탄 모두 1% 이하를 나타내어 재활용이 가능하며, 슬래그의 용출수 분석결과 석탄중에 함유된 중금속은 슬래그중에 용융되어 안정한 화합물로 존재하므로 중금속 유출로 인한 2차적인 환경오염 문제는 없을 것으로 판단된다.

  • PDF

Automatic Generating Stopword Methods for Improving Topic Model (토픽모델의 성능 향상을 위한 불용어 자동 생성 기법)

  • Lee, Jung-Been;In, Hoh Peter
    • Annual Conference of KIPS
    • /
    • 2017.04a
    • /
    • pp.869-872
    • /
    • 2017
  • 정보검색(Information retrieval) 및 텍스트 분석을 위해 수집하는 비정형 데이터 즉, 자연어를 전처리하는 과정 중 하나인 불용어(Stopword) 제거는 모델의 품질을 높일 수 있는 쉽고, 효과적인 방법 중에 하나이다. 특히 다양한 텍스트 문서에 잠재된 주제를 추출하는 기법인 토픽모델링의 경우, 너무 오래되거나, 수집된 문서의 도메인이나 성격과 무관한 불용어의 제거로 인해, 해당 토픽 모델에서 학습되어 생성된 주제 관련 단어들의 일관성이 떨어지게 된다. 따라서 분석가가 분류된 주제를 올바르게 해석하는데 있어 많은 어려움이 따르게 된다. 본 논문에서는 이러한 문제점을 해결하기 위해 일반적으로 사용되는 표준 불용어 대신 관련 도메인 문서로부터 추출되는 점별 상호정보량(PMI: Pointwise Mutual Information)을 이용하여 불용어를 자동으로 생성해주는 기법을 제안한다. 생성된 불용어와 표준 불용어를 통해 토픽 모델의 품질을 혼잡도(Perplexity)로써 측정한 결과, 본 논문에서 제안한 기법으로 생성한 30개의 불용어가 421개의 표준 불용어보다 더 높은 모델 성능을 보였다.

A Study on the Process Analysis and Implementation of Knowledge Management System (지식관리시스템의 단계별 분석 및 구축방안에 관한 연구)

  • 김성희
    • Journal of the Korean Society for information Management
    • /
    • v.16 no.2
    • /
    • pp.165-182
    • /
    • 1999
  • Knowledge and Knowledge Management have emerged as a current 'hot issue' for many organizations. This paper starts by exploring the definition of knowledge and knowledge management. It then analyzes the process of knowledge management and suggests the recommendations for effective knowledge management. Finally, it considers the pahership for knowledge management, and especially how librarians as knowledge professionals, users, and technology experts can contribute to effective knowledge management. These suggestions of the study will be used to implement knowledge management system that can organize, transfer, and share explicit and implicit knowledge.

  • PDF

A study on Utilization of Big Data Based on the Personal Information Protection Act (개인정보보호법에 기반한 빅데이터 활용 방안 연구)

  • Kim, Byung-Chul
    • Journal of Digital Convergence
    • /
    • v.12 no.12
    • /
    • pp.87-92
    • /
    • 2014
  • We have noted a possibility of big data as a solution of social problem and pending issue. At the same time big data has a problem of privacy. Big data and privacy were in conflict. In this paper we pointed out that issue and propose a planning of big data based on privacy using case study of advanced country.

A Study on the Application of Text Mining for Corporate Application form (기업 자기소개서 대상 텍스트 마이닝 적용 연구)

  • Kim, Kyoung-Sik;Kim, Seong-Bo;Kim, Ung-mo
    • Annual Conference of KIPS
    • /
    • 2017.11a
    • /
    • pp.668-670
    • /
    • 2017
  • 최근 우리 나라 청년실업률의 증가와 함께 기업에서는 좋은 인재를 뽑기 위하여 정형화된 자격증보다는 지원자의 경험과 역량을 보기 위한 자기소개서에 대한 중요성이 커지고 있다. 그리하여 비정형 데이터를 분석하는 대표적인 방법인 텍스트 마이닝 기법을 이용하여 취업 커뮤니티에 올라 온 합격한 삼성, 현대자동차, LG 자기소개서 데이터를 얻어내고 그 후 KONLPY 패키지를 통하여 형태소 분석을 실시한다. 합격자소서에 자주 나온 단어의 순위를 매기고 공통적으로 많이 들어간 단어와 각 대기업 별 차이가 나는 단어를 회사의 인재상과 비교해본다. 그리고 취업 준비생들에게 효율적인 방법을 통해 자기소개서를 작성하여 합격률을 높이는 방향으로 사용한다.