• Title/Summary/Keyword: 비정형분석

Search Result 484, Processing Time 0.028 seconds

Prepare a plan to utilize data collected through field demonstration of multi-sensing devices to improve urban flood monitoring (도심지 홍수 모니터링 향상을 위한 멀티센싱 기기의 현장실증을 통해 수집된 데이터의 활용방안 마련)

  • Seung Kwon Jung;Soung Jong Yoo;Su Won Lee
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.19-19
    • /
    • 2023
  • 최근 기후변화에 의해 단기간에 많은 양의 집중호우가 발생하여 도시지역의 침수 피해가 증가하고 있다. 이에 도시지역의 홍수 피해 해결을 위해 도심지 홍수 발생 시 홍수정도 및 상황을 파악할 수 있는 장비가 개발되었으나, 실용화 단계까지는 진행이 미흡한 상황이다. 또한 기존 도시지역 홍수 현상 및 원인을 분석하기 위해 수치모형을 활용하고 있으나, 우수관망의 노후화 및 초기 강우패턴 적용에 대한 정확한 해석결과의 어려워 활용성이 낮다. 또한 홍수정도와 발생상황 인지를 위한 계측 장비의 개발 연구는 지속적으로 진행되고 있으나, 계측 장비의 높은 가격으로 전국적으로 설치 할 수 없는 상황으로 이를 대응하기 위한 별도의 방안 마련이 필요한 실정이다. 이를 위해 본 과제에서는 고성능·저비용 계측센서를 개발하여 실용화 가능성을 높이고, 전국에 산재되어있는 CCTV(교통상황, 방법용 등)의 영상을 활용한 침수상황 인지 기술 개발, 계측 데이터와 모니터링 데이터의 활용을 위한 빅데이터 개방 플랫폼을 구축하여, 상습 침수지역에 대해 실시간 감시가 가능한 계측 시스템의 정형 데이터와 CCTV 및 영상 등 모니터링 장비의 비정형 데이터의 분석 기술을 결합한 새로운 도심지 홍수 감시 기술의 개발을 목표로 한다. 이를 위해 본 연구 1차년도에 지표면 침수심 계측센서와 우수관망 월류심 계측센서를 개발하였으며, 2차년도에는개발된 계측센서의 현장실증을 통해 데이터를 수집한다. 수집된 계측센서 데이터와 비정형(CCTV 영상) 데이터의 AI학습을 통해 분석된 침수심, 침수범위, 침수면적 데이터는 도심지 홍수 정보 프로그램을 통해 표출되며, 최종적으로는 현장 상황을 쉽게 파악 가능한 3D 레이어의 형식으로 표출하고자 한다. 추후 도심지 홍수 정보 프로그램을 통해 표출되는 3D 레이어는 환경부가 추진하는 DT(Digital Twin) 연계 인공지능(AI) 홍수예보 사업과의 연계 시 도심지 홍수 지도 구축을 위한 자료로 활용될 수 있을 것으로 판단된다.

  • PDF

Analysis of patterns in meteorological research and development using a text-mining algorithm (텍스트 마이닝 알고리즘을 이용한 기상청 연구개발분야 과제의 추세 분석)

  • Park, Hongju;Kim, Habin;Park, Taeyoung;Lee, Yung-Seop
    • The Korean Journal of Applied Statistics
    • /
    • v.29 no.5
    • /
    • pp.935-947
    • /
    • 2016
  • This paper considers the analysis of patterns in meteorological research and development using a text-mining algorithm as the method of analyzing unstructured data. To analyze text data, we define a list of terms related to meteorological research and development, construct times series of a term-document matrix through data preprocessing, and identify terms that have upward or downward patterns over time. The proposed methodology is applied to multi-year plans funded by Korea Meteorological Administration research and development programs from 2011 to 2015.

Comparison of Term-Weighting Schemes for Environmental Big Data Analysis (환경 빅데이터 이슈 분석을 위한 용어 가중치 기법 비교)

  • Kim, JungJin;Jeong, Hanseok
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.236-236
    • /
    • 2021
  • 최근 텍스트와 같은 비정형 데이터의 생성 속도가 급격하게 증가함에 따라, 이를 분석하기 위한 기술들의 필요성이 커지고 있다. 텍스트 마이닝은 자연어 처리기술을 사용하여 비정형 텍스트를 정형화하고, 문서에서 가치있는 정보를 획득할 수 있는 기법 중 하나이다. 텍스트 마이닝 기법은 일반적으로 각각의 분서별로 특정 용어의 사용 빈도를 나타내는 문서-용어 빈도행렬을 사용하여 용어의 중요도를 나타내고, 다양한 연구 분야에서 이를 활용하고 있다. 하지만, 문서-용어 빈도 행렬에서 나타내는 용어들의 빈도들은 문서들의 차별성과 그에 따른 용어들의 중요도를 나타내기 어렵기때문에, 용어 가중치를 적용하여 문서가 가지고 있는 특징을 분류하는 방법이 필수적이다. 다양한 용어 가중치를 적용하는 방법들이 개발되어 적용되고 있지만, 환경 분야에서는 용어 가중치 기법 적용에 따른 효율성 평가 연구가 미비한 상황이다. 또한, 환경 이슈 분석의 경우 단순히 문서들에 특징을 파악하고 주어진 문서들을 분류하기보다, 시간적 분포도에 따른 각 문서의 특징을 반영하는 것도 상대적으로 중요하다. 따라서, 본 연구에서는 텍스트 마이닝을 이용하여 2015-2020년의 서울지역 환경뉴스 데이터를 사용하여 환경 이슈 분석에 적합한 용어 가중치 기법들을 비교분석하였다. 용어 가중치 기법으로는 TF-IDF (Term frequency-inverse document frquency), BM25, TF-IGM (TF-inverse gravity moment), TF-IDF-ICSDF (TF-IDF-inverse classs space density frequency)를 적용하였다. 본 연구를 통해 환경문서 및 개체 분류에 대한 최적화된 용어 가중치 기법을 제시하고, 서울지역의 환경 이슈와 관련된 핵심어 추출정보를 제공하고자 한다.

  • PDF

Study on the Application Methods of Big Data at a Corporation -Cases of A and Y corporation Big Data System Projects- (기업의 빅데이터 적용방안 연구 -A사, Y사 빅데이터 시스템 적용 사례-)

  • Lee, Jae Sung;Hong, Sung Chan
    • Journal of Internet Computing and Services
    • /
    • v.15 no.1
    • /
    • pp.103-112
    • /
    • 2014
  • In recent years, the rapid diffusion of smart devices and growth of internet usage and social media has led to a constant production of huge amount of valuable data set that includes personal information, buying patterns, location information and other things. IT and Production Infrastructure has also started to produce its own data with the vitalization of M2M (Machine-to-Machine) and IoT (Internet of Things). This analysis study researches the applicable effects of Structured and Unstructured Big Data in various business circumstances, and purposes to find out the value creation method for a corporation through the Structured and Unstructured Big Data case studies. The result demonstrates that corporations looking for the optimized big data utilization plan could maximize their creative values by utilizing Unstructured and Structured Big Data generated interior and exterior of corporations.

Sentimental Analysis Research Trends (감성분석 연구 동향)

  • Lee, Jung-Hoon
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.358-361
    • /
    • 2018
  • 비정형 데이터 증가로 텍스트 마이닝을 사용해 데이터를 분석하는 연구가 주목받고 있다. 감성분석은 단어와 문맥을 분석하여 텍스트의 감정을 파악하는 기술이다. 본 논문에서는 감성분석 연구 동향, 적용분야, 방법론에 관해 분석하고 기술하려 한다. 감성분석은 2001년 채팅의 감정을 분석하면서 시작되었고, 2008년부터 본격적으로 연구가 진행되었다. 감성분석은 SNS, 상품 후기, 영화평, 뉴스 기사 등 다양한 데이터에 적용되고 있으며, 사회이슈 찬반 분석과 장소 선호도 분석 등 다양한 연구에서 사용되었다. 감성분석 방법은 감성사전을 이용하는 방식과 기계학습을 사용하는 방식으로 나누어지며 분석 방법을 발전시키기 위한 연구가 진행되고 있다.

Synthesis of Ion Conducting Polymer Having Low Temperature Characteristics: II. Synthesis and Characterization of Amorphous Polyester (저온특성을 갖는 이온전도성 고분자의 합성 연구: II. 비정형 폴리에스테르의 합성 및 분석)

  • 황승식;조창기
    • Polymer(Korea)
    • /
    • v.24 no.2
    • /
    • pp.281-286
    • /
    • 2000
  • A series of amorphous polyesters were synthesized from amorphous polyether and sebacoyl chloride. The structure and competition of the obtained aliphatic polyester were confirmed by $^1$H-NMR and FT-IR. The number average molecular weights (M$_{n}$) of the obtained polymer were ranging from 8000 ~ 15000. These polyesters showed no crystallinity and their glass transition temperatures (T$_{g}$) were around -77$^{\circ}C$. For comparison, aliphatic polyesters were also synthesized from poly(ethylene glycol) (PEG) with M$_{n}$ of 200, 400, and 1000. As the M$_{n}$ of PEG increased, the melting point of the obtained polyester increased, and the crystallinity of the obtained polyester increased showing 8.8%, 16.2%, and 46.7%, respectively.ively.y.

  • PDF

Applications of Construction Sequence Analyses to Prototype Models of Twisted Tall Buildings (비틀림 초고층 프로토타입 모델에 대한 시공단계해석의 적용)

  • Choe, Mi-Mi;Kim, Jae-Yo;Eom, Tae-Sung;Jang, Dong-Woon
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.26 no.1
    • /
    • pp.89-97
    • /
    • 2013
  • With regard to complex-shaped tall buildings whose plans and constructions have been gradually on the increase, this study was aimed to analyze their structural behaviors during construction by applications of construction sequences analyses to prototype models. For twisted tall buildings, total 18 models of with three conditions of a lateral load-resisting system, a twisting angle, and a construction method were selected. A diagrid system and a braced tube system were applied as a lateral load-resisting system. For each lateral load-resisting system, three types of plan with $0^{\circ}$, $1^{\circ}$, and $2^{\circ}$ twisting angles and three construction methods with construction sequences of exterior tube and interior frame were assumed. The structural performances of tall buildings under constructions were analyzed with results of lateral displacements from construction sequence analyses. Also, construction performances of the construction period and the maximum lift weight were compared.

A Design of the Social Disasters Safety Platform based on the Structured and Unstructured Data (정형/비정형 데이터 기반 사회재난 안전 플랫폼 설계)

  • Lee, Chang Yeol;Park, Gil Joo;Kim, Junggon;Kim, Taehwan
    • Journal of the Society of Disaster Information
    • /
    • v.18 no.3
    • /
    • pp.609-621
    • /
    • 2022
  • Purpose: Natural Disaster has well formed framework more than social disaster, because natural disaster is controlled by one department, such as MOIS, but social disaster is distributed. This study is on the design of the integrated service platform for the social diaster data. and then, apply to the local governments. Method: Firstly, we design DB templates for the incident cases considering the incident investigation reports. For the risk management, life-damage oriented social disaster risk assessment is defined. In case of the real-time incident data from NDMS, AI system provides the prediction information in the life damage and the cause of the incident. Result: We design the structured and unstructured incident data management system, and design the integrated social disaster and safety incident management system. Conclusion: The integrated social disaster and safety incident management system may be used in the local governments

Detection of TFT-LCD Defects Using Independent Component Analysis (독립성분분석을 이용한 TFT-LCD불량의 검출)

  • Park, No-Kap;Lee, Won-Hee;Yoo, Suk-In
    • Journal of KIISE:Software and Applications
    • /
    • v.34 no.5
    • /
    • pp.447-454
    • /
    • 2007
  • TFT-LCD(Thin Film transistor liquid crystal display) has become actively used front panel display technology with increasing market. Intrinsically there is region of non uniformity with low contrast that to human eye is perceived as defect. As the gray level difference between the defect and the background is hardly distinguishable, conventional thresholding and edge detection techniques cannot be applied to detect the defect. Between the patterned and un-patterned LCD defects, this paper deals with un-patterned LCD defects by using independent component analysis, adaptive thresholding and skewness. Our method showed strong results even on noised LCD images and worked successfully on the manufacturing line.

Analyzing the Effect of Characteristics of Dictionary on the Accuracy of Document Classifiers (용어 사전의 특성이 문서 분류 정확도에 미치는 영향 연구)

  • Jung, Haegang;Kim, Namgyu
    • Management & Information Systems Review
    • /
    • v.37 no.4
    • /
    • pp.41-62
    • /
    • 2018
  • As the volume of unstructured data increases through various social media, Internet news articles, and blogs, the importance of text analysis and the studies are increasing. Since text analysis is mostly performed on a specific domain or topic, the importance of constructing and applying a domain-specific dictionary has been increased. The quality of dictionary has a direct impact on the results of the unstructured data analysis and it is much more important since it present a perspective of analysis. In the literature, most studies on text analysis has emphasized the importance of dictionaries to acquire clean and high quality results. However, unfortunately, a rigorous verification of the effects of dictionaries has not been studied, even if it is already known as the most essential factor of text analysis. In this paper, we generate three dictionaries in various ways from 39,800 news articles and analyze and verify the effect each dictionary on the accuracy of document classification by defining the concept of Intrinsic Rate. 1) A batch construction method which is building a dictionary based on the frequency of terms in the entire documents 2) A method of extracting the terms by category and integrating the terms 3) A method of extracting the features according to each category and integrating them. We compared accuracy of three artificial neural network-based document classifiers to evaluate the quality of dictionaries. As a result of the experiment, the accuracy tend to increase when the "Intrinsic Rate" is high and we found the possibility to improve accuracy of document classification by increasing the intrinsic rate of the dictionary.