• Journal of Korea Water Resources Association
• /
• v.53 no.12
• /
• pp.1203-1210
• /
• 2020

Drought is caused by a combination of various hydrological or meteorological factor, so it is difficult to accurately assess drought event, but various drought indices have been developed to interpret them quantitatively. However, the drought indexes currently being used are calculated from the lack of a single variable, which is a problem that does not accurately determine the drought event caused by complex causes. Shortage of a single variable may not be a drought, but it is judged to be a drought. On the other hand, research on developing indices using unstructured data, which is widely used in big data analysis, is being carried out in other fields and proven to be superior. Therefore, in this study, we intend to calculate the drought index by combining unstructured data (news data) with weather and hydrologic information (rainfall and dam inflow) that are being used for the existing drought index, and to evaluate the utilization of drought interpretation through verification of the calculated drought index. The Clayton Copula function was used to calculate the joint drought index, and the parameter estimation was used by the calibration method. The analysis showed that the drought index, which combines unstructured data, properly expresses the drought period compared to the existing drought index (SPI, SDI). In addition, ROC scores were calculated higher than existing drought indices, making them more useful in drought interpretation. The joint drought index calculated in this study is considered highly useful in that it complements the analytical limits of the existing single variable drought index and provides excellent utilization of the drought index using unstructured data.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2013.10a
• /
• pp.953-954
• /
• 2013

Smartphone, Tablet PC users increases rapidly, the amount of data is an increasing number and their characteristics vary. Big Data field to collect vast amounts of data such that create new value by analyzing has attracted attention. In recent years, big data technology to use for marketing and product planning movement is growing. In this paper, we would like to analyze the trends of big data.

• The KIPS Transactions:PartC
• /
• v.9C no.1
• /
• pp.31-38
• /
• 2002

Communication systems, such as Switching System, are operated in the restricted conditions that the suggested events must finish in the time-constraints. Therefore, the data in the systems requires not only rapid access time, but also completion in the restricted time. Many existing data systems have been developed and used in the communication environments. But, the system construct a structural scheme and provide users with basic data services only. In recent, as the complexity of data in the communication area is rapidly increasing, it requires the data system which can represent the unstructured dataset and complete the data access in this dataset on the restricted condition. In this paper, we propose the data model which is suitable to the unstructured multi-dataset environment. The data model supports the rapid data access for unstructured dataset and enables users to easily retrieve data needed at the execution. In addition to, we define the several algorithms to clarify the structure of our model.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2015.05a
• /
• pp.747-753
• /
• 2015

요즘 우리의 생활 속에서 차세대 신기술로 주목할 만한 것이 바로 "빅 데이터" 이다. 하지만 빅 데이터는 아직 구체적인 개념이 모호한 상태이다. 빅 데이터란, 기존 데이터베이스 관리도구로서 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 이러한 분석된 데이터들은 여러 방면으로 활용이 가능하다. 이를 통해 기업에서는 비즈니스적인 활용이 가능하며 예측과 분석을 통해 사업전망을 내다볼 수도 있다. 따라서 본 논문에서는 비즈니스 모델 혁신을 위해 빅 데이터 기반 예측분석이 왜 필요한 지에 대해 논의하고 기업들이 혁신을 촉진하기 위해 사업전략 목표에 예측모델들을 활용하는 운영 모델을 제시하고자 한다.

• Annual Conference of KIPS
• /
• 2014.04a
• /
• pp.635-638
• /
• 2014

빅데이터 시대의 대두에 따라 기존의 관계형 데이터베이스로는 처리하기 어려운 형태의 데이터가 발생하였다. 이런 성질의 데이터를 저장, 활용하기 위한 방법으로 Apache 하둡이 널리 사용되고 있다. 기존의 RDBMS 상의 데이터를 하둡 데이터 분석의 원천 데이터로 활용하려고 하는 경우, 혹은 데이터 크기와 복잡도의 증가로 저장방식을 바꿔야 하는 경우 데이터를 HDFS(Hadoop Distributed File System) 으로 전송해야 한다. 본 논문에서는 정형 데이터 수집 모듈인 Sqoop과 Nosqoop4u의 개발을 통하여 데이터 전송 성능을 비교하였다.

• Annual Conference of KIPS
• /
• 2015.04a
• /
• pp.170-171
• /
• 2015

최근 디지털 정보량의 기하급수적인 증가에 따라 대규모 데이터인 빅데이터가 등장하였다. 빅데이터는 데이터가 실시간으로 매우 빠르게 생성되며 다양한 형태의 데이터를 가지며 이 데이터를 수집, 처리, 분석을 통해 새로운 지식을 창출한다. 그러나 기존의 ETL(Exact/Transform/Load) 연구에서 이러한 빅데이터를 처리 하는데 성능 저하가 발생되고 있으며 비정형 데이터를 관리할 수 없다. 따라서 본 논문에서는 기존의 ETL 처리의 한계를 극복하기 위해서 하둡을 이용하여 ETL 상에서 처리 속도를 높이고 비정형 데이터를 처리할 수 있는 빅데이터 처리 시스템을 제안하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.172-174
• /
• 2002

XML을 기반으로 하는 가상문서는 다양한 데이터의 공유를 가능하게 하여 새로운 지식을 생성할 수 있도록 한다. 가상 문서를 지원하는 디지털 도서관 시스템에서 질의 링크는 인터넷 상의 정형데이터 공유를 가능하게 한다. 본 연구에서는 질의링크를 포함하는 XML- 기반 가상문서를 효과적으로 생성하기 위해 질의링크 생성기와 스키마 처리기를 설계하고 구현하였으며 이를 지원하기 위해 디지털 도서관 시스템과 가상문서 저작시스템에서 서비스 관리기, 메타 검색기, 데이터베이스 관리기와 저작도구를 확장하였다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.1187-1190
• /
• 2015

최근에 비정형 데이터의 잠재적 가치를 유용한 데이터로써 사용하려는 경우가 많아지고 있다. 특히 트위터는 사용자의 상태나 이벤트가 잘 나타나 있어서 하나의 사용자의 이벤트로서 간주될 수 있다. 본 논문은 트위터에서 발생하는 이벤트에 주목하여, 감기라는 이벤트를 트위터 내에서 추적하고자 한다. 추적을 위해서는 트위터를 판단할 필요가 있는데, 이를 위해 기존의 감성 사전 방식 중 하나인 통계적 사전 구축을 기반으로 키워드를 활용하여 감기 판단 사전을 구축하는 방식을 제안한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.20 no.5
• /
• pp.89-95
• /
• 2020

As the e-learning market expands, interest in customized education for learners based on artificial intelligence is increasing. Customized education for learners requires essential components such as a large amount of data and learning contents for learner analysis, and it requires time and cost efforts to collect such data. In this paper, to enable efficient learner-tailored learning even in small learning groups, unstructured learner data was analyzed using python modules, and a learning algorithm was presented based on this. Through the analysis of the unstructured learning data presented in this paper, it is possible to quantify and measure the unstructured data related to learning, and the accuracy of more than 80% was confirmed when analyzing keywords for providing customized education for learners.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2018.05a
• /
• pp.309-309
• /
• 2018

기후변화에 따른 강우의 규모와 발생빈도 증가로 농촌유역의 홍수 피해는 지속적으로 증가하고 있다. 하지만 우리나라의 홍수 피해 저감 대책은 도시지역의 대하천 주변으로 집중되어있으며, 소하천 및 농촌유역의 홍수 피해 저감에 대한 관리와 투자 노력은 부족한 실정이다. 특히, 최근 들어 갑작스런 집중호우 등으로 인한 농촌유역 돌발홍수 피해 사례가 증가하고 있으며, 이에 대응하기 위해서는 홍수 발생 등을 신속하게 파악하기 위한 돌발홍수 예경보 시스템 개발이 필요하다. 한편, 최근 산업의 혁신과 생산성 향상을 위한 새로운 패러다임으로 4차 산업혁명이 대두되고 있으며, 빅데이터와 인공지능 (Artificial Intelligence, AI)을 비롯하여 사물인터넷 (Internet of Things, IoT), 드론, 슈퍼컴퓨팅 등의 이른바 4차 산업혁명 기술을 활용한 연구가 수행되고 있다. 본 연구에서는 기후변화에 따른 농촌유역 홍수 피해를 저감하고 또한 사전에 대비하기 위해 빅데이터와 인공지능 등 4차 산업혁명 기술을 적용한 농촌유역 돌발홍수 예경보 시스템을 개발하고 그 적용성을 평가하고자 한다. 우선, 농촌유역의 홍수와 관련된 빅데이터 (기상 자료, 수문 자료, 기후변화 자료, 농업용 수리구조물 자료 등)를 토대로 정형 빅데이터와 비정형 빅데이터를 구분 추출하고 이를 연계 해석할 수 있는 시스템을 개발하였다. 추출한 정형 및 비정형 빅데이터를 활용하여 딥러닝을 기반으로 농촌유역의 홍수를 예측하고 홍수 예경보 기준에 따른 평가를 수행할 수 있는 시스템을 개발하였다. 과거 강우사상을 홍수 예경보 시스템에 적용하여 홍수 모의 결과를 도출하였으며, 재해연보 등과 비교 분석하여 시스템의 적용성을 분석하였다.