• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.236-236
• /
• 2021

최근 텍스트와 같은 비정형 데이터의 생성 속도가 급격하게 증가함에 따라, 이를 분석하기 위한 기술들의 필요성이 커지고 있다. 텍스트 마이닝은 자연어 처리기술을 사용하여 비정형 텍스트를 정형화하고, 문서에서 가치있는 정보를 획득할 수 있는 기법 중 하나이다. 텍스트 마이닝 기법은 일반적으로 각각의 분서별로 특정 용어의 사용 빈도를 나타내는 문서-용어 빈도행렬을 사용하여 용어의 중요도를 나타내고, 다양한 연구 분야에서 이를 활용하고 있다. 하지만, 문서-용어 빈도 행렬에서 나타내는 용어들의 빈도들은 문서들의 차별성과 그에 따른 용어들의 중요도를 나타내기 어렵기때문에, 용어 가중치를 적용하여 문서가 가지고 있는 특징을 분류하는 방법이 필수적이다. 다양한 용어 가중치를 적용하는 방법들이 개발되어 적용되고 있지만, 환경 분야에서는 용어 가중치 기법 적용에 따른 효율성 평가 연구가 미비한 상황이다. 또한, 환경 이슈 분석의 경우 단순히 문서들에 특징을 파악하고 주어진 문서들을 분류하기보다, 시간적 분포도에 따른 각 문서의 특징을 반영하는 것도 상대적으로 중요하다. 따라서, 본 연구에서는 텍스트 마이닝을 이용하여 2015-2020년의 서울지역 환경뉴스 데이터를 사용하여 환경 이슈 분석에 적합한 용어 가중치 기법들을 비교분석하였다. 용어 가중치 기법으로는 TF-IDF (Term frequency-inverse document frquency), BM25, TF-IGM (TF-inverse gravity moment), TF-IDF-ICSDF (TF-IDF-inverse classs space density frequency)를 적용하였다. 본 연구를 통해 환경문서 및 개체 분류에 대한 최적화된 용어 가중치 기법을 제시하고, 서울지역의 환경 이슈와 관련된 핵심어 추출정보를 제공하고자 한다.

• The Journal of the Korea Contents Association
• /
• v.20 no.2
• /
• pp.240-247
• /
• 2020

There have been many efforts to understand the trends of IT environments that have been rapidly changed. In a view point of management, it needs to prepare the social systems in advance by using Big-data these days. This research is for the implementation of Issue Analysis System for the Big-data based on Artificial Intelligence. This paper aims to confirm the possibility of new technology for Big-data processing through the proposed Issue Analysis System using. We propose a technique for semantic reasoning and pattern analysis based on the AI and show the proposed method is feasible to handle the Big-data. We want to verify that the proposed method can be useful in dealing with Big-data by applying latest security issues into the system. The experiments show the potentials for the proposed method to use it as a base technology for dealing with Big-data for various purposes.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.1
• /
• pp.163-170
• /
• 2021

As a big data is being used in various industries, big data market is expanding from hardware to infrastructure software to service software. Especially it is expanding into a huge platform market that provides applications for holistic and intuitive visualizations such as big data meaning interpretation understandability, and analysis results. Demand for big data extraction and analysis using social media such as SNS is very active not only for companies but also for individuals. However despite such high demand for the collection and analysis of social media data for user trend analysis and marketing, there is a lack of research to address the difficulty of dynamic interlocking and the complexity of building and operating software platforms due to the heterogeneity of various social media service interfaces. In this paper, we propose a method for developing a framework to operate the process from collection to extraction and classification of social media data. The proposed framework solves the problem of heterogeneous social media data collection channels through adapter patterns, and improves the accuracy of social topic extraction and classification through semantic association-based extraction techniques and topic association-based classification techniques.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.66-67
• /
• 2016

최근 수많은 국 내외 글로벌 기업들이 클라우드 자원의 제공자 겸 소비자 역할을 하는 프라이빗 IaaS 클라우드 환경을 구축하고 있는 추세이며 이를 위해 오픈소스 클라우드 플랫폼인 오픈스택(OpenStack)이 많이 사용되고 있다. 이 논문에서는 대규모 빅데이터 처리를 위해 오픈스택 클라우드 환경의 가상머신 라이브 마이그레이션 기법을 사용할 경우 발생할 수 있는 문제점을 분석한다. 이러한 문제점에 대하여 가상머신에서 빅데이터 연산 처리 시 스토리지 병목현상을 해결하기 위한 마이그레이션 기법을 제시한다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2014.08a
• /
• pp.17-20
• /
• 2014

본 연구는 동시출현 단어분석 기법을 이용하여 최근 전세계적으로 많은 주목을 받고 있는 빅데이터(Big Data) 관련 연구 동향과 연구 영역을 분석하는 것을 목적으로 한다. 이를 위하여 인용색인데이터베이스인 Web of Science SCIE(Science Citation Index Expanded)에서 분석 대상 논문을 수집하였다. 논문 수집을 위한 검색식은 은 Title(논문 제목), Abstract(초록), Author Keywords(저자 키워드), Keywords $Plus^{(R)}$의 네 가지 필드를 동시에 검색하는 주제어(topic)가 "big data"를 포함하고 있는 논문 563편을 대상으로 동시출현단어 분석을 수행하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2016.05a
• /
• pp.376-377
• /
• 2016

Performance of Hadoop, which is a distributed data processing framework for big data analysis, is affected by several characteristics of each node in distributed cluster such as processing power and network bandwidth. This paper analyzes previous approaches for heterogeneous hadoop clusters, and presents several requirements for distributed node clustering in small-and-medium sized hospitals by considering computing environments of the hospitals.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.399-400
• /
• 2018

해마다 방대한 양의 콘텐츠가 쏟아져 나오는 현재의 콘텐츠 시장은 '즐길 거리'가 차고 넘치는, 수요보다 공급이 많은 시장이다. 이러한 환경에서 소비자가 자신의 취향에 맞는 콘텐츠를 쉽고 빠르게 찾을 수 있게 하는 맞춤형 콘텐츠 제공의 측면에서 빅데이터의 효율적인 활용은 중요하다. 더 나아가 콘텐츠의 소비 단계 뿐만 아니라 기획 및 제작 단계에서도 빅데이터는 소비자가 흥미를 느낄만한 콘텐츠를 미리 예측하며, 성공 가능성 높은 콘텐츠를 기획 및 제작할 수 있게 하는데 기인하는 중요한 핵심 요소이다. 이미 게임, 영상, 음악 등의 분야에서는 개인의 기호와 취향에 맞춤화된 콘텐츠를 제공하거나 소비자에게 더 인기를 얻을 수 있는 콘텐츠 기획 및 개발에 빅데이터를 활용하고 있으며, 앞으로는 더욱 다양한 장르에서 빅데이터 활용 사례가 증가할 전망이다.

• Journal of the Korea Society for Simulation
• /
• v.23 no.4
• /
• pp.111-119
• /
• 2014

The cloud environment need resource management method that to enable the big data issue and data analysis technology. Existing resource management uses the limited calculation method, therefore concentrated the resource bias problem. To solve this problem, the resource management requires the learning-based scheduling using resource history information. In this paper, we proposes the ART (Adaptive Resonance Theory)-based adaptive resource management. Our proposed method assigns the job to the suitable method with the resource monitoring and history management in cloud computing environment. The proposed method utilizes the unsupervised learning method. Our goal is to improve the data processing and service stability with the adaptive resource management. The propose method allow the systematic management, and utilize the available resource efficiently.

• KIPS Transactions on Computer and Communication Systems
• /
• v.8 no.10
• /
• pp.231-238
• /
• 2019

Analyzing next-generation genome sequencing data in a conventional way using single server may take several tens of hours depending on the data size. However, in order to cope with emergency situations where the results need to be known within a few hours, it is required to improve the performance of a single genome analysis. In this paper, we propose a parallelized method for pre-processing genome sequence data which can reduce the analysis time by utilizing the big data technology and the highperformance computing cluster which is connected to the high-speed network and shares the parallel file system. For the reliability of analytical data, we have chosen a strategy to parallelize the existing analytical tools and algorithms to the new environment. Parallelized processing, data distribution, and parallel merging techniques have been developed and performance improvements have been confirmed through experiments.

• The Journal of Bigdata
• /
• v.1 no.1
• /
• pp.53-60
• /
• 2016

Data of central government and local government was collected automatically from the public data portal. And we did the multidimensional analysis based on various perspective like file format and present condition of public data. To complete this work, we constructed Data Warehouse based on the other countries' evaluation index case. Finally, the result from service level evaluation by using multidimensional analysis was used to display each area, establishment, fields.