• Title/Summary/Keyword: Big data model

검색결과 1,373건 처리시간 0.031초

빅데이터 플랫폼을 이용한 보안로그 분석 시스템 구현 모델 연구 (A Study on implementation model for security log analysis system using Big Data platform)

  • 한기형;정형종;이두식;채명희;윤철희;노규성
    • 디지털융복합연구
    • /
    • 제12권8호
    • /
    • pp.351-359
    • /
    • 2014
  • 보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

Financial and Economic Risk Prevention and Countermeasures Based on Big Data and Internet of Things

  • Songyan Liu;Pengfei Liu;Hecheng Wang
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.391-398
    • /
    • 2024
  • Given the further promotion of economic globalization, China's financial market has also expanded. However, at present, this market faces substantial risks. The main financial and economic risks in China are in the areas of policy, credit, exchange rates, accounting, and interest rates. The current status of China's financial market is as follows: insufficient attention from upper management; insufficient innovation in the development of the financial economy; and lack of a sound financial and economic risk protection system. To further understand the current situation of China's financial market, we conducted a questionnaire survey on the financial market and reached the following conclusions. A comprehensive enterprise questionnaire from the government's perspective, the enterprise's perspective and the individual's perspective showed that the following problems exist in the financial and economic risk prevention aspects of big data and Internet of Things in China. The political system at the country's grassroots level is not comprehensive enough. The legal regulatory system is not comprehensive enough, leading to serious incidents of loan fraud. The top management of enterprises does not pay enough attention to financial risk prevention. Therefore, we constructed a financial and economic risk prevention model based on big data and Internet of Things that has effective preventive capabilities for both enterprises and individuals. The concept reflected in the model is to obtain data through Internet of Things, use big data for screening, and then pass these data to the big data analysis system at the grassroots level for analysis. The data initially screened as big data are analyzed in depth, and we obtain the original data that can be used to make decisions. Finally, we put forward the corresponding opinions, and their main contents represent the following points: the key is to build a sound national financial and economic risk prevention and assessment system, the guarantee is to strengthen the supervision of national financial risks, and the purpose is to promote the marketization of financial interest rates.

공공 데이터의 빅데이터 분석을 통한 사회 안전망 시스템 (Social Safety Systems through Big Data Analysis of Public Data)

  • 이선의;정준희;차경현;손기준;김상지;김진영
    • 한국위성정보통신학회논문지
    • /
    • 제10권4호
    • /
    • pp.77-82
    • /
    • 2015
  • 본 논문은 빅 데이터 분석을 이용하여 산악 안전사고를 예방하기 위하여 사고 예측 모델을 제시하였다. 산악 안전사고의 축적된 데이터를 파악하기 쉽게 그래프로 나타내었다. 사고가 발생하는 패턴을 알기 위하여 산악 안전사고 발생 건수의 연도별 분석, 연간 월별 사고 발생 건수, 요일별, 시간대별 분석을 수행하였다. 나타낸 그래프를 이용하여 산악 안전사고의 영향을 미치는 변수들을 가중치 모델링을 통하여 사고 예측 모델을 구성하였다. 산악 지역의 사고 다발 구역에 제시한 모델을 적용하여 예측 모델의 성능을 검정하였다.

공간 빅데이터의 개념 및 요구사항을 반영한 서비스 제공 방안 (Providing Service Model Based on Concept and Requirements of Spatial Big Data)

  • 김근한;전철민;정휘철;윤정호
    • 대한공간정보학회지
    • /
    • 제24권4호
    • /
    • pp.89-96
    • /
    • 2016
  • 본 연구에서는 빅데이터와 공간 빅데이터 선행연구들을 기반으로 공간 빅데이터를 빅데이터를 구성하는 하나의 구성요소로 인식하고, 위치정보를 이용하여 공간화 할 수 있으며, 시계열 변화에 따라 계속적으로 누적되는 모든 데이터들과 이를 이용할 수 있는 활용체계를 공간 빅데이터라 정의하였다. 따라서 공간 빅데이터는 기존 빅데이터와 분리하여 구분할 것이 아니라, 기존 빅데이터를 구성하는 하나의 구성요소로서 이해하고, 이러한 활용체계 안에서 공간 빅데이터의 활용방안을 검토해야 한다. 본 연구에서는 공간 빅데이터가 제공해야 하는 서비스 요구사항들을 제시하였다. 공간정보를 포함한 공간 빅데이터는 기본적으로 다양한 공간분석이 가능해야 하고, 기존에 구축된 공간정보와 향후 구축될 공간정보까지 고려할 수 있는 서비스 고려가 필요하다. 시간의 흐름에 따른 위치별 시계열 변화의 탐지는 물론 공간정보의 속성정보들을 이용하여 다양한 빅데이터 관련 분석이 가능해야 한다. 공간정보가 아닌 빅데이터 또한 공간정보와 연계하여 공간 분석이 가능해야 한다. 이러한 공간 빅데이터 요구사항들을 만족시키기 위해 다양한 형태의 빅데이터들과 공간 빅데이터의 연계가 가능한 분석 서비스 제공을 위한 샘플링 포인트 생성 및 속성정보 추출 방안을 제시하였다. 이러한 빅데이터와 연계된 공간정보의 활용 증대는 공간정보 산업 및 기술발전에 크게 기여할 수 있을 것이라 판단된다.

사물인터넷 환경에서 제품 불량 예측을 위한 기계 학습 모델에 관한 연구 (A Study on the Machine Learning Model for Product Faulty Prediction in Internet of Things Environment)

  • 구진희
    • 융합정보논문지
    • /
    • 제7권1호
    • /
    • pp.55-60
    • /
    • 2017
  • 사물인터넷 환경에서 인간의 개입 없는 지능화된 서비스를 위해서는 IoT 디바이스에서 생성되는 빅데이터로 부터 정상 패턴을 학습하고 이를 기반으로 불량, 오작동과 같은 이상 징후에 대해 예측하는 과정이 요구된다. 본 연구의 목적은 제품 공정의 다양한 기기에서 발생되는 빅데이터를 분석함으로써 제품 불량을 예측할 수 있는 기계 학습모델을 구현하는 것이다. 기계 학습 모델은 어느 정도 볼륨을 가진 기존 데이터를 기반으로 분석을 해야 하므로 빅데이터 분석도구 R을 사용하였으며, 제품 공정에서 수집된 데이터에는 제품에 대한 불량 여부가 포함되어 있으므로 지도 학습 모델을 활용하였다. 연구의 결과, 제품 불량에 영향을 주는 변수 및 변수 조건을 분류하였고, 의사결정 트리를 기반으로 제품의 불량 여부에 대한 예측 모델을 제시하였다. 또한, ROC Curve를 이용한 모델의 적합성 및 성능평가 분석에서 모델의 예측력은 상당히 높게 나타났다.

빅데이터를 활용한 영화흥행 요인 분석: 영화 <기생충>의 SNS 활용지수와 토픽키워드 중심으로 (Analyzing Factors of Success of Film Using Big Data : Focusing on the SNS Utilization Index and Topic Keywords of the Film )

  • 김진욱
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제14권4호
    • /
    • pp.145-153
    • /
    • 2020
  • 빠르게 변화하고 있는 4차 산업 시대에 빅데이터는 다양한 분야에 활용되고 있다. 최근 문화예술콘텐츠 전반에도 빅데이터의 활용은 급속도로 적용되고 있고, 그중에서도 영화는 자본이 많이 드는 예술장르로서 빅데이터의 활용은 매우 유용한 분석 수단이다. 본 연구는 2019년 제72회 칸 영화제의 황금종려상과 아카데미 시상식에서 4관왕(작품상, 감독상, 각본상, 외국어 영화상)을 차지하며 한국영화의 가치를 보여준 영화 <기생충>을 대상으로 빅데이터 분석기법을 적용하여 실시하였다. 이렇게 분석된 값은 데이터의 주기별 변화량과 감성의 값을 부여하는 오피니언 마이닝을 통해 영화 흥행을 예측하고, 페이스북(Facebook), 트위터(Twitter) 등 SNS의 활용지수와 토픽 키워드를 추출하여 관객들의 관심을 반영하는 영화적 요인들이 무엇인지를 살펴보았다. 이처럼 빅데이터를 활용한 영화흥행 요인분석으로 모델 구축 및 모형 개발로 흥행예측이 가능해지면 영화제작 과정의 효율성을 극대화하면서 제작비용과 영화실패에 따른 리스크를 최소화 할 것이다.

Optimizing Employment and Learning System Using Big Data and Knowledge Management Based on Deduction Graph

  • Vishkaei, Behzad Maleki;Mahdavi, Iraj;Mahdavi-Amiri, Nezam;Askari, Masoud
    • Journal of Information Technology Applications and Management
    • /
    • 제23권3호
    • /
    • pp.13-23
    • /
    • 2016
  • In recent years, big data has usefully been deployed by organizations with the aim of getting a better prediction for the future. Moreover, knowledge management systems are being used by organizations to identify and create knowledge. Here, the output from analysis of big data and a knowledge management system are used to develop a new model with the goal of minimizing the cost of implementing new recognized processes including staff training, transferring and employment costs. Strategies are proposed from big data analysis and new processes are defined accordingly. The company requires various skills to execute the proposed processes. Organization's current experts and their skills are known through a pre-established knowledge management system. After a gap analysis, managers can make decisions about the expert arrangement, training programs and employment to bridge the gap and accomplish their goals. Finally, deduction graph is used to analyze the model.

빅 데이터 분석능력과 기업 성과 간의 관계에서 혁신 및 개선 활동과 시장 민첩성의 영향 (The Impact of Exploration and Exploitation Activities and Market Agility on the Relationship between Big Data Analytics Capability and Firms' Performance)

  • 정희경;부제만
    • 산업경영시스템학회지
    • /
    • 제45권3호
    • /
    • pp.150-162
    • /
    • 2022
  • This study investigated the impact of the latest developments in big data analytics capabilities (BDAC) on firm performance. The BDAC have the power to innovate existing management practices. Nevertheless, their impact on firm performance has not been fully is not yet fully elucidated. The BDAC relates to the flexibility of infrastructure as well as the skills of management and firm's personnel. Most studies have explored the phenomena from a theoretical perspective or based on factors such as organizational characteristics. However, this study extends the flow of previous research by proposing and testing a model which examines whether organizational exploration, exploitation and market agility mediate the relationship between the BDAC and firm performance. The proposed model was tested using survey data collected from the long-term employees over 10 years in 250 companies. The results analyzed through structural equation modeling show that a strong BDAC can help improve firm performance. An organization's ability to analyze big data affects its exploration and exploitation thereby affecting market agility, and, consequently, firm performance. These results also confirm the powerful mediating role of exploration, exploitation, and market agility in improving insights into big data utilization and improving firm performance.

스리랑카 농촌 지역의 에너지 자립화 모델 개발 (Developing an Energy Self-Reliance Model in a Sri Lankan Rural Area)

  • 오동건;강용혁;김보영;윤창열;오명찬;김현구
    • 신재생에너지
    • /
    • 제20권1호
    • /
    • pp.88-94
    • /
    • 2024
  • This study explored the potential and implementation of renewable energy sources in Sri Lanka, focusing on the theoretical potential of solar and wind energy to develop self-reliant energy models. Using advanced climate data from the European Centre for Medium-Range Weather Forecasts and Global Solar/Wind Atlas provided by the World Bank, we assessed the renewable energy potential across Sri Lanka. This study proposes off-grid and minigrid systems as viable solutions for addressing energy poverty in rural regions. Rural villages were classified based on solar and wind resources, via which we proposed four distinct energy self-reliance models: Renewable-Dominant, Solar-Dominant, Wind-Dominant, and Diesel-Dominant. This study evaluates the economic viability of these models considering Sri Lanka's current energy market and technological environment. The outcomes highlight the necessity for employing diversified energy strategies to enhance the efficiency of the national power supply system and maximize the utilization of renewable resources, contributing to Sri Lanka's sustainable development and energy security.

Can Big Data Help Predict Financial Market Dynamics?: Evidence from the Korean Stock Market

  • Pyo, Dong-Jin
    • East Asian Economic Review
    • /
    • 제21권2호
    • /
    • pp.147-165
    • /
    • 2017
  • This study quantifies the dynamic interrelationship between the KOSPI index return and search query data derived from the Naver DataLab. The empirical estimation using a bivariate GARCH model reveals that negative contemporaneous correlations between the stock return and the search frequency prevail during the sample period. Meanwhile, the search frequency has a negative association with the one-week- ahead stock return but not vice versa. In addition to identifying dynamic correlations, the paper also aims to serve as a test bed in which the existence of profitable trading strategies based on big data is explored. Specifically, the strategy interpreting the heightened investor attention as a negative signal for future returns appears to have been superior to the benchmark strategy in terms of the expected utility over wealth. This paper also demonstrates that the big data-based option trading strategy might be able to beat the market under certain conditions. These results highlight the possibility of big data as a potential source-which has been left largely untapped-for establishing profitable trading strategies as well as developing insights on stock market dynamics.