• 제목/요약/키워드: Data platform

검색결과 3,617건 처리시간 0.032초

하둡 및 스파크 기반 빅데이터 플랫폼을 이용한 선박 운항 효율 이상 상태 분석 (Detection of Abnormal Ship Operation using a Big Data Platform based on Hadoop and Spark)

  • 이태현;유은섭;박개명;유성상;박진표;문두환
    • 한국기계가공학회지
    • /
    • 제18권6호
    • /
    • pp.82-90
    • /
    • 2019
  • To reduce emissions of marine pollutants, regulations are being tightened around the world. In the shipbuilding and shipping industries, various countermeasures are being put forward. As there are limits to applying countermeasures to ships already in operation, however, it is necessary for these vessels to use energy efficiently. The sensors installed on ships typically gather a very large amount of data, and thus a big data platform is needed to manage and analyze the data. In this paper, we build a big data analysis platform based on Hadoop and Spark, and we present a method to detect abnormal ship operation using the platform. We also utilize real ship operation data to discuss the data analysis experiment.

국내 항공안전 빅데이터 플랫폼 운영관리체계 수립 중점 - FAA ASIAS를 중심으로 - (Requirements for Operation Procedure and Plan for the Korean Aviation Safety Big-Data Platform based on the Case of FAA ASIAS)

  • 김준환;임재진;박유림;이장룡
    • 한국항공운항학회지
    • /
    • 제29권4호
    • /
    • pp.105-116
    • /
    • 2021
  • The importance of a systematic approach to collect, process, analyze, and share safety data in aviation safety management is continuously increasing. Accordingly, the domestic aviation industry has been making efforts to build a Big-data platform that can utilize multi-field safety data generated and managed by various stakeholders and to develop safety management technology based on them. Big data platforms not only must meet appropriate technical requirements, but also need to establish a management system for effective operation. The purpose of this study is to suggest the requirements of the aviation safety big data platform operation procedure and plan by reviewing the advanced overseas cases (FAA ASIAS). This study can provide overall framework and managerial direction for the operation of the aviation safety big data platform.

플랫폼 비즈니스와 가치 창출: 개방형 공공데이터 활용 (Platform Business and Value Creation: Using Public Open Data)

  • 한정희
    • 지식경영연구
    • /
    • 제20권1호
    • /
    • pp.155-174
    • /
    • 2019
  • Variety of data have been opened or connected by several levels of government. In smart city initiatives, open data become the source of a new business model. This paper is to foster ways of public open data (POD) by analyzing the start-up company that utilizes POD. In order to fulfill it, this paper adapts the case study research. Findings say that POD has potential to validate and further enrich the platform business. But to find which types of public open data are most prevalent is insufficient. To do this, it is more needed that sophisticated and many cases should be examined. However, this paper shows that platform business by using POD could lead to reduce the cost and increase the benefits for both providers and customers. From the findings, this paper shows that public open data has an important role not only to boost new venture creations which are prevalent ways of smart city but also to foster different platforms enabling new value capture and creation according to development of internet of things based on ICT technology.

도시 플랫폼의 상호운용성을 위한 플랫폼 연동 구현 사례 (Implementation of Interworking between the Smart City Platforms for Enhancing City Data Interoperability)

  • 김성윤;성낙명;박승욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.156-159
    • /
    • 2022
  • 최근 데이터 기반의 스마트시티를 이룩하고자 하는 다양한 시도가 발생하고 있다. 데이터 기반의 스마트시티를 위해서는 국내 108개 지자체에 보급된 스마트시티 통합플랫폼 활용을 통한 시너지를 발휘하는 것이 필수적이다. 본 논문에서는 도시 플랫폼 간 상호운용성을 향상하기 위해 도시 데이터 플랫폼으로 연구 중인 스마트시티 데이터허브와 스마트시티 통합플랫폼 간의 연동 구현 사례로써, 스마트시티 통합플랫폼의 도시 상황 이벤트를 스마트시티 데이터허브로 연계하고, 스마트시티 데이터허브에서의 데이터 융·복합 분석 결과로써 도시 예측 이벤트를 스마트시티 통합플랫폼으로 연계한 구현 사례를 기술한다.

  • PDF

빅데이터 플랫폼을 이용한 보안로그 분석 시스템 구현 모델 연구 (A Study on implementation model for security log analysis system using Big Data platform)

  • 한기형;정형종;이두식;채명희;윤철희;노규성
    • 디지털융복합연구
    • /
    • 제12권8호
    • /
    • pp.351-359
    • /
    • 2014
  • 보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

디지털 농업 데이터 활용 및 서비스 제공을 위한 농산업 데이터 공유 플랫폼 설계 (Designing an Agricultural Data Sharing Platform for Digital Agriculture Data Utilization and Service Delivery)

  • 김승재;이명훈;고진광
    • 한국빅데이터학회지
    • /
    • 제8권1호
    • /
    • pp.1-10
    • /
    • 2023
  • 본 논문은 국내 농업 산업이 직면한 주요 과제를 해결하기 위한 농업 데이터 공유 플랫폼의 설계 과정을 제시한다. 사용자의 편의성을 위해 사용자 요구사항을 우선적으로 고려한 인터페이스로 설계되었으며 다양한 분석 기술을 제공하여 현장에서의 환경, 생육, 경영 및 제어 데이터에 대한 분석 결과를 시각화하여 제공하는 플랫폼을 설계하였다. 또한 플랫폼은 File to DB 및 DB to DB 연결 방식을 지원하여 플랫폼과 농가 간의 원활한 연결을 보장한다. UI 디자인 프로세스는 HTML/CSS 기반 언어, JavaScript, React를 활용하여 플랫폼 로그인부터 데이터 업로드, 데이터 분석, 시각화 기능까지 포괄적인 서비스를 제공하도록 설계되었다. 본 연구를 통해 한국형 스마트팜 모델 개발에 기여하고 농업 현장 및 연구자들에게 신뢰할 수 있는 데이터를 제공할 수 있을 것으로 기대된다.

제조로봇 고장예지진단을 위한 오픈소스기반 스마트 제조 빅데이터 플랫폼 구현 (Development and Implementation of Smart Manufacturing Big-Data Platform Using Opensource for Failure Prognostics and Diagnosis Technology of Industrial Robot)

  • 천승만;석수영
    • 대한임베디드공학회논문지
    • /
    • 제14권4호
    • /
    • pp.187-195
    • /
    • 2019
  • In the fourth industrial revolution era, various commercial smart platforms for smart system implementation are being developed and serviced. However, since most of the smart platforms have been developed for general purposes, they are difficult to apply / utilize because they cannot satisfy the requirements of real-time data management, data visualization and data storage of smart factory system. In this paper, we implemented an open source based smart manufacturing big data platform that can manage highly efficient / reliable data integration for the diagnosis diagnostic system of manufacturing robots.

Development of a National Research Data Platform for Sharing and Utilizing Research Data

  • Shin, Youngho;Um, Jungho;Seo, Dongmin;Shin, Sungho
    • Journal of Information Science Theory and Practice
    • /
    • 제10권spc호
    • /
    • pp.25-38
    • /
    • 2022
  • Research data means data used or created in the course of research or experiments. Research data is very important for validation of research conducted and for use in future research and projects. Recently, convergence research between various fields and international cooperation has been continuously done due to the explosive increase of research data and the increase in the complexity of science and technology. Developed countries are actively promoting open science policies that share research results and processes to create new knowledge and values through convergence research. Communities to promote the sharing and utilization of research data such as RDA (Research Data Alliance) and COAR (Confederation of Open Access Repositories) are active, and various platforms for managing and sharing research data are being developed and used. OpenAIRE (Open Access Infrastructure for Research In Europe), a research data platform in Europe, ARDC (Australian Research Data Commons) in Australia, and IRDB (Institutional Repositories DataBase) in Japan provide research data or research data related services. Korea has been establishing and implementing a research data sharing and utilization strategy to promote the sharing and utilization of research data at the national level, led by the central government. Based on this strategy, KISTI has been building a Korean research data platform (DataON) since 2018, and has been providing research data sharing and utilization services to users since January 2020. This paper reviews the characteristics of DataON and how it is used for research by showing its applications.

모바일 데이터 비과금에 대한 플랫폼사업자의 전략에 관한 연구: 사업기회 및 위기 관점에서 (A Study on the Strategy of Platform Operator for Free Mobile Data : from the Perspectives of Business Opportunity and Risk)

  • 조대근;송인국
    • 인터넷정보학회논문지
    • /
    • 제18권5호
    • /
    • pp.123-131
    • /
    • 2017
  • 최근 들어 모바일 서비스가 급증하면서 다양한 형태의 모바일 데이터 과금 방식이 등장하였다. 그중 네트워크 사업자인 통신사업자가 특정 앱/서비스에 대해 데이터 사용료를 받지 않고 자유롭게 사용할 수 있게 하는 제로레이팅 방식이 급증하고 있다. 이러한 통신사업자의 비과금행위에 따라 플랫폼 사업자는 자연스럽게 사업적 위기와 기회에 노출되어 있다. 플랫폼 사업자의 입장에서는 위기와 기회를 감안한 전략설정이 필요한 상황임에도 제로레이팅 및 플랫폼에 대해 명확하게 정의하고 분류한 연구조차 부족한 실정이다. 더욱이 제로레이팅으로 인해 플랫폼사업자에게 미치게 될 영향을 분석한 연구는 전무하다. 본 연구는 네트워크사업자의 제로레이팅에 따른 플랫폼사업자의 전략적 대응방안을 마련하기 위해 사업기회 및 위기를 분석하는데 목적을 두었다. 본 연구의 결과는 연구자들로 하여금 제로레이팅과 플랫폼에 대한 이해를 증진시키고, 플랫폼사업자의 입장에서 사업전략을 수립하는데 주요한 참고자료로 활용될 수 있을 것이다.

Big Data Platform Based on Hadoop and Application to Weight Estimation of FPSO Topside

  • Kim, Seong-Hoon;Roh, Myung-Il;Kim, Ki-Su;Oh, Min-Jae
    • Journal of Advanced Research in Ocean Engineering
    • /
    • 제3권1호
    • /
    • pp.32-40
    • /
    • 2017
  • Recently, the amount of data to be processed and the complexity thereof have been increasing due to the development of information and communication technology, and industry's interest in such big data is increasing day by day. In the shipbuilding and offshore industry also, there is growing interest in the effective utilization of data, since various and vast amounts of data are being generated in the process of design, production, and operation. In order to effectively utilize big data in the shipbuilding and offshore industry, it is necessary to store and process large amounts of data. In this study, it was considered efficient to apply Hadoop and R, which are mostly used in big data related research. Hadoop is a framework for storing and processing big data. It provides the Hadoop Distributed File System (HDFS) for storing big data, and the MapReduce function for processing. Meanwhile, R provides various data analysis techniques through the language and environment for statistical calculation and graphics. While Hadoop makes it is easy to handle big data, it is difficult to finely process data; and although R has advanced analysis capability, it is difficult to use to process large data. This study proposes a big data platform based on Hadoop for applications in the shipbuilding and offshore industry. The proposed platform includes the existing data of the shipyard, and makes it possible to manage and process the data. To check the applicability of the platform, it is applied to estimate the weights of offshore structure topsides. In this study, we store data of existing FPSOs in Hadoop-based Hortonworks Data Platform (HDP), and perform regression analysis using RHadoop. We evaluate the effectiveness of large data processing by RHadoop by comparing the results of regression analysis and the processing time, with the results of using the conventional weight estimation program.