• 제목/요약/키워드: Distributed Data Analysis

검색결과 2,340건 처리시간 0.033초

A Study on Energy Platform Using Data in the US: Based on Opening Platform Model

  • Song, Minzheong
    • International journal of advanced smart convergence
    • /
    • 제10권3호
    • /
    • pp.41-50
    • /
    • 2021
  • The purpose of this study is to analyze various energy platforms using data in the US and to suggest directions and implications. Some of the leading energy platforms are selected and analyzed based on the opening platform model. We focus on the case analysis of the US utility companies. In case of the horizontal open platform, Green Button sponsor's 'Connect My Data (CMD)' driven by the government invites the utility companies to jointly develop the sponsor's data solution. In case of the vertical open platform, the certification program 'Share My Data (SMD)' allows backward compatibility, because the technical improvement is minimal. The utility companies benchmark Amazon's three-sided market mediation and prefer platform and category exclusivity. For the former, they have data analytics companies like Enervee, Opower and for the latter, they have electronics manufactures and energy service providers (ESPs) like Distributed Energy Resources (DERs). Based on this US case study, we suggest the energy platforms to open their platform for renewable energy supply, energy conservation, high-efficiency products, and residential DER dissemination. To successfully implement the government's energy transition policy, the US platforms should be benchmarked as a business model. Especially, it is needed for them to coordinate a platform ecosystem. To ensure trust in the products and services offered on the marketplace platform, platform's certification program is helpful.

The Impact of Business Intelligence on the Relationship Between Big Data Analytics and Financial Performance: An Empirical Study in Egypt

  • Mostafa Zaki, HUSSEIN;Samhi Abdelaty, DIFALLA;Hussein Abdelaal, SALEM
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제10권2호
    • /
    • pp.15-27
    • /
    • 2023
  • The purpose of this research is to investigate the impact of Business Intelligence (BI) on the relation between Big Data Analytics (BDA) and Financial Performance (FP), at the beginning we reviewed the academic accounting and finance literature to develop the theoretical framework of business intelligence, big data and financial performance in terms of definition, motivations and theories, then we conduct an empirical analysis based on questionnaire-base survey data collected. The researchers identified the study population in the joint-stock companies listed on the Egyptian Stock Exchange and operating in the sectors and activities related to modern technologies in information systems, big data analytics, and business intelligence, in addition to the auditing offices that review the financial reports of these companies, and The sector closest to the research objective is the communications, media, and information technology sector, where the survey list was distributed among the sample companies with (15) lists for each company, and (15) lists for each audit office, so that the total sample becomes (120) individuals (with a response rate 83.3%), The results show, First, Big data analytics significantly affect organizations' financial performance, second, Business intelligence mediates (partial) the relationship between big data analytics and financial performance.

확률론적 중장기 댐 유입량 예측 (I) 장기유출 해석 (Probabilistic Medium- and Long-Term Reservoir Inflow Forecasts (I) Long-Term Runoff Analysis)

  • 배덕효;김진훈
    • 한국수자원학회논문집
    • /
    • 제39권3호
    • /
    • pp.261-274
    • /
    • 2006
  • 본 연구에서는 소양강 유역을 대상으로 중장기 확률론적 댐 유입량 예측을 위해 30년 동안의 일단위 장기유출 해석을 수행하였다. 유출모형의 입력자료를 구축하기 위해 Anderson의 융설모형으로 적설에 대한 융설량을 계산하였고, Penman의 혼합기법으로 잠재증발량을 산정하였다. 또한, 기존 TOPMODEL의 적용 유역면적의 제약성을 극복하기 위해 대상유역을 적정 소유역으로 구분하고 운동파 하도홍수 추적기법을 통해 대유역 유출량을 계산할 수 있는 준분포형 TOPMODEL을 활용하였으며, 강수, 융설 및 잠재증발량을 유출모형에 입력하여 장기유출 해석을 수행하였다. 융설량 및 잠재증발량 계산결과는 관측자료의 부재로 그 정량적 평가는 수행할 수 없었지만 최대 적설깊이와 소형접시 증발량 자료와 같은 간접적 자료와의 시간적 변동성은 매우 잘 일치하였다. 이렇게 구축된 입력자료를 바탕으로 저수(1979년), 중수(1999년), 고수(1990년) 유출사상에 대한 모형의 최적 매개변수를 산정하고 준분포형 TOPMODEL의 일단위 장기유출 모의능력을 검토한 결과 계산유량과 관측유량 사이의 유출용적 상대오차가 5.64%, 상관계수가 0.91로 계산되어 비교적 정확한 유출결과를 제시하였고, 융설고려 유무에 따라 3, 4월의 유출용적 상대오차가 17% 및 4%로 감소함으로써 장기유출 계산시 모형의 정확도 향상을 위해 융설모형의 적용이 매우 필요한 것으로 나타났다.

텍스트 분석의 신뢰성 확보를 위한 스팸 데이터 식별 방안 (Detecting Spam Data for Securing the Reliability of Text Analysis)

  • 현윤진;김남규
    • 한국통신학회논문지
    • /
    • 제42권2호
    • /
    • pp.493-504
    • /
    • 2017
  • 최근 뉴스, 블로그, 소셜미디어 등을 통해 방대한 양의 비정형 텍스트 데이터가 쏟아져 나오고 있다. 이러한 비정형 텍스트 데이터는 풍부한 정보 및 의견을 거의 실시간으로 반영하고 있다는 측면에서 그 활용도가 매우 높아, 학계는 물론 산업계에서도 분석 수요가 증가하고 있다. 하지만 텍스트 데이터의 유용성이 증가함과 동시에 이러한 텍스트 데이터를 왜곡하여 특정 목적을 달성하려는 시도도 늘어나고 있다. 이러한 스팸성 텍스트 데이터의 증가는 방대한 정보 가운데 필요한 정보를 획득하는 일을 더욱 어렵게 만드는 것은 물론, 정보 자체 및 정보 제공 매체에 대한 신뢰도를 떨어뜨리는 현상을 초래하게 된다. 따라서 원본 데이터로부터 스팸성 데이터를 식별하여 제거함으로써, 정보의 신뢰성 및 분석 결과의 품질을 제고하기 위한 노력이 반드시 필요하다. 이러한 목적으로 스팸을 식별하기 위한 연구가 오피니언 스팸 탐지, 스팸 이메일 검출, 웹 스팸 탐지 등의 분야에서 매우 활발하게 수행되었다. 본 연구에서는 스팸 식별을 위한 기존의 연구 동향을 자세히 소개하고, 블로그 정보의 신뢰성 향상을 위한 방안 중 하나로 블로그의 스팸 태그를 식별하기 위한 방안을 제안한다.

데이터 기반 경영을 위한 국가R&D API관리시스템의 운영 데이터 활용 가능성 탐색 (Exploring the Possibilities of Operation Data Use for Data-Driven Management in National R&D API Management System)

  • 나혜인;이준영;이병희;최광남
    • 한국콘텐츠학회논문지
    • /
    • 제20권4호
    • /
    • pp.14-24
    • /
    • 2020
  • 본 논문은 최근 세계적인 데이터 개방·공유 정책에 따라 국가R&D 데이터 기반 경영을 위한 효율적인 국가R&D API(Application Programming Interface) 관리시스템 구축과 운영 데이터 활용 가능성 탐색을 목적으로 한다. 국가R&D 데이터 개방·공유 추세에 따라 국가R&D API 서비스의 운영 데이터 분석을 통해 경영효율화 방안을 마련한다. 이를 위해 기존에 개별적으로 배포하던 국가R&D API에 대해 파라미터를 표준화하고 개별 API들을 통합하여 국가R&통합API 관리시스템을 구축한다. 국가R&D API의 서비스 호출 트래픽을 보면 측정을 시작한 2015년 대비 2019년까지 554.5%의 큰 성장세를 이루고 있다. 이에 따라 본 논문은 국가R&D통합API 관리시스템의 실제 운영에 있어서 서비스 운영관리 데이터 기반의 데이터 준비, 분석, 예측을 통해 운영 데이터 활용 가능성을 탐색한다.

하둡 기반의 효율적인 보안로그 분석시스템 설계 및 구현 (Design and Implementation of a Hadoop-based Efficient Security Log Analysis System)

  • 안광민;이종윤;양동민;이봉환
    • 한국정보통신학회논문지
    • /
    • 제19권8호
    • /
    • pp.1797-1804
    • /
    • 2015
  • 통합로그관리시스템은 보안 위험 사항을 예측하고 기관의 보안성 향상에 기여하여 적합한 보안 정책을 마련할 수 있도록 도와준다. 본 논문에서는 대용량의 로그 데이터를 저장할 수 있는 분산 데이터베이스 모델과 로그 수집 절차를 자동화하여 분석 시간을 줄일 수 있는 하둡 기반의 로그 분석 시스템을 설계하고 구현하였다. 제안하는 시스템에서는 HBase를 사용하여 데이터 용량에 따라 Scale-Out 방식으로 유연하게 저장할 수 있게 하였고 정규식을 이용하여 분석에 용이한 저장 기법을 제안하여 기존 시스템 대비 분석 속도를 높일 수 있다.

빅데이터 통합모형 비교분석 (Comparison analysis of big data integration models)

  • 정병호;임동훈
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권4호
    • /
    • pp.755-768
    • /
    • 2017
  • 빅데이터가 4차 산업혁명의 핵심으로 자리하면서 빅데이터 기반 처리 및 분석 능력이 기업의 미래 경쟁력을 좌우할 전망이다. 빅데이터 처리 및 분석을 위한 RHadoop과 RHIPE 모형은 R과 Hadoop의 통합모형으로 지금까지 각각의 모형에 대해서는 연구가 많이 진행되어 왔으나 두 모형간 비교 연구는 거의 이루어 지지 않았다. 본 논문에서는 대용량의 실제 데이터와 모의실험 데이터에서 다중 회귀 (multiple regression)와 로지스틱 회귀 (logistic regression) 추정을 위한 머신러닝 (machine learning) 알고리즘을 MapReduce 프로그램 구현을 통해 RHadoop과 RHIPE 간의 비교 분석하고자 한다. 구축된 분산 클러스터 (distributed cluster) 하에서 두 모형간 성능 실험 결과, RHIPE은 RHadoop에 비해 대체로 빠른 처리속도를 보인 반면에 설치, 사용면에서 어려움을 보였다.

Hadoop 클러스터에서 네임 노드와 데이터 노드가 빅 데이터처리 성능에 미치는 영향에 관한 연구 (A Study on the Effect of the Name Node and Data Node on the Big Data Processing Performance in a Hadoop Cluster)

  • 이영훈;김용일
    • 스마트미디어저널
    • /
    • 제6권3호
    • /
    • pp.68-74
    • /
    • 2017
  • 빅 데이터 처리는 파일이나 이미지, 동영상 등 다양한 형태의 데이터를 처리하여 문제를 해결하고 통찰력 있는 유용한 정보를 제공한다. 현재 빅 데이터 처리를 위해 다양한 플랫폼이 사용되지만, 하둡이 가지는 단순성, 생산성, 확장성, 그리고 내고장성 때문에 많은 기관, 기업에서 빅 데이터 처리에 하둡을 사용하고 있다. 또한, 하둡은 다양한 하드웨어 플랫폼으로 클러스터를 구축할 수 있으며, 네임 노드(Master)와 데이터 노드(Slave)로 구분하여 빅 데이터를 처리한다. 본 논문에서는 실제 기관과 기업에서 사용하는 완전분산모드를 사용하였으며 원활한 테스트를 위해 저전력이고 저가인 싱글 보드를 사용하여 하둡 클러스터를 구축하였다. 네임 노드의 성능 영향 분석은 싱글 보드와 랩톱을 네임 노드로 사용하여 같은 데이터 처리를 통하여 비교하였으며 데이터 노드의 개수에 따른 영향 분석은 싱글 보드를 기존 클러스터의 개수에서 2배까지 늘려가며 데이터 노드가 미치는 영향을 분석하였다.

국방 CALS를 위한 IWSDB 구축에 관한 연구 (The study on the construction of IWSDB for National Defense CALS)

  • 신선우;손해용;김철환
    • 한국전자거래학회지
    • /
    • 제1권1호
    • /
    • pp.93-116
    • /
    • 1996
  • This study aims to develop an approach to construct IWSDB for National Defense CALS. Along with the introduction of Korean version of CALS conception, it is essential to analyze the national defense system with a new information technology for the construction of IWSDB. A long-tenn goal of CALS is to construct fully Integrated Data Environment (IDE) and establish IWSDB for the application of CALS conception to the life cycle management of weapon system. IWSDB is a set of databases that contain digital data. It supports common interface of data objects and databases throughout the life cycle management of weapon system, including design, engineering, analysis, manufacturing, operation, and logistics. etc. The goal of this study is threefold. First, we propose a right direction for the establishment of Integrated Data Environment. For the integrated database technology, we use the five schema architecture and the distributed object oriented technology that will lead to the "share of data." Second, we present the most effective IWSDB architecture for defense CALS, which will provide the efficient data sharing by business process modeling. Third, we suggest that IWSDB should be constructed based on the process which is related to the acquisition and logistics of weapon system for the national defense, and at the same time it should be implemented with GITIS for government agencies and CITIS for the industries in order to obtain the efficient data sharing.

  • PDF

한국인 연구자의 논문 데이터 분석과 활용 (Analysis and Usage of Research Data of Korean Researchers)

  • 최원준;김재훈;김정환
    • 한국콘텐츠학회논문지
    • /
    • 제17권12호
    • /
    • pp.537-544
    • /
    • 2017
  • 국내뿐만 아니라 전 세계적으로 과학기술정보 데이터는 꾸준하게 증가하고 있다. 분야에 관계없이 하루에도 많은 양의 문헌이 만들어지고 배포되는 현 시점에서 연구자들이 이러한 문헌 정보를 효과적으로 사용하여 가치 있고 인간 생활에 유용한 연구 활동을 지원하기 위한 요구가 늘어나고 있다. 과거에는 연구자가 필요한 정보를 검색하는 수준에서 벗어나 이제는 데이터와 데이터를 연결시키고 활용 가능한 고부가가치 정보를 찾아내어 연구자에게 제시하는 서비스로 점점 변화하고 있다. 본 연구에서는 국내외의 과학기술정보 데이터 중에서 한국인 연구자가 작성한 문헌 데이터를 분석하여 활용 사례를 알아보고, 연구자들을 위한 서비스에 도움을 주는 정보를 제시하고자 한다.