• 제목/요약/키워드: Big data analytics

검색결과 279건 처리시간 0.021초

빅데이터 분석 교육 프로그램을 통한 대학 교육 가치 창출 (Creating Value for Education through Big Data Analysis Education Programs)

  • 조우제;유미림
    • 한국빅데이터학회지
    • /
    • 제3권2호
    • /
    • pp.123-130
    • /
    • 2018
  • 산업 및 학계에서 빅데이터 분석 기술에 대한 활용 사례와 범위가 증가하면서, 이와 함께 빅데이터 분석 전문가에 대한 기업체들의 수요도 늘고 있다. 이러한 추세에 맞게 대학교들은 새로운 빅데이터 분석 교육과정들을 개발하여 수년 전부터 빅데이터 분석 전문가 양성을 위한 교육과정들을 제공하기 시작하였다. 본 연구에서는 9개 국내 대학, 20개 해외 대학의 빅데이터 분석 관련 석사과정 커리큘럼을 조사하였다. 국내 대학 프로그램과 해외 대학 프로그램을 비교한 결과, 한 학교 프로그램 당 평균 과목수는 국내 대학 프로그램이 더 많으나, 과목의 다양성 측면에서는 더 부족한 것으로 나타났다.

GS1을 활용한 빅데이터 분석 플랫폼 기반의 스마트 소화기구 모니터링 시스템 (Smart Fire Fighting Appliances Monitoring System using GS1 based on Big Data Analytics Platform)

  • 박흠
    • 디지털산업정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.57-68
    • /
    • 2018
  • This paper presents a smart firefighting appliances monitoring system based on big data analytics platform using GS1 for Smart City. Typical firefighting appliances are fire hydrant, fire extinguisher, fire alarm, sprinkler, fire engine, etc. for the fire of classes A/B/C/D/E. Among them, the dry chemical fire extinguisher have been widely supplied and 6 millions ones were replaced for the aging ones over 10 years in the past year. However, only 5% of them have been collected for recycling of chemical materials included the heavy metals of environment pollution. Therefore, we considered the trace of firefighting appliances from production to disposal for the public open service. In the paper, we suggest 1) a smart firefighting appliances system using GS1, 2) a big data analytics platform and 3) a public open service and visualization with the analyzed information, for fire extinguishers from production to disposal. It can give the information and the visualized diagrams with the analyzed data through the public open service and the free Apps.

Big Data Strategies for Government, Society and Policy-Making

  • LEE, Jung Wan
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제7권7호
    • /
    • pp.475-487
    • /
    • 2020
  • The paper aims to facilitate a discussion around how big data technologies and data from citizens can be used to help public administration, society, and policy-making to improve community's lives. This paper discusses opportunities and challenges of big data strategies for government, society, and policy-making. It employs the presentation of numerous practical examples from different parts of the world, where public-service delivery has seen transformation and where initiatives have been taken forward that have revolutionized the way governments at different levels engage with the citizens, and how governments and civil society have adopted evidence-driven policy-making through innovative and efficient use of big data analytics. The examples include the governments of the United States, China, the United Kingdom, and India, and different levels of government agencies in the public services of fraud detection, financial market analysis, healthcare and public health, government oversight, education, crime fighting, environmental protection, energy exploration, agriculture, weather forecasting, and ecosystem management. The examples also include smart cities in Korea, China, Japan, India, Canada, Singapore, the United Kingdom, and the European Union. This paper makes some recommendations about how big data strategies transform the government and public services to become more citizen-centric, responsive, accountable and transparent.

The Impact of Big Data Analytics on Audit Procedures: Evidence from the Middle East

  • ALRASHIDI, Mousa;ALMUTAIRI, Abdullah;ZRAQAT, Omar
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제9권2호
    • /
    • pp.93-102
    • /
    • 2022
  • The goal of this study was to see how big data analytics (BDA) affected external audit procedures in the Middle East. The measurement model and structural model of this investigation were evaluated using PLS-SEM (3.3.3). The study sample members were (361) auditors who work in auditing companies in Kuwait, Saudi Arabia, the United Arab Emirates, Jordan, Bahrain, Egypt, Lebanon, and Iraq. A questionnaire was chosen to the study sample members electronically, and the study sample members were (5093) auditors who work in auditing companies in Kuwait, Saudi Arabia, the United Arab Emirates, Jordan, Bahrain, Egypt, Lebanon, and Iraq. To choose the sample, the researchers used a stratified random sampling procedure. The findings show that BDA has an impact on audit procedures at all phases of the auditing process, where it contributes to information delivery that helps auditors understand the client's internal and external environments, which in turn influences the choice to accept the audit assignment. Furthermore, by providing essential information, BDA enables auditors to simply run analytical procedures, estimate client risks, and understand and evaluate the internal control system. As a result, auditors must develop their abilities in the BDA field, as it adds to the creation of additional value for both auditors and their clients.

Enhanced Regular Expression as a DGL for Generation of Synthetic Big Data

  • Kai, Cheng;Keisuke, Abe
    • Journal of Information Processing Systems
    • /
    • 제19권1호
    • /
    • pp.1-16
    • /
    • 2023
  • Synthetic data generation is generally used in performance evaluation and function tests in data-intensive applications, as well as in various areas of data analytics, such as privacy-preserving data publishing (PPDP) and statistical disclosure limit/control. A significant amount of research has been conducted on tools and languages for data generation. However, existing tools and languages have been developed for specific purposes and are unsuitable for other domains. In this article, we propose a regular expression-based data generation language (DGL) for flexible big data generation. To achieve a general-purpose and powerful DGL, we enhanced the standard regular expressions to support the data domain, type/format inference, sequence and random generation, probability distributions, and resource reference. To efficiently implement the proposed language, we propose caching techniques for both the intermediate and database queries. We evaluated the proposed improvement experimentally.

빅데이터 역량 평가를 위한 참조모델 및 수준진단시스템 개발 (An Assessment System for Evaluating Big Data Capability Based on a Reference Model)

  • 천민경;백동현
    • 산업경영시스템학회지
    • /
    • 제39권2호
    • /
    • pp.54-63
    • /
    • 2016
  • As technology has developed and cost for data processing has reduced, big data market has grown bigger. Developed countries such as the United States have constantly invested in big data industry and achieved some remarkable results like improving advertisement effects and getting patents for customer service. Every company aims to achieve long-term survival and profit maximization, but it needs to establish a good strategy, considering current industrial conditions so that it can accomplish its goal in big data industry. However, since domestic big data industry is at its initial stage, local companies lack systematic method to establish competitive strategy. Therefore, this research aims to help local companies diagnose their big data capabilities through a reference model and big data capability assessment system. Big data reference model consists of five maturity levels such as Ad hoc, Repeatable, Defined, Managed and Optimizing and five key dimensions such as Organization, Resources, Infrastructure, People, and Analytics. Big data assessment system is planned based on the reference model's key factors. In the Organization area, there are 4 key diagnosis factors, big data leadership, big data strategy, analytical culture and data governance. In Resource area, there are 3 factors, data management, data integrity and data security/privacy. In Infrastructure area, there are 2 factors, big data platform and data management technology. In People area, there are 3 factors, training, big data skills and business-IT alignment. In Analytics area, there are 2 factors, data analysis and data visualization. These reference model and assessment system would be a useful guideline for local companies.

Spark SQL 기반 고도 분석 지원 프레임워크 설계 (Design of Spark SQL Based Framework for Advanced Analytics)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권10호
    • /
    • pp.477-482
    • /
    • 2016
  • 기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.

빅데이터 기반의 정성 정보를 활용한 부도 예측 모형 구축 (Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics)

  • 조남옥;신경식
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.33-56
    • /
    • 2016
  • 대부분의 부도 예측에 관한 연구는 재무 변수를 중심으로 통계적 방법 또는 인공지능 기법을 적용하여 부도 예측 모형을 구축하였다. 그러나 재무비율과 같은 회계 정보를 이용한 부도 예측 모형은 재무 제표 결산 시점과 신용평가 시점 간 시차를 고려하지 않을 뿐만 아니라 해당 산업의 경제적 상황과 같은 외부 환경적인 요소를 반영하기 어렵다는 한계점이 존재하였다. 기업의 부도 여부를 예측하기 위해 정량 정보인 재무 변수만을 이용하는 것에 한계가 있음에도 불구하고 정성 정보를 부도 예측 모형에 반영한 연구는 아직 미흡한 실정이다. 본 연구에서는 재무 변수를 이용하는 기존 부도 예측 모형의 성과를 개선하기 위해 빅데이터 기반의 정성 정보를 추가적인 입력 변수로 활용하는 부도 예측 모형을 제안하였다. 제안 모형의 성과 향상은 정성 정보를 예측 모형에 통합시키기에 적합한 형태로 정보의 유형을 변환시킬 수 있는가에 따라 달려있다. 이에 본 연구에서는 정성 정보 처리를 위한 방법으로 빅데이터 분석 기법 중 하나인 텍스트 마이닝(Text Mining)을 활용하였다. 해당 산업과 관련된 경제 뉴스 데이터로부터 경제 상황에 대한 감성 정보를 추출하기 위해 도메인 중심의 감성 어휘 사전을 구축하고, 구축된 어휘 사전을 기반으로 감성 분석(Sentiment Analysis)을 수행하였다. 형태소 분석 등을 포함한 텍스트 전처리 과정을 거쳐 감성 어휘를 추출하고, 각 어휘에 대한 극성 및 감성 점수를 부여하였다. 분석 결과, 전통적 부도 예측 모형에 경제 뉴스 데이터에서 도출한 정성 정보를 반영하는 것은 모형의 성과를 개선하는 것으로 나타났다. 특히, 경제 상황에 대한 부정적 감정이 기업의 부도 여부를 예측하는 데 더욱 효과적임을 알 수 있었다.

빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현 (Real time predictive analytic system design and implementation using Bigdata-log)

  • 이상준;이동훈
    • 정보보호학회논문지
    • /
    • 제25권6호
    • /
    • pp.1399-1410
    • /
    • 2015
  • 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다.

Does Big Data Analytics Enhance Sustainability and Financial Performance? The Case of ASEAN Banks

  • ALI, Qaisar;SALMAN, Asma;YAACOB, Hakimah;ZAINI, Zaki;ABDULLAH, Rose
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제7권7호
    • /
    • pp.1-13
    • /
    • 2020
  • This study analyzes the key drivers (commitment, integration of big data, green supply chain management, and green human resource practices) of sustainable capabilities and the influence to which these sustainable capabilities impact the banks' environmental and financial performance. Additionally, this study analyzes the impact of green management practices on the integration of big data technology with operations. The theory of dynamic capability was deployed to propose and empirically test the conceptual model. Data was collected through a self-administrated survey questionnaire from 319 participants employed at 35 banks located in six ASEAN countries. The findings indicate that big data analytics strategies have an impact on internal processes and banks' sustainable and financial performance. This study indicates that banks committed towards proper data monitoring of its clients achieve operational efficiency and sustainability goals. Moreover, our results confirm that banks practising green innovation strategies experience better environmental and economic performance as the employees of these banks have received advance green human resource training. Finally, our study found that internal and external green supply chain management practices have a positive impact on banks' environmental and financial performance, which confirms that ASEAN banks contributing in reduction of environmental impact through its operations will ultimately experience increased financial performance.