• Title/Summary/Keyword: 빅데이터 처리

Search Result 1,120, Processing Time 0.04 seconds

A Study on the Global Market Leader in Industry due to the Utilization Big Data (산업용 빅데이터 활용으로 인한 글로벌 시장 선도에 대한 연구)

  • Oh, Hyun-Kyung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.273-276
    • /
    • 2015
  • 센서를 통한 제조업 생산 공정 데이터양의 폭발적 증가와 제조업의 서비스화 추세, 제조업의 미래산업과 빅데이터의 융합 추세를 고려해 보았을 때 앞으로 제조업에서 빅데이터의 영향은 점점 커질 것으로 예상된다. 따라서 한국의 제조업도 세계의 제조업 첨단화에 발맞추기 위해서 빅데이터의 활용을 장려하고 지원할 필요가 있다. 제조업의 실질적 효율성을 제공하는 효과의 임팩트가 가장 큰 기술 분야에서는 빅데이터 분석이 먼 미래에 도입을 고려할 분야가 아닌 현재의 최대 이슈이다. 제조업에서의 빠른 대응, 민첩성, 신뢰도 향상에서 기업들은 비용을 절감하고 자산의 효율적인 활용 측면에서도 단순한 제조공정에서 벗어나 많은 제조 기업들이 공장을 디지털화하고 스마트한 제조 공정 시스템 확보에 빅데이터를 구현, 활용해야 하는 단계이다. 빅데이터 활용은 현 시점에서 산업에 주는 영향으로 가장 파괴적인 기술이 될 것으로 예상된다.

Implementation of High Speed Big Data Processing System using In Memory Data Grid in Semiconductor Process (반도체 공정에서 인 메모리 데이터 그리드를 이용한 고속의 빅데이터 처리 시스템 구현)

  • Park, Jong-Beom;Lee, Alex;Kim, Tony
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.15 no.5
    • /
    • pp.125-133
    • /
    • 2016
  • Data processing capacity and speed are rapidly increasing due to the development of hardware and software in recent time. As a result, data usage is geometrically increasing and the amount of data which computers have to process has already exceeded five-thousand transaction per second. That is, the importance of Big Data is due to its 'real-time' and this makes it possible to analyze all the data in order to obtain accurate data at right time under any circumstances. Moreover, there are many researches about this as construction of smart factory with the application of Big Data is expected to have reduction in development, production, and quality management cost. In this paper, system using In-Memory Data Grid for high speed processing is implemented in semiconductor process which numerous data occur and improved performance is proven with experiments. Implemented system is expected to be possible to apply on not only the semiconductor but also any fields using Big Data and further researches will be made for possible application on other fields.

A Study of Bigdata Platform for Supporting Engineering Services (엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구)

  • Seo, Dongwoo;Kim, Myungil;Park, Sangjin;Kim, Jaesung;Jeong, Seok Chan
    • The Journal of Bigdata
    • /
    • v.4 no.1
    • /
    • pp.119-127
    • /
    • 2019
  • This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.

  • PDF

Architecture of LCMS for Smart Learing Based on BigData (빅데이터 기반 스마트러닝을 위한 LCMS 구조)

  • Kim, Seong-Jin;Park, Seok-Cheon;Lee, Sang-Muk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1234-1237
    • /
    • 2013
  • 빅데이터의 중요성이 부각되고 있는 빅데이터의 시대에 교육서비스시장은 스마트 교육이라는 새로운 변화에 따라 많은 변화가 일어나고 있다. 자기 주도적이며 개인화되고 쌍방향커뮤니케이션 등의 특징을 가진 스마트러닝 환경에서는 LMS와 LCMS의 역할이 점점 중요해지고 있다. 현재 콘텐츠의 중요성이 부각되는 정보홍수 시대이므로 LCMS가 해야 할 역할이 크다. 그러나 아직까지는 교육서비스에서 빅데이터의 아키텍쳐와 대용량 데이터 처리 기술을 활용하고 있는 사례는 그다지 많지 않다. 이에 본 논문에서는 빅데이터 기술을 활용한 LCMS에 대해 분석하고 새로운 방안을 제시하고자 한다.

Big Data Processing Scheme of Distribution Environment (분산환경에서 빅 데이터 처리 기법)

  • Jeong, Yoon-Su;Han, Kun-Hee
    • Journal of Digital Convergence
    • /
    • v.12 no.6
    • /
    • pp.311-316
    • /
    • 2014
  • Social network server due to the popularity of smart phones, and data stored in a big usable access data services are increasing. Big Data Big Data processing technology is one of the most important technologies in the service, but a solution to this minor security state. In this paper, the data services provided by the big -sized data is distributed using a double hash user to easily access to data of multiple distributed hash chain based data processing technique is proposed. The proposed method is a kind of big data data, a function, characteristics of the hash chain tied to a high-throughput data are supported. Further, the token and the data node to an eavesdropper that occurs when the security vulnerability to the data attribute information to the connection information by utilizing hash chain of big data access control in a distributed processing.

Real Time Stock Information Analysis Method Based on Big Data considering Reliability (신뢰성을 고려한 빅데이터 기반 실시간 증권정보 분석 기법)

  • Kim, Yoon-Ki;Cho, Chang-Woo;Jeong, Chang-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.146-147
    • /
    • 2013
  • 소셜 미디어와 스마트폰의 확산으로 인터넷상의 사용자간 교류되는 정보의 양이 대폭 늘어남에 따라 대규모의 데이터를 처리해야할 필요성이 높아졌다. 이러한 빅데이터는 뉴스, 소셜미디어, 웹사이트 등의 다양한 분산 서버에서 발생한다. 증권정보를 분석하기 위해서도 실시간으로 발생되는 거래량, 시가와 더불어 상장회사의 공시 정보 등의 데이터를 여러 분산된 서버에서 데이터를 가져와야 한다. 기존의 빅데이터 분석기법은 각 분산된 서버로부터 가져온 데이터가 동일한 신뢰성을 가지고 있다고 가정하고 분석을 한다. 이는 부문별한 정보를 포함한 데이터를 효율적으로 분석하지 못하는 한계를 지니고 있다. 본 논문에서는 가져오는 데이터에 신뢰성 가중치를 부여하여 신뢰성 있는 증권정보 분석을 가능하게 한다.

Reenforcement and Utilization Method of BigData Security (빅데이터 보안 강화 및 활용 방안)

  • Kang, Jung-Ku;Park, Seok-Cheon;Kim, Jong-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1256-1259
    • /
    • 2013
  • 최근 데이터의 양이 기하급수적으로 증가하면서 빅데이터가 이슈가 되어 많은 관심을 받고 있는 현실이다. 현재 빅데이터의 기술은 데이터 추출과 이용에만 초점이 맞춰져 있어 보안에 취약한 시스템에 해킹시도가 있을 경우 개인과 기업에 막대한 피해가 발생될 수 있다. 따라서 본 논문에서는 빅데이터 보안에 초점을 두어 외부로부터 피해를 방지하고 안전하게 빅데이터 서버를 운영하는 방법을 제시한다. 즉, Iptable을 이용한 IP나 포트 허용 여부를 지정하고 가상사설망(VPN)을 이용하여 외부 접속을 방지하며 패스워드 강화를 통해 빅데이터 서버의 보안 강화 및 활용 방안을 제시하였다.

Distributed Data Processing for Bigdata Analysis in War Game Simulation Environment (워게임 시뮬레이션 환경에 맞는 빅데이터 분석을 위한 분산처리기술)

  • Bae, Minsu
    • The Journal of Bigdata
    • /
    • v.4 no.2
    • /
    • pp.73-83
    • /
    • 2019
  • Since the emergence of the fourth industrial revolution, data analysis is being conducted in various fields. Distributed data processing has already become essential for the fast processing of large amounts of data. However, in the defense sector, simulation used cannot fully utilize the unstructured data which are prevailing at real environments. In this study, we propose a distributed data processing platform that can be applied to battalion level simulation models to provide visualized data for command decisions during training. 500,000 data points of strategic game were analyzed. Considering the winning factors in the data, variance processing was conducted to analyze the data for the top 10% teams. With the increase in the number of nodes, the model becomes scalable.

  • PDF

A Study on Heterogenous Big Data Processing Platforms for Smart Factory (스마트 공장을 위한 이기종 빅데이터 처리 플랫폼에 대한 연구)

  • Song, Je-O;Cho, Jung-Hyun;Kwon, Jin-Gwan;Lee, Sang-Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.335-336
    • /
    • 2019
  • 5G를 비롯한 무선 네트워크의 발달과 인터넷의 보급이 보편화되어 가고 있다. 또한, 스마트폰 등의 모바일 기기 등이 일상화됨에 따라 방대하고 다양한 유형의 데이터들이 발생되고 있다. 이와 같은 범람하기 시작한 정보와 데이터들을 연결하여 새로운 가치를 창출하는 초지능 연결의 4차 산업혁명 시대가 도래하였다. 이러한 4차 산업혁명은 ICBM(IoT, Cloud, Big data, Mobile) 기술이 발달함에 따라 가능했으며. 그중 빅데이터는 초지능 연결의 근간이 되고 있다. 하지만, 빅데이터에서의 데이터는 다양한 목적에 의해 다양한 유형의 데이터를 모두 포함하고 있음에도 데이터 포맷 및 데이터 셋 등의 불일치에 의해 즉각적인 연결은 불가능하다. 본 논문에서는 스마트 공장을 중심으로 서로 다른 형태의 이기종 데이터를 통합하여 처리할 수 있는 빅데이터 처리 플랫폼을 제안한다.

  • PDF

MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis (로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법)

  • Lee, Hyeopgeon;Kim, Young-Woon;Park, Jiyong;Lee, Jin-Woo
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.11 no.5
    • /
    • pp.593-600
    • /
    • 2018
  • Owing to the advancement of Internet and smart devices, access to various media such as social media became easy; thus, a large amount of big data is being produced. Particularly, the companies that provide various Internet services are analyzing the big data by using the MapReduce-based big data analysis techniques to investigate the customer preferences and patterns and strengthen the security. However, with MapReduce, when the big data is analyzed by defining the number of reducer objects generated in the reduce stage as one, the processing rate of big data analysis decreases. Therefore, in this paper, a MapReduce-based split big data analysis method is proposed to improve the log analysis processing rate. The proposed method separates the reducer partitioning stage and the analysis result combining stage and improves the big data processing rate by decreasing the bottleneck phenomenon by generating the number of reducer objects dynamically.