그림 2. GlusterFS 기반 빅데이터 처리 기법 Fig. 2. GlusterFS based big data processing scheme
그림 3. 인-메모리 기반 빅데이터 처리 기법 Fig. 3. In-Memory based big data processing scheme
그림 5. Combiner 단계의 데이터 처리를 위한 의사코드 Fig. 5. The pseudo code of combiner step for data processing
그림 6. 메모리에 저장되는 키·값 형태 데이터 모델 Fig. 6. The data model of a pair of Key·Value type
그림 7. 빅데이터 처리시간 비교 분석 Fig. 7. Comparison analysis of big data processing time
그림 8. 데이터 노드의 수에 따른 데이터 소실량 분석 Fig. 8. Analysis of error data blocks by number of data nodes
그림 1. 맵리듀스 프레임워크 기반 빅데이터 처리 기법 Fig. 1. Mapreduce frameworks based big data processing scheme
그림 4. 제안하는 빅데이터 처리 기법의 처리 프로세스 Fig. 4. The process of big data processing scheme
표 1. 성능평가를 위한 주요 환경 구성 Table. 1. Environment for performance analysis
표 2. 데이터 노드의 수에 따른 빅데이터 처리 시간 비교 분석 결과 Table 2. Result of comparison analysis of big data processing time by number of data nodes
표 3. 데이터 노드의 수에 따른 데이터 소실량 비교 분석 결과 Table 3. Result of comparison analysis of error data blocks by number of data nodes
참고문헌
- H. Lee, Y. Kim, J. Park and J. Lee, "Map Reduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 11, No. 5, pp. 593-600, 2018 https://doi.org/10.17661/JKIIECT.2018.11.5.593
- H. Lee, Y. Kim, K. Kim and J. Choi, "Design of GlusterFS Based Big Data Distributed Processing System in Smart Factory," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 11, No. 1, pp. 70-75, 2018 https://doi.org/10.17661/JKIIECT.2018.11.1.70
- D. Hwang, K. Ko, S. Park and W. Kim, "Development for establishing Big Data-based alley commercial area," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 11, No. 6, pp. 784-792, 2018 https://doi.org/10.17661/JKIIECT.2018.11.6.784
- H. G. Lee, Y. W. Kim and K. Y. Kim, "Implementation of an Efficient Big Data Collect ion Platform for Smart Manufacturing," Journal of Engineering and Applied Sciences, 12(2Si), pp. 6304-6307, 2018
- Y. Kwon and I. Kim, "A Study on Anomaly Signal Detection and Management Model using Big Data," The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 16, No. 6, pp. 287-294, 2016 https://doi.org/10.7236/JIIBC.2016.16.6.287
- J. Kim, J. Park and S. Chung, "Analysis of Network Log based on Hadoop," The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 5, pp. 125-130, 2017 https://doi.org/10.7236/JIIBC.2017.17.5.125
- E. Jeong and B. Lee, "A Design of Hadoop Security Protocol using One Time Key based on Hash-chain," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 10, No. 4, pp. 340-349, 2017 https://doi.org/10.17661/jkiiect.2017.10.4.340