DOI QR코드

DOI QR Code

Integrated Verification of Hadoop Cluster Prototypes and Analysis Software for SMB

중소기업을 위한 하둡 클러스터의 프로토타입과 분석 소프트웨어의 통합된 검증

  • 차병래 (광주과학기술원 정보통신공학부) ;
  • 김남호 (호남대학교 인터넷소프트웨어학과) ;
  • 이성호 ((주)UC 연구소) ;
  • 지유강 (휴인테크) ;
  • 김종원 (광주과학기술원 정보통신공학부)
  • Received : 2014.02.27
  • Accepted : 2014.03.21
  • Published : 2014.04.30

Abstract

Recently, researches to facilitate utilization by small and medium business (SMB) of cloud computing and big data paradigm, which is the booming adoption of IT area, has been on the increase. As one of these efforts, in this paper, we design and implement the prototype to tentatively build up Hadoop cluster under private cloud infrastructure environments. Prototype implementation are made on each hardware type such as single board, PC, and server and performance is measured. Also, we present the integrated verification results for the data analysis performance of the analysis software system running on top of realized prototypes by employing ASA (American Standard Association) Dataset. For this, we implement the analysis software system using several open sources such as R, Python, D3, and java and perform a test.

최근 IT 분야의 화두인 클라우드 컴퓨팅과 빅데이터 패러다임을 중소기업(Small and Medium Business: SMB) 차원에서 용이하게 활용하도록 지원하는 시도가 증가하고 있다. 이러한 노력의 일환으로, 본 논문에서는 프라이빗 클라우드 인프라 환경을 대상으로 하둡(Hadoop) 클러스터를 시험적으로 구축하는 프로토타입을 설계하고 구현한다. 프로토타입 구현은 싱글보드, PC, 그리고 서버를 이용하여 각각 수행하고, 그 성능을 테스트한다. 또한, ASA (American Standard Association) Dataset을 이용한 빅데이터 분석을 통해서 구축된 하둡 프로토타입을 활용하는 분석 소프트웨어 시스템의 성능을 통합적으로 검증한 결과를 제시한다. 이를 위해, R, 파이썬, D3, 자바와 같은 오픈소스를 이용하여 분석 소프트웨어 시스템을 구현하고, 테스트를 수행한다.

Keywords

References

  1. Gartner Group [Internet]. Available: http://www.gartner.com/
  2. ENISA [Internet]. Available: http://www.enisa.europa.eu
  3. ENISA Survey, "An SME perspective on Cloud Computing," 2009 [Online]. Available: http://www.enisa.europa.eu/activities/risk-management/files/deliverables/cloud-computing-sme-survey
  4. J. Manyika and M. Chui, "Big data: the next frontier for innovation, competition, and productivity," McKinsey Global Institute, May 2011.
  5. P. Russom, "Big data analytics", TDWI Research Fourth Quarter, p.6, 2011.
  6. Big Data: Expanding on 3 fronts at an increasing rate [Internet]. vailable: http://itknowledgeexchange.techtarget.com/writing-for- business /files/2013/02/BigData.001.jpg
  7. The Big Data & Analytics Hub [Internet] Available: http://www.ibmbigdatahub.com/infographic/four-vsbig-data
  8. S. Makoto, "The impact of cloud computing," Jpub Press, 2009.
  9. R. Craif, J. Frazier, N. Jacknis, S. Murphy, C. Purcell, P. Spencer and JD Stanley, "Cloud computing in the public sector", 2009, USA.
  10. B. R. Cha, H. G. Kim, D. G. Kim, J. W. Kim, and Y. I. Kim, "Basic prototype design and verification of Hadoop cluster based on private cloud infrastructure for SMB," Journal of Advanced Navigation Technology, Vol. 17, No. 2, pp. 225-233, Apr. 2013. https://doi.org/10.12673/jkoni.2013.17.2.225
  11. boto [Internet], Available: https://github.com/boto/boto