KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Effects of Hypervisor on Distributed Big Data Processing in Virtualizated Cluster Environment

가상화 클러스터 환경에서 빅 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향

  • 정혜진 (단국대학교 컴퓨터학과) ;
  • 나연묵 (단국대학교 응용 컴퓨터공학과)
  • Received : 2015.09.08
  • Accepted : 2015.12.12
  • Published : 2016.02.15
⟨ Previous Next ⟩

Abstract

Recently, cluster computing environments have been in a process of change toward virtualized cluster environments. The change of the cluster environment has great impact on the performance of large volume distributed processing. Therefore, many domestic and international IT companies have invested heavily in research on cluster environments. In this paper, we show how the hypervisor affects the performance of distributed processing of a large volume of data. We present a performance comparison of MapReduce processing in two virtualized cluster environments, one built using the Xen hypervisor and the other built using the container-based Docker. Our results show that Docker is faster than Xen.

최근 클라우드 컴퓨팅 시장의 클러스터 환경이 일반 클러스터 환경에서 가상화 클러스터 환경으로 변화하고 있다. 이러한 클러스터 환경의 변화는 대용량 분산처리 성능에 영향을 끼치고 있으며, 국내외의 많은 IT관련 기업에서 경쟁적으로 연구와 서비스에 집중 투자하고 있다. 본 논문에서는 대용량 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향을 비교하기 위한 목적으로 하이퍼바이저를 사용하는 Xen과 컨테이너 기반의 Docker를 사용하여 가상 클러스터 환경을 만들고, MapReduce의 성능을 측정하는 실험을 하였다. 이 결과 하이퍼바이저를 사용하지 않은 Docker 성능이 약 1.44배 - 2.92배 더 좋은 것을 검증하였다.

Keywords

Acknowledgement

Grant : 빅데이타 기반 협업 보조 훈련 스마트 재활 플랫폼 개발, 1,000Cores 이상 Scale Out 가능한 클러스터 데이터베이스 플랫폼 개발

Supported by : 정보통신기술진흥센터

References

  1. Cheolsu Lim, "Technology Trends on Big Data Analysis Tools," (The)journal of Korean institute of next generation computing, Vol. 10, No. 5, pp. 77-84, 2014.
  2. Paul Barham, Boris Dragovic, Keir Fraser, Steven Hand, Tim Harris, Alex Ho, Rolf Neugebauery, Ian Pratt, Andrew Warfield, "Xen and the Art of Virtualization," The ACM Symposium on Operating Systems Principles, pp. 164-177, 2003.
  3. J. Dean and S. Ghemawat, "MapReduce : Simplied Data Processing on Large Clusters," CACM, Vol. 51, No. 1, pp. 107-113, 2008.
  4. Yoonho Kim, Haejin Chung, Wonsuk Choi, Joonmo Kim, JongMoo Choi, "Effects of Reduce Task Number on Performance of I/O-intensive MapReduce Applications in Virtualization Environment," Journal of Computing Science and Engineering, Vol. 19, No. 7, pp. 403-407, 2013. (in Korean)
  5. http://www.docker.com/whatisdocker
  6. Deshane, T., Shepherd, Z., Matthews, J., Ben-Yehuda, M., Shah, A., &Rao, B., "Quantitative comparison of Xen and KVM," Xen Summit, Boston, MA, USA, pp. 1-2, 2008.
  7. Gomes Xavier, Miguel, et al., "A performance comparison of container-based virtualization systems for mapreduce clusters," Parallel, Distributed and Network-Based Processing (PDP), 2014 22nd Euromicro International Conference on. IEEE, pp. 299-306, 2014.
  8. Shvachko K, KuangH, RadiaS, ChanslerR., "The hadoop distributed file system," IEEE 26 the symposium on mass storage systems and technologies (MSST), IEEE, pp. 1-10, 2010.

Cited by

  1. Mutual Authentication Scheme between Multiple Instances for Secure Data Share of Virtualized Environment vol.16, pp.6, 2016, https://doi.org/10.7236/JIIBC.2016.16.6.83