A Key Distribution Method for load balancing in MapReduce Framework

MapReduce 프레임워크에서 균등한 작업 부하 분산를 위한 키 분배 기법에 대한 연구

  • Son, Ji-Hoon (Center for Advanced Model Solutions, Korea University) ;
  • Choi, Hyun-Sik (Dept. of Computer Science and Engineering, Korea University) ;
  • Chung, Yon-Dohn (Dept. of Computer Science and Engineering, Korea University)
  • 손지훈 (고려대학교 모바일솔루션학과) ;
  • 최현식 (고려대학교 컴퓨터공학과) ;
  • 정연돈 (고려대학교 컴퓨터공학과)
  • Published : 2011.06.29

Abstract

맵리듀스는 대용량의 데이터를 병렬로 처리하기 위해 제안된 프레임워크이다. 맵리듀스 프레임워크는 대용량의 데이터를 처리하기에 적합하기 때문에 많은 응용에서 사용되고 있다. 하지만 이것은 불균등한 데이터 분포에 대해 취약하다는 단점이 있다. 본 논문에서 우리는 맵리듀스 프레임워크에서 균등한 작업 부하 분산을 위한 키 분배 기법을 제안한다. 우리는 실험을 통해 제안 기법이 기존의 맵리듀스보다 불균등한 분포를 갖는 데이터를 효율적으로 처리한다는 것을 보였다.

Keywords

Acknowledgement

Supported by : 한국연구재단