Proceedings of the Korea Contents Association Conference (한국콘텐츠학회:학술대회논문집)

The Korea Contents Association (한국콘텐츠학회)
권호 표지

An Enhanced MapReduce Scheduling Scheme Considering Node Load in Distributed Environments

분산 환경에서 노드 부하를 고려한 향상된 맵리듀스 스케쥴링 기법

  • Hwang, Jaemin (Department of Information & Communication Engineering, Chungbuk National University) ;
  • Oh, Hyunkyo (Department of Information & Communication Engineering, Chungbuk National University) ;
  • Kim, Cheonjung (Department of Information & Communication Engineering, Chungbuk National University) ;
  • Lim, Jongtae (Department of Information & Communication Engineering, Chungbuk National University) ;
  • Bok, Kyoungsoo (Department of Information & Communication Engineering, Chungbuk National University) ;
  • Yoo, Jaesoo (Department of Information & Communication Engineering, Chungbuk National University)
  • 황재민 (충북대학교 정보통신공학과) ;
  • 오현교 (충북대학교 정보통신공학과) ;
  • 김천중 (충북대학교 정보통신공학과) ;
  • 임종태 (충북대학교 정보통신공학과) ;
  • 복경수 (충북대학교 정보통신공학과) ;
  • 유재수 (충북대학교 정보통신공학과)
  • Published : 2014.11.21
Download PDF
⟨ Previous Next ⟩

Abstract

데드라인을 고려한 스케쥴러는 데드라인 내에 잡을 완료시키기 위해 노드의 실시간 I/O 부하, 데이터 지역성 등을 이용한다. 하지만 데드라인을 만족시키기 위한 기법이 오히려 노드부하를 야기하는 현상이 나타난다. 본 논문에서는 노드의 부하에 따라 맵리듀스 처리 성능이 저하되는 문제점을 해결하기 위해 새로운 스케줄링 기법을 제안한다. 제안하는 스케줄링 기법은 우선 순위에 의해 중지되는 작업의 발생을 감소시키기 위해 동일한 작업을 중복적으로 수행시키는 사행 작업(speculative task)를 처리한다. 맵리듀스 작업의 지연이나 취소를 방지시키기 위해 핫 데이터 청크를 성능이 우수한 노드에 복제한다.

Keywords