작업 이력의 통계 분석을 통한 적응형 그리드 자원 선택 기법

An Adaptive Grid Resource Selection Method Using Statistical Analysis of Job History

  • 허신영 (숙명여자대학교 컴퓨터과학과) ;
  • 김윤희 (숙명여자대학교 컴퓨터과학과)
  • 투고 : 2009.11.11
  • 심사 : 2010.02.23
  • 발행 : 2010.06.15

초록

다양한 과학 분야에서 대규모의 계산집중적인 어플리케이션들이 많은 그리드 자원을 활용해감에 따라 그 실행 관리와 제어의 어려움도 증가하였다. 어플리케이션의 반복되는 실행으로 축적된 작업 이력을 참조하여 어플리케이션의 특성을 파악하고 그리드 자원 선택 정책을 결정하였다. 본 논문은 그리드 컴퓨팅 환경과 이를 활용한 어플리케이션의 이력을 분석하기 위해 통계적 기법인 PBDF(Plackett-Burman with Fold-Over)계획법을 적용하였다. PBDF는 그리드 환경과 어플리케이션에서 주요한 요인들을 파악하고, 그것들이 얼마만큼 영향을 미치는 가를 수치화한다. 영향력 큰 요인은 작업 이력에서 참조 프로파일을 찾고 적절한 자원을 선택하는데 사용하였다. 응용의 수행 결과를 다시 작업 이력에 포함시키고 인자의 신뢰도를 조정하였다. 본 연구는 항공우주 연구 그리드의 작업 이력을 분석하여 적응형 자원 선택 알고리즘을 제안하였다. 주요한 요인들의 영향력을 계산하고 자원 선택 정책에 반영하는 실험을 하였다. 또한, 수행이 끝난 후 인자의 신뢰도를 평가해 그리드 환경 변화에 적응하는 알고리즘의 유효성을 검증하였다. 오류가 빈번한 그리드 환경에서 자원 선택 기법을 평가하기 위해 다양한 시나리오에서 그 적응력을 실험하였다.

As large-scale computational applications in various scientific domains have been utilized over many integrated sets of grid computing resources, the difficulty of their execution management and control has been increased. It is beneficial to refer job history generated from many application executions, in order to identify application‘s characteristics and to decide selection policies of grid resource meaningfully. In this paper, we apply a statistical technique, Plackett-Burman design with fold-over (PBDF), for analyzing grid environments and execution history of applications. PBDF design identifies main factors in grid environments and applications, ranks based on how much they affect to their execution time. The effective factors are used for selecting reference job profiles and then preferable resource based on the reference profiles is chosen. An application is performed on the selected resource and its execution result is added to job history. Factor's credit is adjusted according to the actual execution time. For a proof-of-concept, we analyzed job history from an aerospace research grid system to get characteristics of grid resource and applications. We built JARS algorithm and simulated the algorithm with the analyzed job history. The simulation result shows good reliability and considerable performance in grid environment with frequently crashed resources.

키워드

참고문헌

  1. Klaus Krauter, Rajkumar Buyya, Muthucumaru Maheswaran, "A taxonomy and survey of grid resource management systems for distributed computing," Software-Practice & Experience, vol.32 no.2, pp.135-164, February 2002. https://doi.org/10.1002/spe.432
  2. 김종암, 김윤희, 김병수, 안재완, 김진호, 이준석, 최중근, 이근배, 조정현, 김지영, 허신영, 강상현, 류근영, "다분야 유체해석을 위한 e-Science 기술개발 및 활용 연구," 보고서 I-08-GG-05-01R-1, 한국과학기술정보원, 2008.
  3. Alexandru Iosup, Hui Li, Mathieu Jan, Shanny Anoep, Catalin Dumitrescu, Lex Wolters, Dick H. J. Epema, "The Grid Workloads Archive," Future Generation Computer Systems, v.24 n.7, pp.672-686, July 2008. https://doi.org/10.1016/j.future.2008.02.003
  4. The Grid Workloads Archive, http://gwa.ewi.-tudelft.nl
  5. Piyush Shivam, Shivnath Babu, Jeff Chase, "Active and Accelerated Learning of Cost Models for Optimizing Scientific Applications," International Conference on Very Large Data Bases (VLDB), pp.535-546, Seoul, Korea, September 2006.
  6. Gosia Wrzesinska, Jason Maassen, Henri E. Bal, "Self-adaptive applications on the grid," Proceedings of the 12th ACM SIGPLAN symposium on Principles and practice of parallel programming, pp.121-129, San Jose, California, USA, March 2007.
  7. Montgomery Douglas C., "Design and Analysis of Experiments Fifth Edition," John Wiley & Sons, Inc. 2000.
  8. Daniel C. Vanderster, Nikitas J. Dimopoulos, Randall J. Sobie, "Improved Grid Metascheduler Design using the Plackett-Burman Methodology," Proceedings of the 21st International Symposium on High Performance Computing Systems and Applications, p.9, May 2007.
  9. Computational Fluid Dynamics, http://www.cfdonline.com/
  10. e-AIRS 2.0, http://repository.kisti.re.kr:8080/gridsphere/gridsphere
  11. 한국과학기술정보원, http://www.kisti.re.kr
  12. PRAGMA(Pacific Rim Application and Grid Middleware Assembly), http://www.pragma-gird.net/about/
  13. Globus Alliance, http://www.globus.org/
  14. Piyush Shivam, "Proactive Experiment-Driven Learning for System Management," Ph.D. Dissertation, Department of Computer Science, Duk e University, 2007.
  15. PRAGMA Grid Monitoring home page, http://pragmagoc.rocksclusters.org/scmsweb/
  16. Cinyoung Hur, Yoonhee Kim, "Adaptive Grid Resource Selection based on Job History Analysis using Plackett-Burman Designs," APNOMS 2009 LNCS 5787, pp.133-142, 2009.
  17. 박성현, "현대실험계획법(개정판)," 민영사, 2005.
  18. Hui Li, Rajkumar Buyya, "Model-Driven Simulation of Grid Scheduling Strategies," e-Science and Grid Computing, IEEE International Conference, pp.287-294, Bangalore, Dec 2007.
  19. GridSim 4.2 beta (released on Oct 12, 2008), http://www.gridbus.org/gridsim/