Back-end Prefetching Scheme for Improving the Performance of Cluster-based Web Servers

클러스터 웹 서버에서 성능 향상을 위한 노드간 선인출 기법

  • Park, Seon-Yeong ;
  • Park, Do-Hyeon (Dept. of Computer Science, Korea Advanced Institute of Science and Technology) ;
  • Lee, Joon-Won (Dept. of Computer Science, Korea Advanced Institute of Science and Technology) ;
  • Cho, Jung-Wan (Dept. of Computer Science, Korea Advanced Institute of Science and Technology)
  • 박선영 (한국전자통신연구원 컴퓨터시스템연구부 연구원) ;
  • 박도현 (한국과학기술원 전산학과) ;
  • 이준원 (한국과학기술원 전산학과) ;
  • 조정완 (한국과학기술원 전산학과)
  • Published : 2002.06.01

Abstract

With the explosive growth of WWW traffic, there is an increasing demand for the high performance Web servers to provide a stable Web service to users. The cluster-based Web server is a solution to core with the heavy access from users, easily scaling the server according to the loads. In the cluster-based Web sewer, a back-end node may not be able to serve some HTTP requests directly because it does not have the requested contents in its main memory. In this case, the back-end node has to retrieve the requested contents from its local disk or other back-end nodes in the cluster. To reduce service latency, we introduce a new prefetch scheme. The back-end nodes predict the next HTTP requests and prefetch the contents of predicted requests before the next requests arrive. We develop three prefetch algorithms bated on some useful information gathered from many clients'HTTP requests. Through trace-driven simulation, the service latency of the prefetch scheme is reduced by 10 ~ 25% as compared with no prefetch scheme. Among the proposed prefetch algorithms, Time and Access Probability-based Prefetch (TAP2) algorithm, which uses the access probability and the inter-reference time of Web object, shows the best performance.

급속히 증가하고 있는 인터넷 트레픽의 절반 이상이 웹 서비스에 관련된 것으로 인터넷에서 웹이 차지하는 비중은 점점 커지고 있다. 증가하는 웹 서비스 요구에 대처하기 위해서 확장성과 가격 대성능비가 우수한 클러스터 웹 서버가 최근 많이 연구되고 있다. 클러스터 웹 서버는 여러 대의 서버 노드로 구성되어 있는데 각 서버 노드에 들어오는 사용자 요구에 대한 응답 데이타가 지역 메모리에 없는 경우, 디스크 접근이나 다른 서버 노드로부터의 데이타 전송이 필요하다. 본 논문에서는 클러스터 기반 웹 서버에서 서비스 지연을 감소시키기 위한 서버 노드간 자료 선인출 기법을 제안하고 이를 위한 설계 방법을 소개한다. 또한, 선인출에 필요한 알고리즘을 제안하고 모의 실험을 통해 제안하는 알고리즘의 성능을 측정하였다. 후변(back-end) 웹 서버에서 수집된 로그를 바탕으로 서비스 지연 시간을 측정한 결과, 노드간 선인출 방법을 사용한 것이 사용하지 않은 경우에 비해 약 10~25% 감소하였다. 이 때, 각 서버 노드의 메모리 크기는 웹 서버 로그로부터 측정된 전체 요구 데이타 크기의 약 10% 정도이다. 제안하는 선인출 알고리즘 중 접근 확률(access probability)과 사용자 요구 사이의 지연 시간을 고려하는 선인출 알고리즘인 IAP2(Time and Access Probability-barred Prefetch) 방법이 가장 좋은 성능을 보였다.

Keywords

References

  1. IBM Corporation, The Sydney 2000 Olympic Games, http://www.olympic.ibm.com/olympics/, 2000
  2. Arlitt, M. and Jin T., 'Workload Characterization of the 1988 World Cup Web Site,' TR. Hewlett-Packard Lab, 1999
  3. Mosedale, D., Foos, W. and Mccool, R. 'Lessons Learned Administering Netscape's Internet Site,' IEEE Internet Computing, Vol.1, No. 2, pp. 28-35, 1997 https://doi.org/10.1109/4236.601086
  4. ArrowPoint Communications, 'Cisco Web Network Services for E-Commerce: Implementing Secure and Scalable E-Commerce Network Services,' White Paper, http://www.cisco.com/warp/public/cc/pd/si/11000/prodlit/csecm_wi.htm
  5. Duchamp, D., 'Prefetching Hyperlinks,' In Proc. Second USENIX Symp. on Internet Technologies and Systems, USENIX, pp. 127-138, 1999
  6. Jiang, Z. and Kleinrock, L., 'An Adaptive Network Prefetch Scheme,' IEEE Journal on Selected Areas in Communications Vol.16 No.3, pp. 358-368, 1998 https://doi.org/10.1109/49.669044
  7. Kroeger,T.M., Long, D.D.E., Mogul. J., 'Exploring the Bounds of Web Latency Reduction from Caching and Prefetching,' In Proceedings of the USENIX Symposium on Internet Technologies and Systems, pp. 13-22, 1997
  8. Padmanabhan, V. N. and Mogul, J. C., 'Using predictive prefetching to improve World Wide Web latency,' ACM Computer Communication Review, Vol. 26, No. 3, pp. 22-36, 1996 https://doi.org/10.1145/235160.235164
  9. Sandberg, R., Goldberg, D., Kleiman, S., Walsh, D., Lyon, B, 'Design and Implementation of the Sun Network Filesystem,' Proceedings of the USENIX Summer Technical Conference, 1985
  10. Howard, J., Kazar, M., Menees, S., Nichols, D., Satyanarayanan, M., Sidebotham, R., and Wext, M.'Scale and Performance in a Distributed File System,' ACM Transactions on Computer Systems, Vol. 6, No. 1, pp. 51-81, 1988 https://doi.org/10.1145/35037.35059
  11. Pai, V., Aron, M., Banga, G., Svendsen, M., Druschel, P., Zwaenepoel, W. and Nahum, E., 'Locality-aware request distribution in cluster-based network servers,' ACM SIGPLAN Notices, Vol. 33, No.11, pp. 205-216, 1998 https://doi.org/10.1145/291006.291048
  12. The Internet Traffic Archive, http://ita.ee.lbl.gov/index.html