DOI QR코드

DOI QR Code

A Study on Data Storage and Recovery in Hadoop Environment

하둡 환경에 적합한 데이터 저장 및 복원 기법에 관한 연구

  • 김수현 (순천향대학교 컴퓨터학과) ;
  • 이임영 (순천향대학교 컴퓨터학부)
  • Received : 2013.10.14
  • Accepted : 2013.11.05
  • Published : 2013.12.31

Abstract

Cloud computing has been receiving increasing attention recently. Despite this attention, security is the main problem that still needs to be addressed for cloud computing. In general, a cloud computing environment protects data by using distributed servers for data storage. When the amount of data is too high, however, different pieces of a secret key (if used) may be divided among hundreds of distributed servers. Thus, the management of a distributed server may be very difficult simply in terms of its authentication, encryption, and decryption processes, which incur vast overheads. In this paper, we proposed a efficiently data storage and recovery scheme using XOR and RAID in Hadoop environment.

최근 많은 관심을 받고 있는 클라우드 컴퓨팅이 해결해야할 가장 큰 문제는 바로 보안이다. 일반적인 클라우드 컴퓨팅 환경에서는 사용자의 데이터 보호를 위해 수많은 분산서버를 이용하여 데이터를 저장한다. 하지만 분산서버에 저장된 데이터를 암호화 과정을 거치지 않고 그대로 저장하게 된다면, 마스터 서버에 저장된 분산파일 위치를 추적하여 그대로 유출이 되는 문제가 발생할 수 있다. 이러한 문제를 방지하기 위해 비밀키를 이용하여 분산된 데이터를 암호화해야할 필요성이 존재한다. 그러나 대용량 데이터의 경우 수십, 수백 개의 조각으로 나누어지게 되는데 분산서버마다 각각의 비밀키를 이용하게 된다면, 관리의 어려움이 존재할 뿐 아니라 분산 서버에 대한 정당한 인증, 암복호화 과정을 수없이 거치게 되어 막대한 오버헤드가 발생하게 된다. 따라서 본 논문에서는 이와 같은 문제점을 해결하기 위해 Hadoop 환경에 적합한 XOR 및 RAID기반의 효율적인 분산 저장 및 복구 기법을 제안하였다.

Keywords

References

  1. Stephen E. Arnold, "The Google Legacy," infonortics, 2005
  2. Sanjay Ghemawat , Howard Gobioff , Shun-Tak Leung, "The Google file system," ACM SIGOPS Operating Systems Review, Vol.37 No.5, December, 2003.
  3. Who uses Hadoop, http://wiki.apache.org/hadoop/PoweredBy
  4. Apache Hadoop, 2009, http://hadoop.apache.org/
  5. N. Zhang, J. Jing, and P. Liu, "CLOUD SHREDDER: Removing the laptop on-road data disclosure threat in the cloud computing era," in Proc. IEEE Int. Conf. Security and Privacy Comput. Commun., pp.16-18, Changsha, China, Nov., 2011.
  6. Raghu Rmakrishnan, "Sherpa: Cloud Computing of the Third Kind," Data- Intensive Computing Symposium, 2008.
  7. Minsu Park, Singhoon Kang and Seungjoo Kim. "Weakness and Improvement of Cloud Shredder." THE JOURNAL OF KOREA INFORMATION AND COMMUNICATIONS SOCIETY, 38(5), pp.401-409, 2013. https://doi.org/10.7840/kics.2013.38B.5.401
  8. D. Hubbard and M. Sutton, "Top threats to cloud computing," in Cloud Security Alliance, Mar., 2010.
  9. Su-Hyun, In-Sik Hong, Im-Yeong Lee, "Secret Sharing based on XOR for Efficient Data Recovery in Cloud Computing Environment", CISC-S'12, 23(1), pp.49-52, 2013.
  10. Su-Hyun, Im-Yeong Lee, "High-Performance Data Recovery Scheme based on RAID-5 for Distributed Storage Server in Cloud Computing", Proceedings of the conference on Korea Multimedia Society, 16(1), pp.54-57, 2013.
  11. Understanding RAID-5 & I/O Processors, eslim. Jun 2003. April 2013