클라우드 기반 대규모 데미터 처리 및 관리 기술

Big Data Processing and Management Service on Cloud

인터넷 서비스 데이터량의 지속적인 증가로 대량의 원시 데이터로부터 정보를 가공 처리하는 과정, 체계화된 정보의 저장 관리 및 유용한 정보를 추출하기 위한 분석 등에 분산 컴퓨팅 기술을 적용하는 움직임이 활발히 진행되고 있다. 기존의 RDBMS 기술, MPI 분산 처리 기술 등은 대규모 데이터 처리 환경에 적용하기에는 운영 환경, 기능/성능면에서 확장성 혹은 고비용 문제가 따른다. 그러므로 저가의 서버들로 구성된 대규모 클러스터 환경을 기반으로 분산 컴퓨팅 기술을 적용한 새로운 시스템들이 대규모 데이터 처리를 요하는 인터넷 서비스 응용에 이용되고 있다. 이를 기반으로 바이오인포매틱스, 과학 시뮬레이션, 비즈니스 인텔리전스 등 다른 응용 영역으로 확대하여 클라우드 서비스로 제공하려는 비즈니스 모델이 제시되고 있다. 본 논문에서는 이와 같은 분산 컴퓨팅 기술을 적용한 대규모 데이터 저장 관리 및 처리 기술 동향을 조사하고 클라우드 기반 서비스로의 발전 방향을 서술한다.