Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)
- 2020.07a
- /
- Pages.547-548
- /
- 2020
Design on the IoT Sensor Data Collection Envionment using Lambda Architecture
Lambda 구조를 적용한 IoT 센서 데이터 수집 환경 설계
- Hwang, Yun-Young (Dept. of Science of Computer, Soongsil University) ;
- Kim, Soo-Hyun (Dept. of Science of Computer, Soongsil University) ;
-
Shin, Yong-Tae
(Dept. of Science of Computer, Soongsil University)
- Published : 2020.07.15
Abstract
데이터의 양은 기술의 발전과 함께 크게 증가하였다. Hadoop은 빅데이터 분야에서 사용되는 대표적인 빅데이터 처리 플랫폼으로 IoT 분야에서도 사용된다. HDFS(Haddop Distributed File System)는 Hadoop의 코어 프로젝트로 블록 기반의 대용량 데이터 저장소다. 기존의 Hadoop 기반 IoT 센서 데이터 수집 환경은 HDFS를 사용한다. 그러나 HDFS의 Small File로 인한 네임노드의 과부하 문제와 한 번 Import된 데이터의 Update와 Delete를 지원하지 않는 Hadoop의 특징으로 인해 성능과 활용이 제한적이다. 본 논문에서는 기존 Hadoop 기반 IoT 센서 데이터 수집 환경의 단점을 극복하기 위해 Lambda 구조를 적용한 IoT 센서 데이터 수집 환경을 설계한다.