• 제목/요약/키워드: IoT Big data

검색결과 406건 처리시간 0.023초

대용량 IoT 데이터의 빠른 분석을 위한 OLAP 기반의 빅테이블 생성 방안 (OLAP-based Big Table Generation for Efficient Analysis of Large-sized IoT Data)

  • 이도훈;조찬영;온병원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.2-5
    • /
    • 2021
  • 최근 사물인터넷(IoT) 기술이 발전하면서 다양한 단말들이 인터넷에 연결되고 있다. 그로 인해 발생하는 IoT 데이터의 양 또한 증가하고 있는데, 이렇게 발생한 대용량 IoT 데이터를 빠르게 분석할 수 있는 인덱스 키를 제안한다. 기존 인덱스 키에는 시간과 공간의 정보만 존재하여 반복문이나, 조인 연산(Join operation)을 사용하여 인덱스 테이블과 인스턴스 테이블에 저장되어있는 데이터를 질의했다면, 제안방안의 인덱스 키에는 IoT 데이터를 임베딩(Embedding) 하여 시간이 지연되었던 반복문이나 조인횟수를 최소화하기 위하여 OLAP 기반의 빅테이블을 생성함으로써 시간을 단축하였다.

  • PDF

IoT 환경에서 실시간 빅 데이터 수신을 위한 센서 게이트웨이에 관한 연구 (Study on the Sensor Gateway for Receive the Real-Time Big Data in the IoT Environment)

  • 신승혁
    • 한국항행학회논문지
    • /
    • 제19권5호
    • /
    • pp.417-422
    • /
    • 2015
  • IoT 환경의 서비스 규모는 센서의 수량에 의하여 결정된다. 센서의 수량이 증가함은 IoT 환경에서 발생하는 데이터의 양도 증가함을 의미한다. 네트워크 환경에서 데이터 폭주 시 네트워크 혼잡제어를 위한 연구와 동적 버퍼운영으로 네트워크를 안정적으로 운영하기 위한 연구들이 있다. 또한 비연결형 네트워크 환경에서 스트림 데이터 처리에 대한 연구들이 있다. 본 연구에서는 IoT환경의 빅데이터를 처리하기 위한 센서 게이트웨이를 제안한다. 이를 위하여 센서 미들웨어를 설계하기 위한 RESTful 을 확인하고, 스트림 데이터를 효율적으로 처리하기 위한 이중버퍼 알고리즘을 적용한다. 마지막으로 제안하는 시스템을 평가하기 위하여 TCP 상의 HTTP 프로토콜을 기반으로 하는 MJpeg 스트림을 이용하여 빅 데이터 트래픽을 발생 시키며, 오픈소스 미디어 플레이어인 VLC를 이용하여 영상 수신 처리율을 이용하여 성능을 비교한다.

IoT-Based Health Big-Data Process Technologies: A Survey

  • Yoo, Hyun;Park, Roy C.;Chung, Kyungyong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권3호
    • /
    • pp.974-992
    • /
    • 2021
  • Recently, the healthcare field has undergone rapid changes owing to the accumulation of health big data and the development of machine learning. Data mining research in the field of healthcare has different characteristics from those of other data analyses, such as the structural complexity of the medical data, requirement for medical expertise, and security of personal medical information. Various methods have been implemented to address these issues, including the machine learning model and cloud platform. However, the machine learning model presents the problem of opaque result interpretation, and the cloud platform requires more in-depth research on security and efficiency. To address these issues, this paper presents a recent technology for Internet-of-Things-based (IoT-based) health big data processing. We present a cloud-based IoT health platform and health big data processing technology that reduces the medical data management costs and enhances safety. We also present a data mining technology for health-risk prediction, which is the core of healthcare. Finally, we propose a study using explainable artificial intelligence that enhances the reliability and transparency of the decision-making system, which is called the black box model owing to its lack of transparency.

IoT 환경을 위한 빅데이터 기반 센서 데이터 처리 및 분석 (Big Data-based Sensor Data Processing and Analysis for IoT Environment)

  • 신동진;박지훈;김주호;곽광진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.117-126
    • /
    • 2019
  • IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.

IoT data analytics architecture for smart healthcare using RFID and WSN

  • Ogur, Nur Banu;Al-Hubaishi, Mohammed;Ceken, Celal
    • ETRI Journal
    • /
    • 제44권1호
    • /
    • pp.135-146
    • /
    • 2022
  • The importance of big data analytics has become apparent with the increasing volume of data on the Internet. The amount of data will increase even more with the widespread use of Internet of Things (IoT). One of the most important application areas of the IoT is healthcare. This study introduces new real-time data analytics architecture for an IoT-based smart healthcare system, which consists of a wireless sensor network and a radio-frequency identification technology in a vertical domain. The proposed platform also includes high-performance data analytics tools, such as Kafka, Spark, MongoDB, and NodeJS, in a horizontal domain. To investigate the performance of the system developed, a diagnosis of Wolff-Parkinson-White syndrome by logistic regression is discussed. The results show that the proposed IoT data analytics system can successfully process health data in real-time with an accuracy rate of 95% and it can handle large volumes of data. The developed system also communicates with a riverbed modeler using Transmission Control Protocol (TCP) to model any IoT-enabling technology. Therefore, the proposed architecture can be used as a time-saving experimental environment for any IoT-based system.

IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 기술 (Mobile-based Big Data Processing and Monitoring Technology in IoT Environment)

  • 이승해;김주호;신동윤;신동진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1-9
    • /
    • 2018
  • 현재 이슈가 되고 있는 4차 산업혁명에서 다양한 빅데이터 기술들을 통하여 기존의 느린 속도 보다 빠른 분석 결과를 즉각적으로 받아 볼 수 있고, 모바일과 웹에서 실시간 모니터링을 하는 연구를 진행하였다. 먼저 IoT 기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터를 생성하고 센서 데이터를 실시간 수집하고, 수집한 데이터를 여러 개의 노드를 이용해 분산 저장한 뒤 저장된 센서 데이터를 가공, 정제 처리하여 분석 모델 및 알고리즘을 통해 분석 결과를 시각화하여 출력한다. 이러한 방법들을 이용한 진행은 IoT를 이용한 빅데이터 및 모바일 관련 분야에서 필요한 고급 인력을 양성 및 데이터를 효율적이고 빠르게 처리할 수 있다. 또한, 실시간 모니터링을 통하여 연구결과의 신뢰성을 확인할 수 있는 정보를 제공하고자 한다.

Big IoT Healthcare Data Analytics Framework Based on Fog and Cloud Computing

  • Alshammari, Hamoud;El-Ghany, Sameh Abd;Shehab, Abdulaziz
    • Journal of Information Processing Systems
    • /
    • 제16권6호
    • /
    • pp.1238-1249
    • /
    • 2020
  • Throughout the world, aging populations and doctor shortages have helped drive the increasing demand for smart healthcare systems. Recently, these systems have benefited from the evolution of the Internet of Things (IoT), big data, and machine learning. However, these advances result in the generation of large amounts of data, making healthcare data analysis a major issue. These data have a number of complex properties such as high-dimensionality, irregularity, and sparsity, which makes efficient processing difficult to implement. These challenges are met by big data analytics. In this paper, we propose an innovative analytic framework for big healthcare data that are collected either from IoT wearable devices or from archived patient medical images. The proposed method would efficiently address the data heterogeneity problem using middleware between heterogeneous data sources and MapReduce Hadoop clusters. Furthermore, the proposed framework enables the use of both fog computing and cloud platforms to handle the problems faced through online and offline data processing, data storage, and data classification. Additionally, it guarantees robust and secure knowledge of patient medical data.

Self-organization Scheme of WSNs with Mobile Sensors and Mobile Multiple Sinks for Big Data Computing

  • Shin, Ahreum;Ryoo, Intae;Kim, Seokhoon
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권3호
    • /
    • pp.943-961
    • /
    • 2020
  • With the advent of IoT technology and Big Data computing, the importance of WSNs (Wireless Sensor Networks) has been on the rise. For energy-efficient and collection-efficient delivery of any sensed data, lots of novel wireless medium access control (MAC) protocols have been proposed and these MAC schemes are the basis of many IoT systems that leads the upcoming fourth industrial revolution. WSNs play a very important role in collecting Big Data from various IoT sensors. Also, due to the limited amount of battery driving the sensors, energy-saving MAC technologies have been recently studied. In addition, as new IoT technologies for Big Data computing emerge to meet different needs, both sensors and sinks need to be mobile. To guarantee stability of WSNs with dynamic topologies as well as frequent physical changes, the existing MAC schemes must be tuned for better adapting to the new WSN environment which includes energy-efficiency and collection-efficiency of sensors, coverage of WSNs and data collecting methods of sinks. To address these issues, in this paper, a self-organization scheme for mobile sensor networks with mobile multiple sinks has been proposed and verified to adapt both mobile sensors and multiple sinks to 3-dimensional group management MAC protocol. Performance evaluations show that the proposed scheme outperforms the previous schemes in terms of the various usage cases. Therefore, the proposed self-organization scheme might be adaptable for various computing and networking environments with big data.

Construction of an Internet of Things Industry Chain Classification Model Based on IRFA and Text Analysis

  • Zhimin Wang
    • Journal of Information Processing Systems
    • /
    • 제20권2호
    • /
    • pp.215-225
    • /
    • 2024
  • With the rapid development of Internet of Things (IoT) and big data technology, a large amount of data will be generated during the operation of related industries. How to classify the generated data accurately has become the core of research on data mining and processing in IoT industry chain. This study constructs a classification model of IoT industry chain based on improved random forest algorithm and text analysis, aiming to achieve efficient and accurate classification of IoT industry chain big data by improving traditional algorithms. The accuracy, precision, recall, and AUC value size of the traditional Random Forest algorithm and the algorithm used in the paper are compared on different datasets. The experimental results show that the algorithm model used in this paper has better performance on different datasets, and the accuracy and recall performance on four datasets are better than the traditional algorithm, and the accuracy performance on two datasets, P-I Diabetes and Loan Default, is better than the random forest model, and its final data classification results are better. Through the construction of this model, we can accurately classify the massive data generated in the IoT industry chain, thus providing more research value for the data mining and processing technology of the IoT industry chain.

실시간 데이터 수집/분석/처리를 위한 지능형 IoT (A Study on The Real-Time Data Collection/Analysis/Processing Intelligent IoT)

  • 김희철
    • 한국전자통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.317-322
    • /
    • 2019
  • 본 연구는 데이터의 실시간 수집/분석/처리를 위한 빅데이터 기반, 데이터 자산의 창의적 분석과 유통단계를 실시간으로 측정할 수 있는 IoT 기반 지능형 처리시스템을 개발한다. 모바일 단말은 제공된 디바이스의 SDK를 이용하여 특정지역 해산물 생산유통소비에 대한 데이터 정보를 측정한다. 측정된 정보를 oneM2M 프로토콜을 이용하여 해산물 생산에 필요한 각종 정보를 제공하고 DB Server, 관리자가 UI를 이용하여 시스템을 관리할 수 있는 체계를 구현한다.