• 제목/요약/키워드: 대용량 스트리밍 센서데이터

검색결과 6건 처리시간 0.029초

대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법 (RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data)

  • 권순현;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.686-698
    • /
    • 2014
  • 최근 스마트폰의 폭발적인 보급, IoT와 클라우드 컴퓨팅 기술의 고도화, 그리고 IoT 디바이스의 보편화로 대용량 스트리밍 센싱데이터가 출현하였다. 또한 이를 기반으로 데이터의 공유와 매쉬업 통해 새로운 데이터의 가치를 창출하기 위한 요구사항의 증대로 대용량 스트리밍 센싱데이터 환경에서 시맨틱웹 기술과의 접목에 관한 연구가 활발히 진행되고 있다. 하지만 데이터의 대용량성 스트리밍성으로 인해 새로운 지식을 도출하기 위한 지식 추론분야에서 많은 이슈들에 직면하고 있다. 이러한 배경하에, 본 논문에서는 IoT 환경에서 발생하는 대용량 스트리밍 센싱데이터를 시맨틱웹 기술로 처리하여 서비스하기 위해 RDFS 규칙기반 병렬추론 기법을 제시한다. 제안된 기법에서는 기존의 규칙추론 알고리즘인 Rete 알고리즘을 하둡프레임워크 맵리듀스를 통해 병렬로 수행하고, 공용 스토리지로서 하둡 데이터베이스인 HBase를 사용하여 데이터를 공유한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센싱데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하고, 이를 입증한다.

사물인터넷 환경에서 대용량 스트리밍 센서데이터의 실시간·병렬 시맨틱 변환 기법 (Real-time and Parallel Semantic Translation Technique for Large-Scale Streaming Sensor Data in an IoT Environment)

  • 권순현;박동환;방효찬;박영택
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.54-67
    • /
    • 2015
  • 최근 사물인터넷 환경에서는 발생하는 센서데이터의 가치와 데이터의 상호운용성을 증진시키기 위해 시맨틱웹 기술과의 접목에 대한 연구가 활발히 진행되고 있다. 이를 위해서는 센서데이터와 서비스 도메인 지식의 융합을 위한 센서데이터의 시맨틱화는 필수적이다. 하지만 기존의 시맨틱 변환기술은 정적인 메타데이터를 시맨틱 데이터(RDF)로 변환하는 기술이며, 이는 사물인터넷 환경의 실시간성, 대용량성의 특징을 제대로 처리할 수 없는 실정이다. 따라서 본 논문에서는 사물인터넷 환경에서 발생하는 대용량 스트리밍 센서데이터의 실시간 병렬처리를 통해 시맨틱 데이터로 변환하는 기법을 제시한다. 본 기법에서는 시맨틱 변환을 위한 변환규칙을 정의하고, 정의된 변환규칙과 온톨로지 기반 센서 모델을 통해 실시간 병렬로 센서데이터를 시맨틱 변환하여 시맨틱 레파지토리에 저장한다. 성능향상을 위해 빅데이터 실시간 분석 프레임워크인 아파치 스톰을 이용하여, 각 변환작업을 병렬로 처리한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센서데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하여, 본 논문에서 제시된 기법을 입증한다.

스트리밍 빅데이터 처리 시스템 설계 (A Design on a Streaming Big Data Processing System)

  • 김성숙;김경태;박기진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.99-101
    • /
    • 2015
  • 현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

에너지 효율성 개선을 위한 스트리밍 센서 데이터 처리 플랫폼 설계 (Design of Streaming Sensory Data Processing Platform for Energy Efficiency Improvement)

  • 강윤희;강명주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.129-131
    • /
    • 2015
  • 스마트 그리드는 에너지 이용 효율 최적화를 위한 개선방안으로 전기에너지를 발생하는 발전원별 분석하며, 전력 사용 측면에서 전력망을 통해 공급된 전력의 소비패턴으로 분석을 통해 에너지 이용 효율을 최적화할 수 있다. 본 논문에서는 아파치 Storm을 활용하여 실시간 데이터 수집 및 처리 시스템을 설계한다. 설계된 시스템은 에너지 효율성을 위해 이종의 실시간 대용량 스트리밍 센서 데이터를 수집하여 분석을 수행하도록 데이터 필터링과 변환 기법을 제시한다. 이를 위해 실시간 대용량 처리를 위해 필터링 및 변환을 병렬 처리하도록 한다. 필터링과 변환 처리는 독립적인 타스크로 구성하도록 하며, 전체 프로세스는 정의된 파이프-필터 토폴로지를 구성하여 처리한다.

퍼지 기반 퀸-맥클러스키 규칙 감축 기법을 이용한 대용량 스트리밍 데이터의 고속 이벤트 탐지 기법 연구 (Research on High-speed Event Detection based on Fuzzy Rule-based Quine-Maccluskey for Streaming Big Data)

  • 박나영;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.373-376
    • /
    • 2014
  • 최근 모바일 기기 및 무선기기의 발달로 인하여 센서 네트워크가 다양한 분야에서 응용되고 있다. 따라서 센서에서 실시간으로 발생하는 스트리밍 데이터에서 이벤트를 감지하고 분석하는 것은 중요한 연구 분야로 부각되고 있다. 단순 이벤트의 발생 조건을 빠르게 판별하기 위해 비트맵 인덱스 기반 복합 이벤트 검출 기법 등 여러 가지 방법들이 사용되고 있지만, 아직까지 이기종 센서에서 발생하는 각기 다른 형태의 데이터를 융합하여 이벤트를 검출하는 복합 이벤트 처리에 대한 연구는 미비한 실정이다. 본 논문에서는 각기 다른 형태를 가지는 스트리밍 데이터에 멤버쉽 함수를 적용하여 퍼지화 함으로서 이기종 센서에서 발생하는 데이터를 융합 처리가능하며, Quine-Mccluskey 감축기법을 통하여 규칙의 신뢰도 및 속도가 향상된 의사결정을 하는 고속 이벤트 탐지기법을 제안한다.

  • PDF

무선 멀티미디어 센서 네트워크에서 에너지 효율적인 동적 영역 선택적 암호화 기법 (An Energy-Efficient Dynamic Area-Selective Encryption Scheme for Wireless Multimedia Sensor Networks)

  • 김동주;이상규;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(D)
    • /
    • pp.202-204
    • /
    • 2012
  • 무선 멀티미디어 센서 네트워크는 무선 통신과 비정형 네트워크 토폴로지를 기반으로 운용되며 스트리밍 미디어 데이터가 연속적으로 전송되기 때문에 악의적인 목적을 가진 사용자의 공격에 쉽게 노출이 된다. 따라서 무선 멀티미디어 센서 네트워크에서 보안은 필수적이다. 모든 대용량 데이터를 암호화 하는 것은 한정적인 자원을 가지고 있는 무선 센서 네트워크에서는 적합하지 않으므로 데이터의 일부만을 암호화 하는 선택적 암호화 기법에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 프레임 간의 동적인 움직임을 감지하고 이를 압축 하고 암호화하는 선택적 암호화 기법을 제안한다. 동적인 영역만을 암호화함으로써 암호화 대상 데이터의 크기를 효과적으로 감소시킴으로써 스트리밍 데이터에 적합하며 전체적인 네트워크 수명을 연장시키는 것이 가능하다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과 제안하는 기법의 성능 평가를 수행한다. 성능평가 결과, 제안하는 기법은 기존 기법에 비해 데이터 전송량이 약 80.3% 감소했으며, 영상을 전송하기 위한 에너지 소모는 약 76.9% 감소하였다.