• Title/Summary/Keyword: 실시간 데이터 분석

Search Result 2,573, Processing Time 0.032 seconds

Real-time Abnormal Behavior Detection by Online Data Collection (온라인 데이터 수집 기반 실시간 비정상 행위 탐지)

  • Lee, Myungcheol;Kim, ChangSoo;Kim, Ikkyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.208-209
    • /
    • 2016
  • APT (Advanced Persistent Threat) 공격 사례가 증가하면서, 이러한 APT 공격을 해결하고자 이상 행위 탐지 기술 관련 연구가 활발히 진행되고 있다. 최근에는 APT 공격의 탐지율을 높이기 위해서 빅데이터 기술을 활용하여 다양한 소스로부터 대규모 데이터를 수집하여 실시간 분석하는 연구들이 시도되고 있다. 본 논문은 빅데이터 기술을 활용하여 기존 시스템들의 실시간 처리 및 분석 한계를 극복하기 위한 실시간 비정상 행위 탐지 시스템에서, 파일 시스템에 수집된 오프라인 데이터 기반이 아닌 온라인 수집 데이터 기반으로 실시간 비정상 행위를 탐지하여 실시간성을 제고하고 입출력 병목 문제로 인한 처리 성능 확장성 문제를 해결하는 방법 및 시스템에 대해서 제안한다.

Technology of Distributed Stream Computing (분산 스트림 컴퓨팅 기술 동향)

  • Lee, M.Y.
    • Electronics and Telecommunications Trends
    • /
    • v.26 no.1
    • /
    • pp.80-88
    • /
    • 2011
  • 데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

  • PDF

Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark (Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계)

  • Yoo, Ji-Hoon;Yooun, Hosang;Shin, Dongil;Shin, Dongkyoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

Application Of Open Data Framework For Real-Time Data Processing (실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안)

  • Park, Sun-ho;Kim, Young-kil
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.10
    • /
    • pp.1179-1187
    • /
    • 2019
  • In today's technology environment, most big data-based applications and solutions are based on real-time processing of streaming data. Real-time processing and analysis of big data streams plays an important role in the development of big data-based applications and solutions. In particular, in the maritime data processing environment, the necessity of developing a technology capable of rapidly processing and analyzing a large amount of real-time data due to the explosion of data is accelerating. Therefore, this paper analyzes the characteristics of NiFi, Kafka, and Druid as suitable open source among various open data technologies for processing big data, and provides the latest information on external linkage necessary for maritime service analysis in Korean e-Navigation service. To this end, we will lay the foundation for applying open data framework technology for real-time data processing.

Spatio-temporal Analysis using Real-Time Data Processing for Wireless Sensor Networks (무선 센서 네트워크에서 실시간 데이터 처리를 이용한 시공간 분석)

  • Baek, Jeong-Ho;Mun, Young-Chae;Lee, Hong-Ro
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.6
    • /
    • pp.688-692
    • /
    • 2010
  • Wireless sensor network system collects and analyzes real-time data that have been requested by the many application nodes. This paper has constructed a sensor network cluster with various elements in the Gunsan City area of Jeollabuk-do, S.korea. The purpose of this paper is to utilize the constructed system in order to illustrate the real-time data in a diagram and analyze it to deduce the change ratio. The resulting analysis contents allow simple data interpretation by illustrating the data in change ratio by time, space, and motional directions. This analytical method will offer great benefit to those users using the wireless sensor network.

Error filtering technology using change rate of moving object data in real-time video (실시간 영상의 이동 객체 데이터 변화율을 이용한 에러 필터링 기술)

  • Yoon, Kyoung-Ho;Kim, Dhan-Hee;Lee, Won-Suk
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.01a
    • /
    • pp.155-158
    • /
    • 2019
  • 최근 지능형 CCTV 관제 시스템에 대한 수요가 증가하고 있다. CCTV 영상 데이터의 양이 폭발적으로 증가하고 있어 이를 분석하기 위한 기술의 발전이 필요한 실정이다. 대부분의 지능형 CCTV 관제 시스템은 영상 속 객체를 찾고 이 객체의 메타데이터를 통해 지능형 관제 시스템을 수행한다. 하지만 영상 속 객체의 로그가 항상 정확하지 않다. 현재의 객체 인식 기술로는 CCTV 영상의 밝기, 해상도 조건에 따라 성능의 차이가 심하고, 영상의 프레임 대비 빠르게 움직인 CCTV 영상 속 모든 객체를 사람이 인식하는 정도로 인식하기 어렵다. 이러한 이동 객체의 크기, 위치를 분석한 메타데이터에는 에러가 포함되기 쉽다. 본 논문에서는 지능형 CCTV 관제 시스템에서 분석한 영상 속 객체의 프레임 메타데이터 에러를 학습기반 실시간 에러 필터링 알고리즘을 통해 개선하여 에러가 필터링된 데이터를 사용하는 지능형 관제 시스템의 정확도 향상에 기여 할 것을 기대한다.

  • PDF

Design of a Reliable Distributed Real-time Group Communication System (신뢰성 있는 분산 실시간 그룹 통신 시스템의 설계)

  • 노진홍;홍영식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10e
    • /
    • pp.319-321
    • /
    • 2002
  • 인터넷 기반 네트워크 통신의 형태가 단순한 텍스트 위주의 데이터로부터 실시간 환경을 요구하는 멀티미디어 데이터 형태로 변하고 있으며, 실시간 분산처리 시스템에 대한 수요가 증가하고 있다. 이러한 실시간 시스템은 분산 실시간 처리 시스템에 대한 전반적인 분야의 발전이 필요하며, 특히 그 중에서도 신뢰성이 높은 그룹 통신 시스템의 개발은 매우 중요하다. 따라서 본 논문에서는 고장탐지 기능이 있는 실시간 그룹 통신 시스템을 설계하였다. 설계된 실시간 그룹통신 시스템은 이미 TMO 모델을 통하여 메시지 신뢰성과 고장탐지에 관한 시뮬레이션을 하였고, 그 결과를 분석하여 실시간 그룹통신 시스템 설계에 반영하였다.

  • PDF

Real-time Data Mining application Model In Electronic Commerce (전자상거래 상에서의 실시간 데이터 마이닝 활용 모델)

  • Kim, Ko-Eun;Ok, Jee-Woong;Kim, Ung-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.155-158
    • /
    • 2007
  • 현재 전자상거래는 우리의 생활과 밀접히 연관되어 있다. 최근 인터넷을 기반으로 전자조달, 수출입 브로커 등과 같은 유형의 B2B 전자상거래가 활발히 이루어지고 있으며, 소비자를 대상으로 하는 전자상거래 또한 점차 확산되는 시장을 형성하고 있다. 국제적으로도 전자상거래 시장 규모가 급속도로 증가할 것이라는 전망은 자명한 사실이다. 전자상거래에 대한 의존도가 높아지면서 관리해야 하는 데이터의 양 또한 급속도로 증가하고 있다. 본 논문에서는 실시간으로 유입되는 데이터를 효율적으로 활용하기 위챈 실시간 데이터 마이닝 활용 모델을 제안한다. 이 실시간 데이터 마이닝 모델은 지속적으로 유입되는 데이터의 규칙화를 통해 저장 공간의 효율성을 극대화하고 중요도 분석을 통한 총체적인 접근 방법을 시도함으로써 전자상거래 상에서 유용하게 쓰일 수 있는 활용 모델이다. 이 실시간 데이터 마이닝 모델의 바탕은 데이터 마이닝의 기법인 SEMMA를 따르며, 그 특징에 따라 규칙 추출과 의사 결정 나무 기법을 이용하여 전자상거래 상에서 유용하게 사용될 수 있는 모델을 제시하고자 한다.

  • PDF

Deployment Method for Real-time Radio Access Network Optimizer in CDMA Network (CDMA망에서 실시간 무선망 운용 및 최적화시스템 구축 방안)

  • Park Sang-Jin;Lee Yong-Hee;Rhee Chi-Young
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 2003.08a
    • /
    • pp.253-257
    • /
    • 2003
  • CDMA 방식의 디지털 이동통신 망은 기존의 2G 방식에서 IX, IxEV-DO을 거쳐 WCDMA로 비약적으로 발전하고 있으며, 이에 따라 무선망 운용 및 최적화 방법도 진화해가고 있다. 운용자들이 Field Tool을 사용하여 직접 Field 데이터를 측정, 분석하고 조치하는 방식이 가장 기본적인 방법이라면, Field 데이터와 Network 데이터를 함께 수집하여 분석하는, 보다. 발전된 방법도 사용되고 있다. 그러나, 이러한 방법도 여러 Tool에서 데이터를 off-line으로 수집한 후 분석 작업을 수동으로 반복 수행해야하는 번거로움이 있어, 실시간 on-line 무선망 최적화 시스템을 통한 체계적이고 과학적인 운용 방법을 생각해 볼 수 있다. 우선, 타 운용 Tool 들과의 on-line 연동으로 중앙 집중적 데이터베이스를 구축하여, 무선망에 관련된 모든 데이터에 대한 통합적인 관리가 필요하다. 이 데이터베이스를 이용하여, 실시간으로 무선망 성능 및 효율 저하 원인 분석을 실시하며, 분석된 결과는 기지국의 상태 및 문제점 도출에서부터 최종 처방까지 제시해준다. 본 논문에서는 이러한 솔루션을 구축하기 위한 다양한 네트웍 데이터 연동(성능, 장애, 구성, RF, 실측 데이터 등), 주요 KPI (Key Performance Indicator) 모니터링, 통계적 분석, 무선망 분석 등에 대해 고찰해본다.

  • PDF

A dynamic additive transmission scheme of realtime data based on packet loss characteristics in mobile computing environment (이동 컴퓨팅 환경에는 패킷 손실 특성을 고려한 실시간 데이터의 동적 부가 전송 방법)

  • Oh, Yeun-Joo;Baek, Nak-Hoon;Lim, Kyung-Shik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.1541-1544
    • /
    • 2000
  • 본 논문은 이동 컴퓨팅 환경에서 실시간 데이터의 전송시 발생하는 패킷 손실에 관한 문제를 다룬다. 현재 인터넷 상에서의 실시간 데이터 전송은 주로 RTP/RTCP 프로토콜[1]을 이용하는데, 이 프로토콜은 안정된 전송을 보장받지 못하며, 따라서 패킷 손실을 피할 수 없다[2,3]. 특히, 제한된 무선 대역폭과 높은 BER(bit error rate) 특성을 갖는 이동 컴퓨팅 환경에서는 기존의 인터넷보다도 더 많은 패킷들이 손실될 수 있다. 본 논문에서는, 이동 컴퓨팅 환경에서 실시간 데이터 전송시 발생되는 패킷 손실 특성을, 길버트 모델에 기초하여 확률적으로 분석하고, 이를 기반으로 새로운 복구 방법을 제안한다. 제안하는 실시간 데이터의 복구 방법에서는 패킷에 부가하는 잉여 데이터의 개수를 가변적으로 조절함으로써, 사용 중인 네트워크의 패킷 손실 특성을 반영할 수 있다. 특히, 잉여 데이터들의 오프셋 값들을 비연속적으로 설정함으로써, 간헐적이거나 연속적인 패킷 손실 모두에 대처할 수 있는 특징이 있다.

  • PDF