• 제목/요약/키워드: Realtime data processing

검색결과 129건 처리시간 0.028초

트위터 기반의 실시간 이벤트 지역 탐지 시스템 (TRED : Twitter based Realtime Event-location Detector)

  • 임준엽;황병연
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권8호
    • /
    • pp.301-308
    • /
    • 2015
  • SNS는 사용자들의 관계 형성을 도와주는 웹 기반의 온라인 플랫폼 서비스이다. 기존의 SNS 사용자들은 이를 이용하기 위해 주로 데스크톱이나 노트북을 이용하였다. 그러나 최근 스마트폰의 보급으로 인해 웹 접근성이 확대되면서 SNS 사용자가 크게 증가하였다. SNS를 이용하는 사용자들은 주로 자신의 일상이나 경험한 일들을 다른 사용자들과 공유한다. 이때 사용자 개인을 하나의 센서로 가정하고 그들이 남긴 콘텐츠를 분석할 수 있다면, 이를 이용해 현실에서 발생한 이벤트를 탐지할 수 있다. 이러한 시도는 이미 많은 연구에서 진행되고 있다. 특히 트위터의 경우 이벤트 탐지에 적합한 구조적 특징들로 인해 관련 분야에서 다양하게 활용되고 있다. 그러나 대부분이 제한적인 이벤트 탐지 및 이벤트가 발생한 지역을 탐지하는 것에 있어 명확한 한계점을 지니고 있다. 이에 본 논문에서는 트위터에서 언급 빈도가 급증한 지역들을 기반으로 이벤트가 발생한 지역을 실시간으로 탐지하는 TRED(Twitter based Realtime Event-location Detector) 시스템을 제안하였다. 이후 성능평가를 통해 제안하는 시스템이 실시간으로 동작할 수 있는지를 확인하였고, 실제 발생한 이벤트를 탐지함으로써 효율성을 입증하였다. 또한 노이즈 제거를 통한 탐지율 향상을 언급하였으며 향후 보다 높은 성능의 시스템에 대한 가능성을 보였다.

머신 러닝과 Microservice 기반 디지털 미러 시스템 (Digital Mirror System with Machine Learning and Microservices)

  • 송명호;김수동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권9호
    • /
    • pp.267-280
    • /
    • 2020
  • 거울은 일반적으로 아말감으로 코팅된 물리적 반사 표면으로 거울 앞의 상을 선명하게 반사한다. 이것은 언제 어디서나 사용이 가능하며 사용자의 얼굴이나 외모를 확인하기 위한 필수적인 도구이다. 현대 소프트웨어 기술의 출현으로 사람들은 실시간 처리, Microservice 및 머신 러닝이 적용된 편의성과 지능성을 통해 거울 반사 기능을 향상시킬 수 있다. 본 논문에서는 거울로써 실시간 반영과 동시에 사용자 맞춤 정보 조회, 공공 정보 조회, 외모를 통한 나이와 감정 탐지 등의 기능을 가진 디지털 거울 시스템 개발을 제안한다. 더불어, 본 시스템은 터치 기반, 음성 인식 기반, 제스처 기반의 Multi-Modal 사용자 인터페이스를 제공한다. 본 논문에서는 이 시스템에 대한 디자인을 제시하고 현재 기술을 이용하여 실시간 거울 반영과 동시에 유용한 정보 제공 및 지능형 머신 러닝 기술을 제공하는 구현 방법을 제안한다.

Real-time Acquisition of Three Dimensional NMR Spectra by Non-uniform Sampling and Maximum Entropy Processing

  • Jee, Jun-Goo
    • Bulletin of the Korean Chemical Society
    • /
    • 제29권10호
    • /
    • pp.2017-2022
    • /
    • 2008
  • Of the experiments to shorten NMR measuring time by sparse sampling, non-uniform sampling (NUS) is advantageous. NUS miminizes systematic errors which arise due to the lack of samplings by randomization. In this study, I report the real-time acquisition of 3D NMR data using NUS and maximum-entropy (MaxEnt) data processing. The real-time acquisition combined with NUS can reduce NMR measuring time much more. Compared with multidimensional decomposition (MDD) method, which was originally suggested by Jaravine and Orekhov (JACS 2006, 13421-13426), MaxEnt is faster at least several times and more suitable for the realtime acquisition. The designed sampling schedule of current study makes all the spectra during acquisition have the comparable resulting resolutions by MaxEnt. Therefore, one can judge the quality of spectra easily by examining the intensities of peaks. I report two cases of 3D experiments as examples with the simulated subdataset from experimental data. In both cases, the spectra having good qualitie for data analysis could be obtained only with 3% of original data. Its corresponding NMR measuring time was 8 minutes for 3D HNCO of ubiquitin.

실시간 PSS/E 데이터 처리장치 구축 (The Establishment of Realtime Data Processing Device for PSS/E)

  • 박내호;문봉수;권태원
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 추계학술대회 논문집 전력기술부문
    • /
    • pp.293-295
    • /
    • 2002
  • 국내에서 가장 많이 사용되고 있는 전력계통 해석프로그램 PSS/E의 데이터 파일을 전력계통 감시장치 송전망 감시 중앙시스템에서 제공하는 실시간 정보를 이용, PSS/E 데이터 구조로 변환하는 실시간 PSS/E 데이터 파일 작성 프로그램을 개발하여 실계통 검증결과 매우 정확함을 확인하였다.

  • PDF

PLC 데이터의 실시간 공유 플랫폼에 관한 연구 (A Study on Real-time Sharing Platform of PLC Data)

  • 김평중;홍성웅;오영규;김달중
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.98-101
    • /
    • 2015
  • 시스템은 생산현장을 구성하고 있는 4M(Machlne, Man, Material, Manufacturing resources)에서 발생하는 정보 중 machine에서 발생하는 설비정보를 실시간으로 수집하여 공유하는 것은 중요하다. 일반적으로 생산설비의 수명 기간 동안 예상되는 유지 보수의 비용은 생산설비의 자동화 비용보다 상대적으로 높다. 따라서 본 연구에서는 생산설비 PLC의 실시간 데이터 공유 플랫폼(RDSP, Realtime Data Sharing Platform)을 설계하고자 한다.

Energy Join Quality Aware Real-time Query Scheduling Algorithm for Wireless Sensor Networks

  • Phuong, Luong Thi Thu;Lee, Sung-Young;Lee, Young-Koo
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.92-96
    • /
    • 2011
  • Nowadays, the researches study high rate and real-time query applications seem to be real-time query scheduling protocols and energy aware real time query protocols. Also the WSNs should provide the quality of data in real time query applications that is more and more popular for wireless sensor networks (WSNs). Thus we propose the quality of data function to merge into energy efficiency called energy join quality aware realtime query scheduling (EJQRTQ). Our work calculate the energy ratio that considers interference of queries, and then compute the expected quality of query and allocate slots to real-time preemptive query scheduler.

OBDII 데이터 기반의 회귀 분석을 통한 실시간 연료 소비량 예측 (Realtime Fuel Consumption Prediction using ln-Vehicle Data from OBDII and Regression Methods)

  • 양희은;김도현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.497-499
    • /
    • 2020
  • 자율주행 차량이 많아지고 차량의 ECU가 고도화되면서 정확한 차량의 데이터를 획득하고 분석하여 활용하는 것이 중요해지고 있다. 현재에는 내연 기관 차량의 ECU 데이터를 얻기 위해서 OBDII 포트(규격)에 기반한 CAN동선을 주로 이용하고 있다. 하지만 OBDII 규격을 통해서 연비와 같은 중요한 차량 정보를 얻는 경우, 변환식 (MAF 센서(흡입 공기량 센서)와 공기/연료 비율을 이용)의 오차 범위가 커서 데이터의 정확도가 낮다. 본 연구에서는 머신 러닝 기법 중에 하나인 회귀 기법을 통해서 기존의 계산보디 더 정확한 연비를 구할 수 있는 모델을 개발하였다. 이러한 모델 개발을 통하여 차량의 RAW 데이터를 기반으로 필요한 차량 데이터를 정확하게 구할 수 있게 되었으며 20회가 넘는 실 도로주행을 통해서 본 모델의 정확도를 검증하였다.

KMTNet 실시간 자료처리 파이프라인 개발 (DEVELOPMENT OF REAL-TIME DATA REDUCTION PIPELINE FOR KMTNet)

  • 김동진;이충욱;김승리;박병곤
    • 천문학논총
    • /
    • 제28권1호
    • /
    • pp.1-6
    • /
    • 2013
  • Real-time data reduction pipeline for the Korea Microlensing Telescope Network (KMTNet) was developed by Korea Astronomy and Space Science Institute (KASI). The main goal of the data reduction pipeline is to find variable objects and to record their light variation from the large amount of observation data of about 200 GB per night per site. To achieve the goal we adopt three strategic implementations: precision pointing of telescope using the cross correlation correction for target fields, realtime data transferring using kernel-level file handling and high speed network, and segment data processing architecture using the Sun-Grid engine. We tested performance of the pipeline using simulated data which represent the similar circumstance to CTIO (Cerro Tololo Inter-American Observatory), and we have found that it takes about eight hours for whole processing of one-night data. Therefore we conclude that the pipeline works without problem in real-time if the network speed is high enough, e.g., as high as in CTIO.

A Development of DCS Binding Delay Analysis System based on PC/Ethernet and Realtime Database

  • Gwak, Kwi-Yil;Lee, Sung-Woo;Lim, Yong-Hun;Lee, Beom-Seok;Hyun, Duck-Hwa
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.1571-1576
    • /
    • 2005
  • DCS has many processing components and various communication elements. And its communication delay characteristic is affected diverse operating situation and context. Especially, binding signal which traversed from one control-node to another control-node undergo all sort of delay conditions. So its delay value has large deviation with the lapse of time, and the measurement of delay statistics during long time is very difficult by using general oscilloscope or other normal instruments. This thesis introduces the design and implementation of PC-based BDAS(Binding Delay Analysis System) System developed to overcomes these hardships. The system has signal-generator, IO-card, data-acquisition module, delay-calculation and analyzer module, those are implemented on industrial standard PC/Ethernet hardware and Windows/Linux platforms. This system can detect accurate whole-system-wide delay time including io, control processing and network delay, in the resolution of msec unit, and can analyze each channel's delay-historic data which is maintained by realtime database. So, this system has strong points of open system architecture, for example, user-friendly environment, low cost, high compatibility, simplicity of maintenance and high extension ability. Of all things, the measuring capability of long-time delay-statistics obtained through historic-DB make the system more valuable and useful, which function is essential to analyze accurate delay performance of DCS system. Using this system, the verification of delay performance of DCS for nuclear power plants is succeeded in KNICS(Korea Nuclear Instrumentation & Control System) projects

  • PDF

지상표적식별을 위한 다중센서기반의 정보융합시스템에 관한 연구 (A Study on the Multi-sensor Data Fusion System for Ground Target Identification)

  • 강석훈
    • 안보군사학연구
    • /
    • 통권1호
    • /
    • pp.191-229
    • /
    • 2003
  • Multi-sensor data fusion techniques combine evidences from multiple sensors in order to get more accurate and efficient meaningful information through several process levels that may not be possible from a single sensor alone. One of the most important parts in the data fusion system is the identification fusion, and it can be categorized into physical models, parametric classification and cognitive-based models, and parametric classification technique is usually used in multi-sensor data fusion system by its characteristic. In this paper, we propose a novel heuristic identification fusion method in which we adopt desirable properties from not only parametric classification technique but also cognitive-based models in order to meet the realtime processing requirements.

  • PDF