• Title/Summary/Keyword: 실시간 데이터 분석

Search Result 2,581, Processing Time 0.028 seconds

Real-Time Stock Price Prediction using Apache Spark (Apache Spark를 활용한 실시간 주가 예측)

  • Dong-Jin Shin;Seung-Yeon Hwang;Jeong-Joon Kim
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.23 no.4
    • /
    • pp.79-84
    • /
    • 2023
  • Apache Spark, which provides the fastest processing speed among recent distributed and parallel processing technologies, provides real-time functions and machine learning functions. Although official documentation guides for these functions are provided, a method for fusion of functions to predict a specific value in real time is not provided. Therefore, in this paper, we conducted a study to predict the value of data in real time by fusion of these functions. The overall configuration is collected by downloading stock price data provided by the Python programming language. And it creates a model of regression analysis through the machine learning function, and predicts the adjusted closing price among the stock price data in real time by fusing the real-time streaming function with the machine learning function.

Study on Developing a Flight Data Visualization (비행 데이터의 가시화에 대한 연구)

  • Jae-Sug Ki
    • Journal of Korean Society of Industrial and Systems Engineering
    • /
    • v.26 no.3
    • /
    • pp.74-78
    • /
    • 2003
  • 본 연구에서는 비행 데이터의 실시간 가시화 시스템 개발을 위한 소프트웨어 설계 및 2차원과 3차원간의 인터페이스 설계 안을 사례와 중심으로 제시한다. 제시하는 소프트웨어는 비행체의 운동성등을 관찰하고 분석하기 위한 시뮬레이션 소프트웨어로 실시간으로 사용자가 원하는 정보를 도시할 수 있도록 설계 된 것이 큰 특징이며, 손쉽게 사용자의 요구를 적용할 수 있도록 유연성을 높게 모듈화 하였다.

Unusual data local access using inverse order tree (역순트리를 이용한 특이데이터 국소적 접근)

  • Rim, Kwang-Cheol;Seol, Jung-Ja
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.18 no.3
    • /
    • pp.595-601
    • /
    • 2014
  • With the advent of the Smart information-communication era, the number of data has increased exponentially. Accordingly, figuring out and analyzing in which area and circumstance the data has been created becomes one of the factors for prompt actions. In this paper identifies how to analyze the data by implementing a route from the lowest module to highest one in an inverse order for the part judgement for the particular data. The script first identifies cluster analisys, paralizes the analysis using the sum of each factors of the cluster with the tree structure, and finally transpose the answer into number. Also, it is designed to place priority on particular answer, thereafter, draws the wanted answer real-time.

A study on the Effect of Quality Characteristics of M2M Big Data providing real-time Information on User Satisfaction (실시간 정보를 제공하는 M2M 빅데이터 품질특성이 사용자 만족에 미치는 영향에 대한 연구 - 버스기사의 교통정보 시스템 중심으로 -)

  • DongSik, Yang;DongJin, Park;YunJae, Lee
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.27 no.6
    • /
    • pp.25-40
    • /
    • 2022
  • This study is about how the quality of M2M big data that provides real-time information affects users. Recently, there are many difficulties in acquiring and managing data because data types such as variety, data volume, and data velocity are changing rapidly and diversified. This not only leads to a decrease in data quality but also it can give a negative impact when making decisions using data. Generally, the quality of data is defined as 'suitability for use', which means that data quality must meet the expectations of user needs. Therefore, data providers need activities to improve data quality for this purpose, and the key is to identify data quality dimensions in each field where data is used and provide data suitable for the level of user needs. In this study, the relationship between the quality area of real-time M2M data used in the traffic information system and user satisfaction was analyzed. Research models and hypotheses were established to analyze the effects between variables related to M2M big data. In order to test the hypothesis, a causal relationship between the major factors was identified by conducting a survey and analyzing the data users.

A Real-Time Monitoring System of Intensity of Illumination for Home Networks using TinyOS (TinyOS를 이용한 홈 네트워크용 실시간 조도 모니터링 시스템)

  • Kim Moon-Ki;Han Byung-Hee;Kim Ji-Hong;Kim Yong-Hyun;Lee Soo-Yong;Hong Yun-Sik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.387-390
    • /
    • 2006
  • TinyOS 기반 무선 센서 노드를 사용한 실시간 계측 데이터 측정 및 제어 기술은 특히 홈 네트워크 분야에 널리 적용되고 있다. 본 논문에서는 ATMegal128L을 장착한 최소 8대 이상의 Micaz Mote 센서 노드 모듈을 사용하여 각 방의 노도 값을 실시간 측정하는 시스템을 구현하였다. 특히 TinyOS에서 제공되는 OscilloscopeRF의 메시지 구조를 분석하여, 각 노드의 ID 및 계측 데이터를 추출하였다. 또한 이렇게 추출된 계측 데이터를 센서 네트워크의 싱크 노드로부터 데이터 통제 센터(Doc)로 효율적으로 전송하기 위한 TCP 기반 네트워크 프로그래밍을 구현하였다. 실험 결과 센서 노드 수 및 샘플링 주기에 상관없이 안정적으로 계측 데이터 수신이 이루어짐을 확인하였다. 한편, IEEE802.11a/g 기반 무선 네트워크를 통해 실시간 계측 상황을 휴대용 단말기인 PDA에서 확인할 수 있도록 이를 구현하였다.

  • PDF

Performance Analysis of Cellular If Using Combined Cache and Alternative Handoff Method for Realtime Data Transmission (실시간 데이터를 지원하는 통합 캐시 및 차별화된 핸드오프를 이용한 셀룰러 IP의 성능분석)

  • Seo, Jeong-Hwa;Han, Tae-Young;Kim, Nam
    • The Journal of the Korea Contents Association
    • /
    • v.3 no.2
    • /
    • pp.65-72
    • /
    • 2003
  • In this paper, the new scheme using a Combined Cache(CC) that combing the Paging and Routing Cache(PRC) and an alternative handoff method according to the type of data transmission for achieving the efficient realtime communication. The PRC and quasi-soft handoff method reduce the path duplication. But they increase the network traffic load because of the handoff state packet of Mobile Host(MH). Moreover the use the same handoff method without differentiating the type of transmission data. Those problems are solved by operating U with a semi-soft handoff method for realtime data transmission and with a hard handoff method for non-realtime data transmission. As a result or simulation a better performance is obtained because of the reduction of the number of control packet in case that the number of cells are below 20. And the packet arrival time and loss of packet decreased significantly for realtime data transmission.

  • PDF

A design of a Vehicle Analysis System using cloud and data mining (클라우드와 데이터 마이닝을 이용한 차량 분석 시스템 설계)

  • Jeong, Yi-Na;Son, Su-rak;Kim, Kyung-Deuk;Lee, Byung-Kwan
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2019.05a
    • /
    • pp.238-241
    • /
    • 2019
  • In this paper, a "Vehicle Analysis System(VAS) using cloud and data mining" is proposed that store all the sensor data measured in the vehicle in the cloud, analyze the stored data using the classification model, and provide the analyzed data in real time to the driver's display. The VAS consists of two modules. First, Sensor Data Communication Module(SDCM) stores the sensor data measured in the vehicle in a table of the cloud server and transfers the stored data to the analysis module. Second, Sensor Data Analysis Module(SDAM) analyzes the received data using the genetic algorithm and provides analyzed result to the driver in real time. The VAS stores sensor data collected in the vehicle in the cloud server without accumulating it in the vehicle, and stored data is analyzed in the cloud server, so that the sensor data can be quickly and efficiently managed without overloading the vehicle. In addition, the information desired by the driver can be visualized on the display, thereby increasing the stability of the autonomous vehicle.

  • PDF

Real time predictive analytic system design and implementation using Bigdata-log (빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현)

  • Lee, Sang-jun;Lee, Dong-hoon
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.6
    • /
    • pp.1399-1410
    • /
    • 2015
  • Gartner is requiring companies to considerably change their survival paradigms insisting that companies need to understand and provide again the upcoming era of data competition. With the revealing of successful business cases through statistic algorithm-based predictive analytics, also, the conversion into preemptive countermeasure through predictive analysis from follow-up action through data analysis in the past is becoming a necessity of leading enterprises. This trend is influencing security analysis and log analysis and in reality, the cases regarding the application of the big data analysis framework to large-scale log analysis and intelligent and long-term security analysis are being reported file by file. But all the functions and techniques required for a big data log analysis system cannot be accommodated in a Hadoop-based big data platform, so independent platform-based big data log analysis products are still being provided to the market. This paper aims to suggest a framework, which is equipped with a real-time and non-real-time predictive analysis engine for these independent big data log analysis systems and can cope with cyber attack preemptively.

Streaming Data Management Technique using Concept Hierarchy (개념 계층을 이용한 스트리밍 데이터의 관리 기법)

  • Han, Chang-Hee;Park, Seog
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.154-156
    • /
    • 2004
  • 센서 네트웍, 유비쿼터스 컴퓨팅 환경으로 발전하면서 스트리밍 데이터와 같이 무한한 데이터의 처리에 대한 요구가 많이 커지고 있다. 스트리밍 데이터에 대한 질의 처리는 크게 실시간으로 처리가 요구되는 질의와 과거 데이터에 대한 동향 근사치 요청질의로 나누어질 수 있다. 기존의 스트리밍 데이터 처리에 대한 연구들은 실시간 질의 처리만을 고려하고 과거 데이터에 대한 질의에 대한 고려는 미약하다. 그리고 사용자가 과거의 데이터에 대한 동향 분석을 요청하는 질의, 또는 과거 어느 시점의 데이터에 대한 요청 혹은 근사치를 요구하는 질의에 대해서는 처리를 할 수 없는 한계점이 있다. 본 논문에서는 스트리밍 데이터 프로세서의 메모리의 범위를 넘어서서 삭제되는 과거 데이터를 디스크의 I/O처리 속도에 맞추기 위해서 로드 셰딩 기법을 적용해서 저장한 후에 개념 계층을 이용해서 사용자가 원하는 데이터만을 효과적으로 저장하는 기법을 제안한다.

  • PDF

Development of an Intergrated Data-Acquisition System for Stand-Alone Photovoltaic System (태양광발전용 컴퓨터기반의 데이터 취득 시스템의 개발)

  • Yoo, Hyung-Chul;Huh, Chang-Su;Hwang, Myung-Kwen
    • Proceedings of the KIEE Conference
    • /
    • 2002.07b
    • /
    • pp.1373-1375
    • /
    • 2002
  • 태양광발전 시스템을 설치하여 동작상태의 데이터를 하고, 시스템을 분석하기 위한 목적의 데이터 취득 장치가 널리 이용되고 있다. 본 논문에서는 컴퓨터 기반의 데이터취득시스템(Computer-Based Data Acquisition System)의 개발에 대해 서술하고 있다. 제안된 시스템은 시스템이 설치될 곳의 환경요소(일사량, 온도 등) 및 전기적 출력 요소를 측정하기 위한 센서들로 구성하였으며, 측정된 데이터를 컨디셔닝 (Conditioning)과 변환 과정을 거친 후 데이터 취득카드를 통해 컴퓨터에 인터페이스(Interrace)시켰다. 태양광 발전 시스템의 동작상태를 실시간으로 모니터링하고, 취득된 데이터를 저장 및 분석하기 위한 목적으로 본 논문에서는 랩뷰-소프트웨어(Labview-Software)를 적용시킨 모니터링 시스템을 제안하였다. 제안된 모니터링 시스템은 그래픽화된 데이터-프로세싱 알고리즘을 사용하여, 상대적으로 짧은 기간 내에 시스템을 구현할 수 있고 시스템의 측정요소가 설치초기에 예상한 것보다 많아지거나 시스템이 용량이 증대되는 경우에도 그 적용성이 용이한 장점이 있다. 제안된 본데이터 취득 시스템을 독립형 태양광 설비에 적용하여 동작상태를 실시간으로 관찰하였고 동작특성을 분석 및 평가하였다.

  • PDF