• 제목/요약/키워드: Real-time data analysis

검색결과 2,809건 처리시간 0.063초

클러스터 기반 컨테이너 환경에서 실시간 GPU 작업 모니터링 및 컨테이너 배치를 위한 노드 리스트 관리기법 (Real-Time GPU Task Monitoring and Node List Management Techniques for Container Deployment in a Cluster-Based Container Environment)

  • 강지훈;길준민
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권11호
    • /
    • pp.381-394
    • /
    • 2022
  • 최근 인터넷 기반 서비스는 데이터의 개인화 및 맞춤화로 인해 사용자의 상황이나 요구사항에 따라 즉시 처리해야 하는 실시간 AI 추론 및 데이터 분석과 같은 실시간 처리에 대한 요구사항이 증가하고 있다. 실시간 작업은 각 작업이 시작되고 결과를 반환하기까지의 데드라인이 정해져 있으며, 데드라인의 보장은 서비스의 품질과 직접적으로 연결된다. 하지만, 기존 컨테이너 시스템에서는 컨테이너에서 실행되는 작업의 데드라인을 할당하고 관리하기 위한 기능이 제공되지 않기 때문에 실시간 작업을 운용하는데 제한적이다. 또한, AI 추론 및 데이터 분석과 같은 작업은 GPU(Graphic Processing Unit)를 기본적으로 사용하는데, 일반적으로 GPU 자원은 컨테이너 사이에 성능 격리가 제공되지 않기 때문에 서로 성능 영향을 미치며, 노드의 자원 사용량만으로는 각 컨테이너의 데드라인 보장률이나 새로운 실시간 컨테이너의 배치 여부를 결정할 수 없다. 따라서, 본 논문에서는 컨테이너에서 실행되는 GPU 작업의 실시간 처리를 지원하기 위해 컨테이너의 데드라인 및 실시간 GPU 작업의 실행 상태를 추적하고 관리하기 위한 모니터링 기법과 클러스터 환경에서 실시간 GPU 작업을 실행하는 컨테이너가 데드라인을 보장할 수 있도록 적절한 노드에 배치하기 위한 노드 리스트 관리기법을 제안한다. 또한, 실험을 통해 제안하는 기법이 시스템에 매우 작은 영향을 미친다는 것을 증명한다.

A Generation and Accuracy Evaluation of Common Metadata Prediction Model Using Public Bicycle Data and Imputation Method

  • Kim, Jong-Chan;Jung, Se-Hoon
    • 한국멀티미디어학회논문지
    • /
    • 제25권2호
    • /
    • pp.287-296
    • /
    • 2022
  • Today, air pollution is becoming a severe issue worldwide and various policies are being implemented to solve environmental pollution. In major cities, public bicycles are installed and operated to reduce pollution and solve transportation problems, and operational information is collected in real time. However, research using public bicycle operation information data has not been processed. This study uses the daily weather data of Korea Meteorological Agency and real-time air pollution data of Korea Environment Corporation to predict the amount of daily rental bicycles. Cross- validation, principal component analysis and multiple regression analysis were used to determine the independent variables of the predictive model. Then, the study selected the elements that satisfy the significance level, constructed a model, predicted the amount of daily rental bicycles, and measured the accuracy.

IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 기술 (Mobile-based Big Data Processing and Monitoring Technology in IoT Environment)

  • 이승해;김주호;신동윤;신동진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1-9
    • /
    • 2018
  • 현재 이슈가 되고 있는 4차 산업혁명에서 다양한 빅데이터 기술들을 통하여 기존의 느린 속도 보다 빠른 분석 결과를 즉각적으로 받아 볼 수 있고, 모바일과 웹에서 실시간 모니터링을 하는 연구를 진행하였다. 먼저 IoT 기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터를 생성하고 센서 데이터를 실시간 수집하고, 수집한 데이터를 여러 개의 노드를 이용해 분산 저장한 뒤 저장된 센서 데이터를 가공, 정제 처리하여 분석 모델 및 알고리즘을 통해 분석 결과를 시각화하여 출력한다. 이러한 방법들을 이용한 진행은 IoT를 이용한 빅데이터 및 모바일 관련 분야에서 필요한 고급 인력을 양성 및 데이터를 효율적이고 빠르게 처리할 수 있다. 또한, 실시간 모니터링을 통하여 연구결과의 신뢰성을 확인할 수 있는 정보를 제공하고자 한다.

GPS 정밀단독측위 기법을 이용한 준실시간 선박 위치추적 (Near-Real-Time Ship Tracking using GPS Precise Point Positioning)

  • 하지현;허문범;남기욱
    • 한국항행학회논문지
    • /
    • 제14권6호
    • /
    • pp.783-790
    • /
    • 2010
  • 현재 대부분의 선박은 해상에서의 안전한 운항을 위하여 GPS를 이용하여 선박 위치를 파악하고 있다. 이 연구에서는 GPS 정밀단독측위기법을 이용하여 준실시간으로 해상 선박의 위치를 결정하고, 그 정밀도를 분석하였다. 이를 위하여 선박에 GPS 장비를 설치하여 남해안 관측을 실시하였다. 정밀단독측위 기법을 이용한 GPS 관측데이터 처리를 위하여 JPL에서 개발한 GIPSY-OASIS를 이용하였으며, 안테나 위상 중심 변동량과 해양 조석하중에 의한 지각 변동량, 그리고 방위각 방향으로의 대류층 지연량을 보정하였다. 그 결과 이 연구에서 산출한 준실시간 좌표는 ~1cm 수준의 정밀도를 달성하였다.

분포형 모형과 클라우드 서비스를 이용한 낙동강 실시간 유출해석시스템 개발 및 성능평가 (Development and Performance Assessment of the Nakdong River Real-Time Runoff Analysis System Using Distributed Model and Cloud Service)

  • 김길호;최윤석;원영진;김경탁
    • 한국지리정보학회지
    • /
    • 제20권3호
    • /
    • pp.12-26
    • /
    • 2017
  • 본 연구의 목적은 물리적 분포형 강우-유출 모형인 GRM(Grid based Rainfall-runoff Model)과 마이크로소프트 Azure(Microsoft cloud computing service)를 이용하여 낙동강 유역의 유출해석시스템을 개발하고, Azure의 가상머신(VM, Virtual Machine) 설정에 따른 시스템 실행시간을 평가하는 것이다. 이를 위해서 낙동강 유역을 20개의 소유역으로 구분하고, 각 소유역에 대해서 GRM 모형을 구축하였다. 각 유역의 유출해석은 상하류 위상관계를 유지하면서 독립된 프로세스로 실행된다. 실시간 유출해석을 위해 국토교통부의 실시간 강우레이더 자료와 댐방류량 자료를 이용한다. 유출해석시스템은 Azure에서 실행되며, 유출해석 결과는 웹을 통해서 가시화 된다. 연구결과 실시간 수문자료 수신서버와 유출해석 계산서버(Azure) 및 사용자 PC가 연계된 낙동강 실시간 유출해석시스템을 개발할 수 있었다. 유출해석을 위한 전산장비는 하드디스크와 메모리 보다는 CPU의 성능에 크게 의존하는 것으로 평가되었다. 유출해석시의 디스크 입출력(I/O)과 계산 프로세스를 분산함으로써 입출력과 계산 병목을 각각 감소시킬 수 있었고, 실행시간을 단축시킬 수 있었다. 본 연구의 결과는 고해상도의 공간 및 수문 자료를 활용하는 분포형 모형을 이용한 대유역 유출해석시스템을 구축하기 위한 기술로 활용될 수 있을 것이다.

Network RTK 품질 분석 방법론별 성능 지표와 사용자 항법 정확도의 상관성 (Correlation between the Position Accuracy of the Network RTK Rover and Quality Indicator of Various Performance Analysis Method)

  • 임철순;박병운;허문범
    • 한국항행학회논문지
    • /
    • 제22권5호
    • /
    • pp.375-383
    • /
    • 2018
  • 정지한 객체의 측위에 사용되던 Network RTK (real time kinematics) 기술을 이동형 항체의 항법에 적용하기 위해서는 보정정보와 함께 사용자의 성능을 대표할 수 있는 지표가 함께 제공되어야 한다. 이를 위하여 본 논문에서는 I95 (ionospheric index 95) / G95 (geodetic index 95), SBI (semivariance based index), RIU (residual interpolation uncertainty) 등의 지표 도출 알고리즘을 분석하고 이를 국토지리정보원의 기준국 원시 데이터와 VRS (virtual reference station) 사용자에 적용함으로써 정밀 항법 성능 지표로의 활용 가능성을 타진하였다. 24시간 데이터를 처리한 결과 보정정보의 비선형성을 나타낼 수 있는 RIU 지표와 Network RTK 사용자의 위치 정확도와의 상관성이 0.52로 타 지표에 비해 훨씬 높은 것으로 나타났으므로 향후 이동 항체의 항법 성능 지표로 사용이 가능할 것으로 예상된다.

코어 다중가공에서 공구마모 예측을 위한 기계학습 데이터 분석 (Machine Learning Data Analysis for Tool Wear Prediction in Core Multi Process Machining)

  • 최수진;이동주;황승국
    • 한국기계가공학회지
    • /
    • 제20권9호
    • /
    • pp.90-96
    • /
    • 2021
  • As real-time data of factories can be collected using various sensors, the adaptation of intelligent unmanned processing systems is spreading via the establishment of smart factories. In intelligent unmanned processing systems, data are collected in real time using sensors. The equipment is controlled by predicting future situations using the collected data. Particularly, a technology for the prediction of tool wear and for determining the exact timing of tool replacement is needed to prevent defected or unprocessed products due to tool breakage or tool wear. Directly measuring the tool wear in real time is difficult during the cutting process in milling. Therefore, tool wear should be predicted indirectly by analyzing the cutting load of the main spindle, current, vibration, noise, etc. In this study, data from the current and acceleration sensors; displacement data along the X, Y, and Z axes; tool wear value, and shape change data observed using Newroview were collected from the high-speed, two-edge, flat-end mill machining process of SKD11 steel. The support vector machine technique (machine learning technique) was applied to predict the amount of tool wear using the aforementioned data. Additionally, the prediction accuracies of all kernels were compared.

Modified Principal Component Analysis for Real-Time Endpoint Detection of SiO2 Etching Using RF Plasma Impedance Monitoring

  • 장해규;김대경;채희엽
    • 한국진공학회:학술대회논문집
    • /
    • 한국진공학회 2011년도 제40회 동계학술대회 초록집
    • /
    • pp.32-32
    • /
    • 2011
  • Plasma etching is used in microelectronic processing for patterning of micro- and nano-scale devices. Commonly, optical emission spectroscopy (OES) is widely used for real-time endpoint detection for plasma etching. However, if the viewport for optical-emission monitoring becomes blurred by polymer film due to prolonged use of the etching system, optical-emission monitoring becomes impossible. In addition, when the exposed area ratio on the wafer is small, changes in the optical emission are so slight that it is almost impossible to detect the endpoint of etching. For this reason, as a simple method of detecting variations in plasma without contamination of the reaction chamber at low cost, a method of measuring plasma impedance is being examined. The object in this research is to investigate the suitability of using plasma impedance monitoring (PIM) with statistical approach for real-time endpoint detection of $SiO_2$ etching. The endpoint was determined by impedance signal variation from I-V monitor (VI probe). However, the signal variation at the endpoint is too weak to determine endpoint when $SiO_2$ film on Si wafer is etched by fluorocarbon plasma on inductive coupled plasma (ICP) etcher. Therefore, modified principal component analysis (mPCA) is applied to them for increasing sensitivity. For verifying this method, detected endpoint from impedance analysis is compared with optical emission spectroscopy (OES). From impedance data, we tried to analyze physical properties of plasma, and real-time endpoint detection can be achieved.

  • PDF

A Short-Term Prediction Method of the IGS RTS Clock Correction by using LSTM Network

  • Kim, Mingyu;Kim, Jeongrae
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제8권4호
    • /
    • pp.209-214
    • /
    • 2019
  • Precise point positioning (PPP) requires precise orbit and clock products. International GNSS service (IGS) real-time service (RTS) data can be used in real-time for PPP, but it may not be possible to receive these corrections for a short time due to internet or hardware failure. In addition, the time required for IGS to combine RTS data from each analysis center results in a delay of about 30 seconds for the RTS data. Short-term orbit prediction can be possible because it includes the rate of correction, but the clock correction only provides bias. Thus, a short-term prediction model is needed to preidict RTS clock corrections. In this paper, we used a long short-term memory (LSTM) network to predict RTS clock correction for three minutes. The prediction accuracy of the LSTM was compared with that of the polynomial model. After applying the predicted clock corrections to the broadcast ephemeris, we performed PPP and analyzed the positioning accuracy. The LSTM network predicted the clock correction within 2 cm error, and the PPP accuracy is almost the same as received RTS data.

실시간 데이터베이스 구축을 위한 사면조사 프로그램 개발에 관한 연구 (Study on the Development of Slope Survey Program for the Real-time Database)

  • 이종현;최지용;구호본
    • 한국지반공학회:학술대회논문집
    • /
    • 한국지반공학회 2010년도 추계 학술발표회
    • /
    • pp.1282-1288
    • /
    • 2010
  • In this study, Site Investigation Program of cut slope is developed using related techniques and experience got from practical application of Inventory Survey Program of cut slope in work for last 4 years. The Site Investigation Program is designed to can be loaded to the Mobile PC for convenience of carrying in filed, convenience of data input and revision, application of diverse programs, convenience of confirming data and facility of establishment of real-time database system using wireless communication like Inventory Survey Program. Also, for connection with Inventory Survey Program, it has a same work process and can establish real-time database system of almost data obtained in filed using stability analysis tool loaded in this program. Application of this developed program is expected to be an opportunity that can contribute to development of slope investigation and database system area using IT techniques.

  • PDF