• 제목/요약/키워드: Computer data processing

검색결과 4,265건 처리시간 0.031초

Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석 (An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications)

  • 조나연;구민오;김바울;;민덕기
    • 정보화연구
    • /
    • 제11권4호
    • /
    • pp.449-462
    • /
    • 2014
  • 빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

조기경보 체제를 위한 통합 레이다 정보처리 시스템의 설계 및 성능분석에 관한 연구 (A study on the Design and the Performance Analysis of Radar Data Integrating Systems for a Early Warning System)

  • 이상웅;라극환;조동래
    • 전자공학회논문지A
    • /
    • 제29A권11호
    • /
    • pp.25-39
    • /
    • 1992
  • Due to the data processing development by the computer, the early warning system recently has made a remarkable evolution in its functions and performance as a component of the communication and control system which is also supported by the computer communication and intelligence system. In this paper it is presented that a integrated data processing system is designed to integrate the information sent from the various radar systems which constitute an early warning system. The suggested system model of this paper is devided into two types of structures, the centralized model and the distributed model, according to the data processing algorithm. We apply the queueing theory to analyse the performance of the designed models and the OPNET system kernel to make the analysing program with C language. From the analysis of the queueing components by applying the analysis programs to the designed systems, we got the tendancies and characteristics of both models, that is, a fast data processing performance of the distributed model and a stable data processing capability of the centralized model.

  • PDF

실시간 헬스케어 서비스를 위한 스트림 데이터 시스템 프레임워크의 설계 (The Framework of Stream Data Processing System for Realtime Health Care Service)

  • 오택군;이연;배해영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제44차 하계학술발표논문집 19권2호
    • /
    • pp.21-22
    • /
    • 2011
  • The growth of using smartphone and tablet pc has enabled variety kinds of realtime applications. In these applications, the data which we called data stream is multidimensional, continuous, rapid, and time-varying. However the traditional Database Management System (DBMS) suffers from processing the real time and complex application, in this paper we proposed the framework for CCR Data Stream Server's design and implementation that compiled with Data Stream Database Management System (DSMS) and DBMS in EMR system. The system enables users not only to query stored CCR information from DBMS, but also to execute continues query for the real-time CCR Data Stream.

  • PDF

Splash의 스트림 프로세싱 기능 구현 (Implementing stream processing functionalities of Splash)

  • 안재호;노순현;홍성수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.377-380
    • /
    • 2019
  • To accommodate for the difficult task of satisfying application's system timing constraints, we are developing Splash, a real time stream processing language for embedded AI applications. Splash is a graphical programming language that designs applications through data flow graph which, later automatically generates into codes. The codes are compiled and executed on top of the Splash runtime system. The Splash runtime system supports two aspects of the application. First, it supports the basic stream processing functions required for an application to operate on multiple streams of data. Second, it supports the checking and handling of the user configurated timing constraints. In this paper we explain the implementation of the first aspect of the Splash runtime system which is being developed using a real time communication middleware called DDS.

  • PDF

시맨틱 웹 데이터에서 접미사 배열 기반의 경로 질의 처리 기법 (Suffix Array Based Path Query Processing Scheme for Semantic Web Data)

  • 김성완
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권10호
    • /
    • pp.107-116
    • /
    • 2012
  • 서로 연결된 데이터들의 의미를 컴퓨터가 이해하여 자동으로 처리할 수 있는 시맨틱 기술의 보급이 확산되고 있다. 시맨틱 웹에서 데이터에 대한 처리는 데이터 자체에 대한 접근뿐만 아니라 데이터 상호간의 연관성 즉, 데이터 상호간의 의미에 대한 이해와 접근을 중요시 하고 있다. 시맨틱 웹의 데이터와 그 연관성을 표현하기 위해 W3C에서는 RDF를 표준 형식으로 제정하였으며 RDF로 표현된 데이터에 대한 질의 처리를 지원하기 위해 여러 RDF 질의어가 제안되었으나 시맨틱 연관성을 고려한 질의어 정의와 이에 관련한 질의 처리 기법은 계속적인 연구가 필요한 분야이다. 본 논문에서는 RDF 질의 처리를 위해 소개된 접미사 배열 기반의 인덱싱 기법을 기반으로 시맨틱 연관성의 대표적 유형인 ${\rho}$-path 질의를 처리하기 위한 방법을 제안한다. 제안된 질의 처리 방법의 성능 평가를 위해 다른 두 가지 형태의 처리 방법을 구현하여 실험적으로 비교하였다. 평균 질의 처리 시간 측정을 통해 제안 기법이 다른 두 가지 처리 방법에 비해 각각 약 1.8~2.5배와 3.8~11배의 우수한 처리 성능을 보인다.

군 USN 환경에서 효율적인 데이터 저장 및 질의 처리 방법 연구 (Efficient Data Storage & Query Processing Methods in Military Ubiquitous Sensor Networks)

  • 권영모;최현식;정연돈
    • 한국군사과학기술학회지
    • /
    • 제13권5호
    • /
    • pp.875-885
    • /
    • 2010
  • Recently, the role of Ubiquitous Sensor Network(USN) has been considered to be essential for supporting the near future Network Centric Warfare(NCW) and Tactical Information Communication Network(TICN). In this paper, we explore a set of data storage methods(external storage, local storage and data storage) and query processing methods in WSN. In particular, we focus on analyzing a novel data structure for supporting the local storage method, named the partial ordered tree(POT). The main idea behind POT is that sensor readings are usually correlated with the physical spatial domain. With the help of POT, only a small portion of sensor nodes participate in query processing tasks, and thus network lifetime is greatly increased. Through a series of simulation experiments, we demonstrate that the POT based local storage method clearly outperforms the existing data storage methods in terms of the energy-efficiency, which directly affects the network lifetime, for processing exact match queries, range queries and top-k queries.

Flaw Detection in LCD Manufacturing Using GAN-based Data Augmentation

  • Jingyi Li;Yan Li;Zuyu Zhang;Byeongseok Shin
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.124-125
    • /
    • 2023
  • Defect detection during liquid crystal display (LCD) manufacturing has always been a critical challenge. This study aims to address this issue by proposing a data augmentation method based on generative adversarial networks (GAN) to improve defect identification accuracy in LCD production. By leveraging synthetically generated image data from GAN, we effectively augment the original dataset to make it more representative and diverse. This data augmentation strategy enhances the model's generalization capability and robustness on real-world data. Compared to traditional data augmentation techniques, the synthetic data from GAN are more realistic, diverse and broadly distributed. Experimental results demonstrate that training models with GAN-generated data combined with the original dataset significantly improves the detection accuracy of critical defects in LCD manufacturing, compared to using the original dataset alone. This study provides an effective data augmentation approach for intelligent quality control in LCD production.

경희대학교 천문대의 천체관측 자료처리용 프로그램 개발 (DEVELOPMENT OF A COMPUTER PROGRAM FOR ASTRONOMICAL IMAGE DATA PROCESSING BY OBSERVATIONAL EQUIPMENT IN ASTRONOMICAL OBSERVATORY OF KYUNG HEE UNIVERSITY)

  • 김갑성
    • 천문학논총
    • /
    • 제10권1호
    • /
    • pp.135-146
    • /
    • 1995
  • We have developed a graphic software for image processing of astronomical data obtained by observational equipment in Astronomical Observatory of Kyung Hee University. The essential hardware for running our computer program is simply composed of a PC with the graphic card to handle 256 colors and the color graphic monitor, including CCD camera system. Our software has been programmed in WINDOWS to provide good environments for users, by using various techniques of image processing on astronomical image data recorded in FITS format by KHCCD program(Jin and Kim, 1994) with a compressional mode. We are convinced that our results will be a fundamental and useful technique in the construction of data processing system and can be effectively used in any other observatories, as well as in data processing system of Kyung Hee University.

  • PDF