• Title/Summary/Keyword: 분산 데이터 분석

Search Result 1,173, Processing Time 0.03 seconds

Design and Implementation of a Real-Time Remote Data Analysis System based on Internet (인터넷기반 실시간 원격 데이터 분석 시스템 설계 및 구현)

  • 김종만;김지환;이성구;안세영;박미경;김홍기
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.484-486
    • /
    • 2001
  • 지리적으로 분산된 컴퓨터의 정보 교환을 위해 탄생된 인터넷은 네트워크 응용 프로그램을 개발하기 위한 시스템 개발자들이 로컬 컴퓨터에서 발생하는 실시간(real-time) 데이터의 중앙관리를 위한 통신 수단을 제공한다. 본 논문은 지리적으로 분산된 하/폐수 처리장에서 발생되는 다양한 종류의 실시간 데이터에 대한 효과적인 중앙 관리와 이러한 데이터를 처리, 분석하여 필요한 정보를 즉시 각 처리장에 제공함으로써 처리장 사이의 정보 공유는 물론 감독기관의 각 처리장에 대한 효율적인 운영관리를 위한 인터넷 기반 원격 데이터 분석 시스템(RRDAS)의 설계 및 구현에 대해 논한다.

  • PDF

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • The Journal of the Korea Contents Association
    • /
    • v.13 no.9
    • /
    • pp.20-27
    • /
    • 2013
  • In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. MapReduce is an emerging programming model that processes large amount of data. However, since MapReduce evenly places the data in the dedicated distributed computing environment, it is not suitable to the non-dedicated distributed computing environment. The data replacement algorithms were proposed for performance optimization of MapReduce in the non-dedicated distributed computing environments. However, they spend much time for date replacement and cause the network load for unnecessary data transmission. In this paper, we propose an efficient data replacement algorithm for the performance optimization of MapReduce in the non-dedicated distributed computing environments. The proposed scheme computes the ratio of data blocks in the nodes based on the node availability model and reduces the network load by transmitting the data blocks considering the data placement. Our experimental results show that the proposed scheme outperforms the existing scheme.

Computer graphics approach to two-way ANOVA (컴퓨터 그래픽스에 의한 이원 분산분석)

  • 허문열
    • The Korean Journal of Applied Statistics
    • /
    • v.8 no.1
    • /
    • pp.75-87
    • /
    • 1995
  • Computer graphics approach is a powerful tool when we are to explore the effects of the change of a part of the data, or the effects of the alteration of the characteristics of the statistical model currently employed. The paper describes the methods to implement dynamic graphics for the process of analysis of variance, and the methods to graphically represent ANOVA type data. The paper the describes a dynamic graphics software developed by the author for two-way ANOVA model.

  • PDF

Analysis for Multimedia Stream Protocol (멀티미디어 스트림 프로토콜의 분석 기법)

  • 김인규;김형호;배두환;김민경;유병규
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.466-468
    • /
    • 1998
  • 인터넷의 발달과 멀티미디어 서비스에 대한 요구 확대는 분산 환경에서의 멀티미디어 서비스를 증대시키고 있다. 분산 환경에서의 멀티미디어 서비스를 지원하기 위해서는 각 시스템 사이에서 멀티미디어 데이터의 전송을 지원해 주는 멀티미디어 스트림에 대한 프로토콜이 필요하다. 이러한 멀티미디어 스트림 프로토콜은 첫째, 재생을 위해 요구되는 데이터를 적절히 공급하고, 둘째, 처리할 수 있는 속도 이상으로 데이터가 전송되는 것을 막아 데이터가 손실되는 것을 방지하기 위해서는, 시간을 적절히 고려하며 동작하여야 한다. 이처럼 복잡한 행위는 갖는 멀티미디어 스트림 프로토콜은 오류의 가능성이 기존의 프로그램보다 크기 때문에, 오류를 개발 초기에 인식, 수정하는 것이 중요하다. 본 연구에서는 정형적 명세 및 분석 도구인 SPIN을 멀티미디어 스트림 프로토콜의 개발에 적용, 프로토콜에 대한 명세 기술과 이에 대한 분석 및 검증을 지원하였다. 이러한 정형적 명세 및 분석 기법은 멀티미디어 스트림 프로토콜 개발 초기에 오류 인식을 가능케하여 요구되는 개발 노력을 감소시킬 수 있을 것이다.

Design of a Reliable Distributed Real-time Group Communication System (신뢰성 있는 분산 실시간 그룹 통신 시스템의 설계)

  • 노진홍;홍영식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10e
    • /
    • pp.319-321
    • /
    • 2002
  • 인터넷 기반 네트워크 통신의 형태가 단순한 텍스트 위주의 데이터로부터 실시간 환경을 요구하는 멀티미디어 데이터 형태로 변하고 있으며, 실시간 분산처리 시스템에 대한 수요가 증가하고 있다. 이러한 실시간 시스템은 분산 실시간 처리 시스템에 대한 전반적인 분야의 발전이 필요하며, 특히 그 중에서도 신뢰성이 높은 그룹 통신 시스템의 개발은 매우 중요하다. 따라서 본 논문에서는 고장탐지 기능이 있는 실시간 그룹 통신 시스템을 설계하였다. 설계된 실시간 그룹통신 시스템은 이미 TMO 모델을 통하여 메시지 신뢰성과 고장탐지에 관한 시뮬레이션을 하였고, 그 결과를 분석하여 실시간 그룹통신 시스템 설계에 반영하였다.

  • PDF

Outlier Detection Based on MapReduce for Analyzing Big Data (대용량 데이터 분석을 위한 맵리듀스 기반의 이상치 탐지)

  • Hong, Yejin;Na, Eunhee;Jung, Yonghwan;Kim, Yangwoo
    • Journal of Internet Computing and Services
    • /
    • v.18 no.1
    • /
    • pp.27-35
    • /
    • 2017
  • In near future, IoT data is expected to be a major portion of Big Data. Moreover, sensor data is expected to be major portion of IoT data, and its' research is actively carried out currently. However, processed results may not be trusted and used if outlier data is included in the processing of sensor data. Therefore, method for detection and deletion of those outlier data before processing is studied in this paper. Moreover, we used Spark which is memory based distributed processing environment for fast processing of big sensor data. The detection and deletion of outlier data consist of four stages, and each stage is implemented with Mapper and Reducer operation. The proposed method is compared in three different processing environments, and it is expected that the outlier detection and deletion performance is best in the distributed Spark environment as data volume is increasing.

Performance Analysis of DDS for Distribution Network Management System Suitable for Satellite Communication (위성 통신 환경에 적합한 분산 망관리시스템을 위한 DDS의 성능 분석)

  • Song, Ye-Jin
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.38C no.12
    • /
    • pp.1179-1185
    • /
    • 2013
  • Trend of next generation satellite communication network is distribution and enlargement of network structure with increased network terminals, and traffic which use satellite communication is increasing and frequently occurring. Under specific satellite communication environment that various communication device dynamically forms a network domain and frequently exchanges the data, data-centric publish/subscribe data exchange is more suitable than server/client data exchange. So, this paper analyze DDS performance for application of DDS standard to distribution network management system which aims to efficiently manage limited satellite resource, and also this paper covers comparative study on DDS and SNMP(server/client data exchange). Study compares DDS and SNMP using OPNET, and result of study is analyzed from a network layer performance perspective.

Distributed RFID Information Service Architecture for Ubiquitous Logistics (유비쿼터스 물류를 위한 EPC기반 RFID 정보서비스 구조)

  • Lee, Jae-Won;Lee, Yeong-Gu
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2005.05a
    • /
    • pp.139-148
    • /
    • 2005
  • EPC를 탑재한 RFID 형태의 스마트객체를 이용한 물류 시스템을 구축하기 위해서는 시스템 구성 요소간의 거래에 필수적인 RFID 객체의 PML 데이터를 표현하고 검색요구에 대응하는 RFID 정보서비스의 설계 및 관리가 매우 중요하다. EPC기반 RFID 정보서비스는 네트워크상의 정보시스템들에 보안과 운영의 이유로 분산되어 있는 RFID 객체 정보들을 검색하여 사용자가 요구하는 결과를 반환하는 역할을 담당한다. 하지만 RFID 객체 정보의 표준화된 표현과 처리, 그리고 분산처리로 인한 통신량과 처리시간과다의 문제가 존재한다. 이에 대해서 본 연구는 물류시스템의 PML 데이터의 표현 및 사용, 검색패턴을 분석하고, 분석 결과를 기반으로 미들웨어를 이용하는 분산형 RFID 객체 데이터 관리 및 RFID 객체 정보서비스 구조를 설계하고 제시하였다. 단일형 및 통합형 RFID 정보서비스 구조를 제시하였다.

  • PDF

HTML5 based-Visualization Component Building Regression Analysis Chart from Distributed IoT Sensors (HTML5를 활용한 IoT 센서 데이터의 회귀분석 차트)

  • Park, Moo-Young;Kim, Sung-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1800-1803
    • /
    • 2015
  • 기존의 센서가 컴퓨팅과 통신기능을 갖추게 되면서, 분산된 센서가 통신망을 통해 전달하는 현장의 물리량 변화를 직관적으로 판단할 수 있게 돕는 재사용 가능한 데이터 시각화 컴포넌트의 수요가 높다. 본 연구에서는 라즈베리파이를 IoT센서로 보고, 분산된 복수의 IoT센서들로부터 현장의 온도 값을 웹 서버에서 모아, 사용자가 클라이언트 단말을 통해 현장의 온도변화 상황을 직관성 있게 판단할 수 있도록 돕는 회귀분석 시각화컴포넌트를 개발하였다. 본 연구에서는 이종분산의 IoT 환경에서 다양한 브라우저를 지원할 수 있도록 Non-ActiveX 기반 데이터 시각화 컴포넌트 개발을 논한다. 본 연구의 결과는 단일의 온도센서가 보고하는 온도값을 현장의 온도값이라고 대표할 수 없는 항온항습 시설의 온도 감시제어 응용에서 본 연구 결과가 널리 활용될 것으로 본다.

DiSAnT: Design and Implementation of Distributed System for Analysing Twitter (트위터 분석을 위한 분산 시스템 설계 및 구현)

  • Yoon, Jinyoung;Kim, Sukjoong;Lee, Bumsuk;Hwang, Byung-Yeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1326-1329
    • /
    • 2012
  • 트위터는 대표적인 소셜 네트워크 서비스이며 스마트 기기의 발달로 사용자 수뿐만 아니라 생성되는 트윗의 수도 지속적으로 늘고 있다. 또한 트위터는 인증과정을 통하여 API 요청을 제한해 데이터의 수집이 어렵기 때문에 트위터 기반 연구를 위해서는 빅 데이터를 처리하기 위한 분산처리 기술이 요구된다. 본 논문에서는 네트워크로 연결된 다수의 클라이언트를 이용해 계정과 트윗의 수집에 용이하고 수집한 데이터를 분석할 수 있는 기능까지 추가한 분산처리 시스템인 DiSAnT을 소개한다.