• 제목/요약/키워드: Distributed Computing.

검색결과 1,273건 처리시간 0.031초

빅데이터를 위한 H-RTGL 기반 단일 분류기 분산 처리 프레임워크 설계 (Design of Distributed Processing Framework Based on H-RTGL One-class Classifier for Big Data)

  • 김도균;최진영
    • 품질경영학회지
    • /
    • 제48권4호
    • /
    • pp.553-566
    • /
    • 2020
  • Purpose: The purpose of this study was to design a framework for generating one-class classification algorithm based on Hyper-Rectangle(H-RTGL) in a distributed environment connected by network. Methods: At first, we devised one-class classifier based on H-RTGL which can be performed by distributed computing nodes considering model and data parallelism. Then, we also designed facilitating components for execution of distributed processing. In the end, we validate both effectiveness and efficiency of the classifier obtained from the proposed framework by a numerical experiment using data set obtained from UCI machine learning repository. Results: We designed distributed processing framework capable of one-class classification based on H-RTGL in distributed environment consisting of physically separated computing nodes. It includes components for implementation of model and data parallelism, which enables distributed generation of classifier. From a numerical experiment, we could observe that there was no significant change of classification performance assessed by statistical test and elapsed time was reduced due to application of distributed processing in dataset with considerable size. Conclusion: Based on such result, we can conclude that application of distributed processing for generating classifier can preserve classification performance and it can improve the efficiency of classification algorithms. In addition, we suggested an idea for future research directions of this paper as well as limitation of our work.

대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템 (A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data)

  • 손시운;김다솔;문양세;최형진
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.58-68
    • /
    • 2018
  • 분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

자바 에이젼트를 이용한 분산컴퓨팅 환경 구현 (Implementation of Distributed Computing Environment using Java Agent)

  • 서건원;이길흥
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권2호
    • /
    • pp.199-208
    • /
    • 2002
  • 컴퓨팅 환경의 변화 때문에 최근 에이젼트 기술이 주목을 받고 있다. 네트워크에 에이젼트를 분산 배치시킴으로서 서비스의 실현이 용이한 위치에서 필요한 서비스를 신속하게 제공하게 함으로서 네트워크의 효율성을 증대시킬 필요성이 점점 커지고 있다. 본 논문에서는 자바로 프로그래밍한 에이젼트를 실제 서비스의 실현이 용이한 위치에 있는 네트워크에 배치하고, 매니져에서는 에이젼트에 접속하여 서비스코드의 URL을 에이젼트에 알려주었다. 에이젼트는 해당 URL에서 서비스코드를 다운로드받아서 실행시켜 그 결과를 매니져에게 돌려주는 분산컴퓨팅 환경을 자바로 구현해본다.

  • PDF

Distributed Optimal Path Generation Based on Delayed Routing in Smart Camera Networks

  • Zhang, Yaying;Lu, Wangyan;Sun, Yuanhui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권7호
    • /
    • pp.3100-3116
    • /
    • 2016
  • With the rapid development of urban traffic system and fast increasing of vehicle numbers, the traditional centralized ways to generate the source-destination shortest path in terms of travel time(the optimal path) encounter several problems, such as high server pressure, low query efficiency, roads state without in-time updating. With the widespread use of smart cameras in the urban traffic and surveillance system, this paper maps the optimal path finding problem in the dynamic road network to the shortest routing problem in the smart camera networks. The proposed distributed optimal path generation algorithm employs the delay routing and caching mechanism. Real-time route update is also presented to adapt to the dynamic road network. The test result shows that this algorithm has advantages in both query time and query packet numbers.

Infrastructure of Grid-based Distributed Remotely Sensed Images Processing Environment and its Parallel Intelligence Algorithms

  • ZHENG, Jiang;LUO, Jian-Cheng;Hu, Cheng;CHEN, Qiu-Xiao
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1284-1286
    • /
    • 2003
  • There is a growing demand on remotely sensed and GIS data services in modern society. However, conventional WEB applications based on client/server pattern can not meet the criteria in the future . Grid computing provides a promising resolution for establishing spatial information system toward future applications. Here, a new architecture of the distributed environment for remotely sensed data processing based on the middleware technology was proposed. In addition, in order to utilize the new environment, a problem had to be algorithmically expressed as comprising a set of concurrently executing sub-problems or tasks. Experiment of the algorithm was implemented, and the results show that the new environmental can achieve high speedups for applications compared with conventional implementation.

  • PDF

소형 임베디드 시스템의 전력관리를 위한 미들웨어 설계 (Design of the Power Management Middleware for Embedded System)

  • 황선엽;박충범;최훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (A)
    • /
    • pp.326-330
    • /
    • 2006
  • 배터리를 사용하는 소형 임베디드 시스템은 효과적인 전력관리가 필요하다. 그러나 현재까지 개발된 전력관리 기법들은 대부분 운영체제와 하드웨어를 대상으로 하고 있어 개발 플랫폼에 종속적인 특징을 갖는다. 따라서 시스템을 개발할 때마다 지원하는 전력관리 기법을 하드웨어나 운영체제에 따라 여러 번 개발을 해야 하는 단점이 있다. 본 논문에서는 하위 계층에서 지원하는 전력관리 기법에 관계없이 동일한 기능을 제공하는 웨어러블 컴퓨터용 전력관리 미들웨어를 설계하였다.

  • PDF

최근의 디스크 드라이브의 내부 동작 모델링을 통한 컴퓨터 I/O 시스템의 성능 향상 모색 (Operational Modeling of Modern Disk Drives for Improving Disk I/O Performance)

  • 신동인;유영진;염헌영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.531-534
    • /
    • 2007
  • 우리는 이 논문에서 현대 마그네틱 디스크 드라이브를 대상으로 하여 내부의 세부적인 동작 메커니즘을 상위 레벨의 검침 프로그램을 이용하여 정확하게 측정하고 이를 통해서 디스크 드라이브를 사용하는 다양한 응용 프로그램 및 운영 체제 시스템의 디스크 입/출력 성능을 개선하고자 한다.

실험적인 방법으로 현대 디스크의 내부구조 추측 (An Empirical Inspection of Modern Disk Drive Internals)

  • 유영진;신동인;염헌영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.535-537
    • /
    • 2007
  • 디스크는 내부의 정보를 최대한 숨기고 추상화하여 운영체제에 읽기와 쓰기같은 최소한의 인터페이스만을 제공한다. 결과적으로 상위 레이어의 소프트웨어는 디바이스에 대해 최소한의 가정만을 가지고 결정에 임할 수밖에 없으며 이는 여러가지 최적화에 걸림돌이 될 수 밖에 없다. 본 논문에서는 디스크가 제공하는 최소한의 인터페이스만을 가지고 내부 구조를 정확히 추측해 내는 기법을 소개한다. 기존에 SCSI 디스크에 대해 매핑 정보를 추출해내는 연구[1,2] 이미 존재했으나, 널리 사용되고 있는 ATA 디스크의 경우 이를 밝혀낸 논문은 알려진 바 없다. 이 논문에서는 ATA 뿐만 아니라 SCSI 디스크에서도 적용할 수 있는 더 빠르고 정확한 알고리즘을 제안하고, 실제 실험 결과를 제시하였다. 이러한 결과는 차후에 입출력 시스템을 최적화하는데 큰 도움을 줄 수 있을 것이라 여겨진다.

분산된 데이터마이닝을 위한 프레임워크의 설계 및 구현 (Design and Implementation of a Distributed Data Mining Framework)

  • Kadel, Prakash;Choi, Ho-Jin
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.336-340
    • /
    • 2007
  • We envisage that grid computing environments allow us to implement distributed data mining services, that is, those applications which analyze large sets of geographically distributed databases and information using the computational power and resources of a grid environment. This paper describes an experimental framework towards such a distributed data mining approach, including design considerations and a prototype implementation. Based on the "Knowledge Grid" architecture suggested by Cannataro et al., we identify four major components - user node, broker node, data node, and computation node - and define their individual roles. For implementing the prototype, we have investigated methods for utilizing distributed resources within a grid computing environment, e.g., communication and coordination among the various resources available.

  • PDF

클러스터링 기반 협업 필터링 알고리즘을 사용한 분산 추천 시스템 (Distributed Recommendation System Using Clustering-based Collaborative Filtering Algorithm)

  • 조현제;이필규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.101-107
    • /
    • 2014
  • 본 논문에서는 협업 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천을 위한 수행 시간을 최적화 하는 방법에 대한 제안을 한다. 하둡 기반으로 시스템을 구성하였고, 분산 Min-hash 클러스터링 기반의 협업 필터링 방법을 제안하고, 이를 기반으로 분산 추천 시스템을 구성하였다. 분산 사용자 기반 협업 필터링 기법을 사용하여 무비렌즈 (Movie Lens)의 영화 평점 데이터를 기반으로 각각의 사용자에게 알맞은 영화를 추천해주는 분산추천 시스템을 구현하고 실험을 통하여 성능의 우수성을 검증하였다.