• 제목/요약/키워드: 분산연산

검색결과 419건 처리시간 0.029초

MAHA-FS : 고성능 메타데이터 처리 및 랜덤 입출력을 위한 분산 파일 시스템 (MAHA-FS : A Distributed File System for High Performance Metadata Processing and Random IO)

  • 김영창;김동오;김홍연;김영균;최완
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권2호
    • /
    • pp.91-96
    • /
    • 2013
  • 바이오 응용과 같은 대용량 데이터 처리와 고성능 계산을 동시에 지원하는 발판으로 슈퍼컴퓨팅 시스템의 활용 분야가 변화하고 있다. 이러한 응용에서는 발생하는 대용량의 데이터를 고속으로 처리하고 효율적으로 저장 관리하기 위한 고성능의 분산 파일 시스템이 요구된다. 본 논문에서는 대용량의 데이터 처리와 고성능 계산을 동시에 지원하는 슈퍼컴퓨팅 시스템을 위해 우수한 메타데이터 연산 성능 및 입출력 성능을 제공하는 MAHA-FS를 소개한다. 아울러 성능 분석을 통해 MAHA-FS가 메타데이터 연산 처리 성능 및 random 입출력 성능이 우수함을 보인다.

자율성을 가진 동적 에이전트 기반의 침입탐지 시스템 (Intrusion Detection System based on Mobile Agents)

  • 전준철;이성운;유기영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.859.2-897
    • /
    • 2002
  • 네트워크의 급격한 발전에 따라 컴퓨터의 보안 문제가 계속 대두되고 있다. 이러한 보안관리 시스템으로 이동 에이전트를 이용한 침입탐지 시스템이 계속 연구되어지고 있다. 본 논문에서는 기존의 침입탐지시스템을 고찰하고 작은 에이전트의 그룹으로 구성된 자율성을 가진 이동 에이전트를 기반으로 한 모듈 접근방식의 시스템을 위한 모델링을 제공한다. 제안된 모델은 침입 정보를 동적으로 수집하고 탐지 에이전트를 학습시키고 탐지한다. 이동 에이전트는 통신 비용절감, 로컬자원 사용의 한계에서의 독립, 관리의 편의성 제공. 비동기 연산 등 다양한 이점을 가지고, 분산 연산을 위만 유동성 있는 구조를 제공한다.

  • PDF

병렬 분산 처리를 이용한 영상 기반 실내 위치인식 시스템의 프레임워크 구현 (Framework Implementation of Image-Based Indoor Localization System Using Parallel Distributed Computing)

  • 권범;전동현;김종유;김정환;김도영;송혜원;이상훈
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1490-1501
    • /
    • 2016
  • 본 논문에서는 인메모리(In-memory) 병렬 분산 처리 시스템 Apache Spark(이하 Spark)를 활용하여 사용자에게 실시간 측위 정보를 제공할 수 있는 영상 기반 실내 위치인식 시스템을 제안한다. 제안하는 시스템에서는 사용자에게 실시간 측위 정보를 제공하기 위해서, Spark를 이용한 영상 특징점 추출 알고리즘의 병렬 분산화를 통해 알고리즘 연산 시간을 단축시킨다. 하지만 기존의 Spark 플랫폼에서는 영상 처리를 위한 인터페이스가 존재하지 않아, 영상 처리와 관련된 연산을 수행하는 것이 불가능하였다. 이에 본 논문에서는 Spark 영상 입출력 인터페이스를 구현하여 측위 연산을 위한 영상 처리를 Spark에서 수행 가능하게 하였다. 또한 무손실 압축(lossless compression)기법을 이용하여 특징점 기술자(descriptor)를 압축된 형태로 데이터베이스에 저장하여, 대용량의 실내 지도 데이터를 효율적으로 저장 및 관리하는 방법을 소개한다. 측위 실험은 실제 실내 환경에서 수행하였으며, 싱글 코어(Single-core) 시스템과의 성능 비교를 통해 제안하는 시스템이 최대 약 3.6배 단축된 시간으로 사용자에게 측위 정보를 제공 할 수 있다는 것을 입증하였다.

낸드 플래시 메모리를 위한 적응형 가비지 컬렉션 정책 (An Adaptive Garbage Collection Policy for NAND Flash Memory)

  • 한규태;김성조
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권5호
    • /
    • pp.322-330
    • /
    • 2009
  • 제자리 덮어쓰기가 불가능하고 블록의 지움 횟수가 제한되는 낸드 플래시 메모리를 저장매체로 사용하기 위해서 지움 횟수 평준화를 지원하는 다양한 가비지 컬렉션 정책들이 연구되고 있다. 기존정책들은 지움 횟수 평준화를 지원하기 위해 가비지 컬렉션이 수행될 때마다 전체 블록에 대해 지움 대상블록을 선정하기 위한 클리닉 지표를 구하는 연산을 수행하여야 하고 이 연산들은 시스템의 성능을 저하시킨다. 본 논문에서 제안하는 가비지 컬렉션 정책은 지움 횟수의 분산(variance)과 블록들의 최대 지움횟수에 따라 변경되는 임계값을 이용하여 전체 블록에 대한 클리닉 지표를 구하는 연산을 수행하지 않으면서 지움 횟수 평준화를 제공한다. 가비지 컬렉션 시 분산이 임계값 보다 작을 때는 Greedy 정책을 이용하여 지움 비용을 최소화하고, 분산이 임계값 보다 클 때는 최대 지움 횟수를 가진 블록을 지움 대상에서 제외하여 지움 횟수를 평준화한다. 본 논문에서 제안하는 방법으로 가비지 컬렉션을 수행하였을 때, 블록들의 지움 횟수가 지움 횟수 상한에 가까워질수록 블록들의 지움 횟수 표준 편차가 0에 근접하며, 기존의 지움 횟수 평준화를 지원하는 알고리즘과 비교하여 두 배 이상 빠른 가비지 컬렉션 속도를 보였다.

IoT 노드의 데이터 처리를 위한 분산 프레임워크 (Distributed Framework for Data Processing of IoT Node)

  • 김민우;이태호;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.215-216
    • /
    • 2018
  • 분산 컴퓨팅 환경에서 사용되어지는 빅 데이터 파일 시스템은 IoT(Internet of Things) 노드에서 처리해야할 데이터 탐색 시 모든 저장장치를 탐색하기 때문에 속도가 느리며 트래픽으로 인한 오버헤드가 발생할 수 있다. 본 연구에서는 IoT 노드의 분산 컴퓨팅 환경에서 빅 데이터를 좀 더 효율적으로 처리하고 빠른 검색을 위해 머신 러닝 기법을 이용한 분산 프레임워크를 제안하며 IoT 노드에서의 데이터 처리를 위해 다른 저장 장치로의 불필요한 액세스를 사전에 방지하여 빠르고 정확한 연산 결과를 도출하여 효율성을 향상 시키고자 한다.

  • PDF

이동에이전트 기반의 수요반응 서비스를 위한 분산제어 프레임워크 (Distributed Control Framework for Demand-Response Service based on Mobile Agent)

  • 백승현;장민석;이연식
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.571-573
    • /
    • 2020
  • 현재의 센서네트워크 환경은 자원사용의 효율화를 위한 제어시스템의 지원이 필수적으로 요구된다. 본 논문은 이동에이전트 기반의 데이터 획득기능, Zigbee 기반 데이터 통신기능, 연산 및 능동규칙 처리기능 등을 지원하는 분산제어 프레임워크를 제안함으로써, 센서네트워크 환경에서 무선방식의 분산된 장치들의 자율제어를 통한 효율적 분산제어시스템 구축에 적용하도록 한다. 제안 프레임워크는 환경 변화, 사용자의 행동 변화 및 이상 패턴 탐지 등에 따른 최적 제어를 기반으로 하는 스마트 전력서비스 개발과 수요자의 요구에 자율적 지능적으로 반응하는 수요반응 서비스 개발에 적용이 가능하다.

  • PDF

분산 감소 기법에 의한 몬테칼로 선량 계산 효율 평가 (Application of Variance Reduction Techniques for the Improvement of Monte Carlo Dose Calculation Efficiency)

  • 박창현;박성용;박달
    • 한국의학물리학회지:의학물리
    • /
    • 제14권4호
    • /
    • pp.240-248
    • /
    • 2003
  • 몬테칼로 계산은 다른 어떤 알고리즘보다 정확한 선량 계산 결과를 주지만 계산 시간이 오래 걸리는 단점이 있다. 본 연구에서는 Varian 600 C/D 선형가속기로부터지 6 MV 광자선에 대해 몬테칼로 계산을 사용하여 얻은 선량 분포가 측정에 의해 얻은 선량 분포와 2% 이내에서 서로 잘 일치하도록 하며 분산 감소 기법을 사용하여 계산 시간 단축 정도를 평가하였다. 그리고 연산 능력을 높여 계산 시간 단축 정도를 평가하여 분산 감소 기법을 사용한 경우와 연산 능력을 높인 경우 간에 계산 시간 단축 정도를 비교하였다. 몬테칼로 계산 코드로는 빔 모사를 위해 BEAMnrc 코드, 선량 계산을 위해 DOSXYZnrc 코트를 각각 사용하였는데 분산 감소 기법은 이 코드들에서 지원하는 방법들을 사용하였고 연산 능력을 높이는 방법으로는 컴퓨터 클러스터를 이용한 병렬 처리를 사용하였다. 비교 결과, 분산 감소 기법을 사용하여 계산 시간을 최대 1/25 이상 단축시킬 수 있었고 9대의 컴퓨터를 이용한 병렬 처리 결과 계산 시간을 1/9로 단축시킬 수 있었다. 계산 곁과의 정확성을 만족할 만한 수준으로 유지할 수 있다면 분산감소 기법을 포함한 간략화된 물리의 적용은 현 시점에서 몬테칼로 선량 계산 시간을 획기적으로 단축시킬 대안이 될 수 있다.

  • PDF

무선센서네트워크를 위한 다중계층 클러스터 기반의 분산형 인증모델 (Distributed Authentication Model using Multi-Level Cluster for Wireless Sensor Networks)

  • 신종회;유동영;김석규
    • 한국시뮬레이션학회논문지
    • /
    • 제17권3호
    • /
    • pp.95-105
    • /
    • 2008
  • 본 논문에서는 무선 센서네트워크에서 센서노드의 효율적 인증을 제공하기 위한 다중계층 클러스터 기반의 분산형 인증모델(DAMMC: Distributed Authentication Model using Multi-level Cluster)을 제안한다. 제안된 인증모델은 하나의 클러스터헤드가 CA 기능을 갖되 사용자가 정의한 m개의 다중계층을 두고 상위 클러스터가 하위클러스터를 인증하는 구조로서, 클러스터들끼리의 상호 인증 오버헤드를 해결할 수 있는 기법이다. 특히 노드 인증서 발급의 경우, 임계값 t개 이상의 클러스터 멤버노드가 분할인증서를 제공하는 경우에만 인증서가 생성되도록 비밀분산기법을 사용하여 센서노드의 효과적인 신뢰관계를 구축하였다. 제안된 DAMMC는 시뮬레이션을 통해 초기인증과정에서의 인증발급 연산시간, 노드 추가에 따른 인증발급 연산시간등이 기존 인증프로토콜에 비해 우수함을 확인하였으며, 보안성능도 변형공격, 속임 경로 공격 및 비인가된 노드 추가, 재사용 공격 등의 공격기법으로부터 안전함을 확인하였다.

  • PDF

Spark SQL 기반 고도 분석 지원 프레임워크 설계 (Design of Spark SQL Based Framework for Advanced Analytics)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권10호
    • /
    • pp.477-482
    • /
    • 2016
  • 기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.

광역조건식에 의한 공유자원 접근오류 검색 (Detecting Shared Resource Usage Errors with Global Predicates)

  • 이은정;윤기중
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권12호
    • /
    • pp.1445-1454
    • /
    • 1999
  • 광역 조건식의 계산은 분산 프로그램의 수행을 테스트 또는 디버깅하기 위한 방법으로 활 발히 연구되고 있다. 이제까지 주로 연구된 광역조건식은 AND 또는 OR 광역 조건식 등이 있는데, 특히 AND 광역 조건식은 분산 프로그램의 동시적 조건을 표현하는데 유용하여 효율적인 검색 알고리즘이 활발히 연구되었다. 분산프로그램의 수행오류로서 공유자원의 배타적 접근조건은 가장 중요하고 일반적인 경우라 할 수 있다. 본 논문에서는 XOR 연산을 이용하여 공유자원 프로그램의 오류 검색을 위한 광역조건식을 기술하는 방식에 대해 제안하였다. XOR 연산을 이용한 광역 조건식은 연산자 중 많아야 하나의 지역조건식만이 참일 때 전체 조건식이 참이 되는데 이러한 성질은 여러 프로세스 중 한번에 하나만이 공유자원에 배타적으로 접근할 수 있는 조건을 표현하는데 매우 유용하다. n 개의 프로세스로 이루어진 분산프로그램에서 한개의 공유자원에 대한 배타적 접근 조건을 기술하기 위해서 AND로 연결된 광역조건식을 이용하면 O(n2)개의 광역 조건식이 필요한데 반해 XOR 연산으로는 하나의 조건식으로 나타낼 수 있다. 더구나 XOR 연산을 이용한 광역조건식은 최근 소개된 겹치는 구간의 개념을 활용하면 매우 간단하게 검색할 수 있다. 본 논문에서는 겹치는 구간을 찾는 검색 알고리즘을 소개하고 증명하였다.Abstract Detecting global predicates is an useful tool for debugging and testing a distributed program. Past research has considered several restricted forms of predicates, including conjunctive or disjunctive form of predicates. Especially, conjunctive predicates have attracted main attention not only because they are useful to describe simultaneous conditions in a distributed program, but also because it is possible to find algorithms to evaluate them within reasonable time bound. Detecting errors in accessing shared resources are the most popular and important constraints of distributed programs. In this paper, we introduced an exclusive OR predicates as a model of global predicates to describe shared resource conditions in distributed programs. An exclusive OR predicate holds only when at most one operand is true, which is useful to describe mutual exclusion conditions of distributed programs where only one process should be allowed to access the shared resource at a time. One exclusive OR predicate is enough to describe mutual exclusion condition of n processes with one shared resource, while it takes O(n2) conjunctive predicates. Moreover, exclusive OR condition is easily detectable using the concept of overlapping intervals introduced by Venkatesan and Dathan. An off-line algorithm for evaluating exclusive OR global predicates is presented with a correctness proof.