• 제목/요약/키워드: distributed-data processing algorithm

검색결과 181건 처리시간 0.023초

맵리듀스 기반 대용량 개인정보 분산 암호화 처리 시스템 (The Distributed Encryption Processing System for Large Capacity Personal Information based on MapReduce)

  • 김현욱;박성은;어성율
    • 한국정보통신학회논문지
    • /
    • 제18권3호
    • /
    • pp.576-585
    • /
    • 2014
  • 대량의 개인정보가 수집되어 활용됨에 따라 개인정보 유출 등의 보안 문제가 발생하고 있다. 이에 최근에는 수집된 개인정보를 암호화 하여 저장하고 활용하는 방법이 사용되고 있다. 본 논문에서는 기존에 수집된 대량의 개인정보를 단시간에 암호화하기 위한 방법으로 맵리듀스 기반의 분산 암호화 처리 방법을 제안하고, 시스템을 설계하고 구현하였다. 또한 맵리듀스 기반의 분산 암호화 처리 방법의 성능을 검증을 위해 테스트 환경을 구축하여 비교 실험을 진행하였다. 실험 결과 토큰 서버의 암호화 처리 시간이 순차처리 대비 평균 시간 효율이 약 15.3% 정도 향상 하였으며, 병렬처리대비 약 3.13%정도 향상되는 것을 확인 하였다.

분산 메시지처리기 구조에서의 공통선 신호 트래픽루팅 제어 기법 (Routing Control Algorithm for SS7 Signaling Traffic with Distributed Message Handling Processors)

  • 조영소;류근호
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1797-1803
    • /
    • 1997
  • 공통선 신호방식에서 메시지처리기능은 다량의 신호트래픽을 전달지연이 없이 신호망내의 착신점으로 루팅하기 위한 기능으로써 실시간 처리가 가능 하여야 하며 데이타통신 서비스, 영상정보 서비스등 계속적으로 발생하는 다량의 트래픽에 대하여 그 처리능력이 탁월해야 한다. 본 논문에서는 다중 분산 메시지처리기 구조에서 실시간, 다량의 트래픽 처리를 위한 루팅기법을 제시하였다. 루팅은 신호링크선택코드를 이용하여 다수의 분산 메시지 처리기로 트래픽을 균등 분산하기 위한 시스템 내부 분산 루팅 기법과 신호망에서 다수의 신호루트로 신호트래픽을 분산 루팅하는 신호망 분산 루팅 기법으로 분류하였다. 이러한 루팅 기법을 적용함으로써 가용 신호루트의 고장, 비가용 신호루트의 복구와 같은 신호루트의 이상이 발생시 신호루트선택코드를 변경함으로서 신호트래픽의 효율적 루팅을 가능하게 하였다.

  • PDF

A New LEACH Algorithm for the Data Aggregation to Improve the Energy Efficiency in WSN

  • Subedi, Sagun;Lee, Sangil;Lee, Jaehee
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제10권2호
    • /
    • pp.68-73
    • /
    • 2018
  • In recent years, the utilization of the WSN have been rapid. Energy consumption of these networks must be as low as possible. LEACH algorithm is one of the clustering technique. We modify the traditional LEACH algorithm in such way that it will be capable to self-organize large number of nodes and for saving communication resources such as processing time and initiation time. The efficiency of the network highly depends on how the algorithm divides cluster area and selects cluster head. The proposed algorithm can be evaluated through the extensive simulation the result we obtained shows that the life time of a network is increased when energy load is distributed equally among the sensor.

A Novel Node Management in Hadoop Cluster by using DNA

  • Balaraju. J;PVRD. Prasada Rao
    • International Journal of Computer Science & Network Security
    • /
    • 제23권9호
    • /
    • pp.134-140
    • /
    • 2023
  • The distributed system is playing a vital role in storing and processing big data and data generation is speedily increasing from various sources every second. Hadoop has a scalable, and efficient distributed system supporting commodity hardware by combining different networks in the topographical locality. Node support in the Hadoop cluster is rapidly increasing in different versions which are facing difficulty to manage clusters. Hadoop does not provide Node management, adding and deletion node futures. Node identification in a cluster completely depends on DHCP servers which managing IP addresses, hostname based on the physical address (MAC) address of each Node. There is a scope to the hacker to theft the data using IP or Hostname and creating a disturbance in a distributed system by adding a malicious node, assigning duplicate IP. This paper proposing novel node management for the distributed system using DNA hiding and generating a unique key using a unique physical address (MAC) of each node and hostname. The proposed mechanism is providing better node management for the Hadoop cluster providing adding and deletion node mechanism by using limited computations and providing better node security from hackers. The main target of this paper is to propose an algorithm to implement Node information hiding in DNA sequences to increase and provide security to the node from hackers.

농업 이미지 처리를 위한 빅테이터 플랫폼 설계 및 구현 (Design and Implementation of Big Data Platform for Image Processing in Agriculture)

  • 반퀴엣뉘엔;신응억뉘엔;둑티엡부;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.50-53
    • /
    • 2016
  • Image processing techniques play an increasingly important role in many aspects of our daily life. For example, it has been shown to improve agricultural productivity in a number of ways such as plant pest detecting or fruit grading. However, massive quantities of images generated in real-time through multi-devices such as remote sensors during monitoring plant growth lead to the challenges of big data. Meanwhile, most current image processing systems are designed for small-scale and local computation, and they do not scale well to handle big data problems with their large requirements for computational resources and storage. In this paper, we have proposed an IPABigData (Image Processing Algorithm BigData) platform which provides algorithms to support large-scale image processing in agriculture based on Hadoop framework. Hadoop provides a parallel computation model MapReduce and Hadoop distributed file system (HDFS) module. It can also handle parallel pipelines, which are frequently used in image processing. In our experiment, we show that our platform outperforms traditional system in a scenario of image segmentation.

스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘 (Parallel k-Modes Algorithm for Spark Framework)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권10호
    • /
    • pp.487-492
    • /
    • 2017
  • 클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법 (Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream)

  • 윤수식;이재길
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1209-1218
    • /
    • 2017
  • 최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

엣지컴퓨팅을 활용한 분산처리 시스템의 가용성 향상에 관한 연구 (A Study on the Improvement of Availability of Distributed Processing Systems Using Edge Computing)

  • 이건우;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권1호
    • /
    • pp.83-88
    • /
    • 2022
  • 최근 정보통신기술의 발전에 따라 사물인터넷(이하 IoT) 관련 기술이 지속적으로 발전하고 있다. IoT 시스템은 다양한 센서들을 바탕으로 센서마다 고유한 데이터를 네트워크를 통해 주고 받는다. IoT 시스템에서 발생하는 데이터는 실시간으로 발생한다는 특징과, 그 양이 설치된 센서의 양과 비례한다는 점에서 연속적으로 수집되는 데이터들은 빅 데이터로 정의할 수 있다. 현재까지의 IoT 시스템은 중앙 집중 처리 방식을 통한 데이터 저장, 처리 및 연산을 적용하였다. 하지만, 구축 규모가 커지고 다량의 센서를 사용하는 경우 기존의 중앙 집중 처리 방식의 서버는 병목 현상으로 인한 부하가 발생할 수 있다. 따라서, 본 논문에서는 IoT 환경에서 발생하는 실시간 센서 데이터를 효율적으로 처리하기 위하여 시스템의 고가용성을 목적으로 하는 데이터의 중요도 기반 알고리즘을 적용하기 위한 분산 처리 시스템에 대해 제안하였다.

온라인 선로상정사고 분산처리를 위한 SIMD 구조의 PC 클러스터링 (The PC Clustering of the SIMD Structure for a Distributed Process of On-line Contingency)

  • 장세환;김진호;박준호
    • 전기학회논문지
    • /
    • 제57권7호
    • /
    • pp.1150-1156
    • /
    • 2008
  • This paper introduces the PC clustering of the SIMD structure for a distributed processing of on-line contingency to assess a static security of a power system. To execute on-line contingency analysis of a large-scale power system, we need to use high-speed execution device. Therefore, we constructed PC-cluster system using PC clustering method of the SIMD structure and applied to a power system, which relatively shows high quality on the high-speed execution and has a low price. SIMD(single instruction stream, multiple data stream) is a structure that processes are controlled by one signal. The PC cluster system is consisting of 8 PCs. Each PC employs the 2 GHz Pentium 4 CPU and is connected with the others through ethernet switch based fast ethernet. Also, we consider N-1 line contingency that have high potentiality of occurrence realistically. We propose the distributed process algorithm of the SIMD structure for reducing too much execution time on the on-line N-1 line contingency analysis in the large-scale power system. And we have verified a usefulness of the proposed algorithm and the constructed PC cluster system through IEEE 39 and 118 bus system.

Alsat-2B/Sentinel-2 Imagery Classification Using the Hybrid Pigeon Inspired Optimization Algorithm

  • Arezki, Dounia;Fizazi, Hadria
    • Journal of Information Processing Systems
    • /
    • 제17권4호
    • /
    • pp.690-706
    • /
    • 2021
  • Classification is a substantial operation in data mining, and each element is distributed taking into account its feature values in the corresponding class. Metaheuristics have been widely used in attempts to solve satellite image classification problems. This article proposes a hybrid approach, the flower pigeons-inspired optimization algorithm (FPIO), and the local search method of the flower pollination algorithm is integrated into the pigeon-inspired algorithm. The efficiency and power of the proposed FPIO approach are displayed with a series of images, supported by computational results that demonstrate the cogency of the proposed classification method on satellite imagery. For this work, the Davies-Bouldin Index is used as an objective function. FPIO is applied to different types of images (synthetic, Alsat-2B, and Sentinel-2). Moreover, a comparative experiment between FPIO and the genetic algorithm genetic algorithm is conducted. Experimental results showed that GA outperformed FPIO in matters of time computing. However, FPIO provided better quality results with less confusion. The overall experimental results demonstrate that the proposed approach is an efficient method for satellite imagery classification.