• 제목/요약/키워드: Distributed process

검색결과 2,395건 처리시간 0.027초

서버가상화 및 분산처리를 이용한 천리안해양관측위성 산출물 재처리 시스템 (GOCI Products Re-processing System (GPRS) Using Server Virtualization and Distributed Processing)

  • 양현;유정미;최우창;한희정;박영제
    • 대한원격탐사학회지
    • /
    • 제33권2호
    • /
    • pp.125-134
    • /
    • 2017
  • 최근 위성 기반 윈격 탐사 기술의 발전과 더불어 대용량 위성 자료를 효율적으로 처리하기 위한 능력이 요구되고 있다. 이 연구에서는 대용량 GOCI 산출물을 효율적으로 재처리하기 위해 서버가상화와 분산처리를 기반으로 한 GOCI 산출물 재처리 시스템(GOCI Products Re-processing System; GPRS)을 개발하는데 집중하였다. 실험 결과 GPRS를 이용하여 메모리 및 CPU의 사용률을 각각 약 100%, 75%까지 올릴 수 있었다. 이는 제안 시스템을 통해 하드웨어 자원을 절약함과 동시에 작업 처리 속도를 향상시킬 수 있다는 것을 의미한다.

빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현 (Implement of MapReduce-based Big Data Processing Scheme for Reducing Big Data Processing Delay Time and Store Data)

  • 이협건;김영운;김기영
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.13-19
    • /
    • 2018
  • 맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

Optimal Charging and Discharging for Multiple PHEVs with Demand Side Management in Vehicle-to-Building

  • Nguyen, Hung Khanh;Song, Ju Bin
    • Journal of Communications and Networks
    • /
    • 제14권6호
    • /
    • pp.662-671
    • /
    • 2012
  • Plug-in hybrid electric vehicles (PHEVs) will be widely used in future transportation systems to reduce oil fuel consumption. Therefore, the electrical energy demand will be increased due to the charging of a large number of vehicles. Without intelligent control strategies, the charging process can easily overload the electricity grid at peak hours. In this paper, we consider a smart charging and discharging process for multiple PHEVs in a building's garage to optimize the energy consumption profile of the building. We formulate a centralized optimization problem in which the building controller or planner aims to minimize the square Euclidean distance between the instantaneous energy demand and the average demand of the building by controlling the charging and discharging schedules of PHEVs (or 'users'). The PHEVs' batteries will be charged during low-demand periods and discharged during high-demand periods in order to reduce the peak load of the building. In a decentralized system, we design an energy cost-sharing model and apply a non-cooperative approach to formulate an energy charging and discharging scheduling game, in which the players are the users, their strategies are the battery charging and discharging schedules, and the utility function of each user is defined as the negative total energy payment to the building. Based on the game theory setup, we also propose a distributed algorithm in which each PHEV independently selects its best strategy to maximize the utility function. The PHEVs update the building planner with their energy charging and discharging schedules. We also show that the PHEV owners will have an incentive to participate in the energy charging and discharging game. Simulation results verify that the proposed distributed algorithm will minimize the peak load and the total energy cost simultaneously.

홍수유출해석을 위한 운동파기반의 분포형모형 개발 및 적용 (Development of Kinematic Wave-based Distributed Model for Flood Discharge Analysis)

  • 박진혁;허영택
    • 한국수자원학회논문집
    • /
    • 제41권5호
    • /
    • pp.455-462
    • /
    • 2008
  • 본 연구에서는 격자강우량과 격자기반의 수문정보와 연계하여 홍수기 유출량의 시공간적 분포를 파악할 수 있도록 물리적인 운동파(kinematic wave)이론에 근거한 분포형 강우-유출모형을 개발하였다. 이 모형은 홍수기동안의 지표흐름과 지표하 흐름의 시간적 변화와 공간적 분포를 모의할 수 있으며, 전처리과정으로서 ArcGIS 혹은 ArcView등의 GIS 프로그램을 이용하여 모형에 필요한 ASCII형태의 입력 매개변수 자료들을 가공하였다. 또한 후처리과정으로서 모형의 수행결과인 유역내의 유출량 분포 등을 GIS상에서 나타낼 수 있도록 ASCII형태로 출력하도록 구성하였다. 개발된 모형의 적용가능성을 검토하기 위하여 남강댐유역을 대상으로 유역을 500m의 정방형 격자로 분할하고 수계망을 통하여 유역 출구까지 운동파이론에 의해 추적 계산하였으며, 수문곡선 비교결과 재현성 높은 결과를 보여주었다.

결함 내성 분산 시스템에서의 동적 검사점 스케쥴링 기법 (A Dynamic Checkpoint Scheduling Scheme for Fault Tolerant Distributed Computing Systems)

  • 박태순
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권2호
    • /
    • pp.75-86
    • /
    • 2002
  • 분산 시스템에 결함 내성 기능을 제공하는 기법의 하나인, 검사점을 이용한 회복 기법을 효율 적으로 구현하기 위해서는 최적화된 검사점 설정 구간의 선택이 매우 중요한 문제로 인식되고 있다. 본 논문은 분산 시스템내의 각 프로세스 적절한 검사점 설정 구간을 프로세스의 연산 중에서 동적으로 스케 쥴링 하는 기법을 제안한다. 제안된 기법에서는 시스템내에의 각 프로세스가 현 검사점 구간 동안으 검사점 설정 비용과 가능한 롤백 회복 비용을 비교 평가하고, 다음 검사점 설정을 위한 적절한 구간을 계산한다. 대부분의 기존 기법들과는 달리 제안된 기법은 검사점과 롤백 두 가지 비용 모두를 최소화는 구간 값 을 선택하여 , 현 검사점 구간 동안의 통신 형태를 고려한 구간 값을 선택한다. 또한 검사점 설정 구간 선 택을 위한 별도의 통신비용의 요구되지 않으며, 제안된 기법의 기존의 검사점 조정 기법들과 쉽게 통합되어 사용될수 있다.

대용량 분산 Abyss 스토리지의 CDA (Connected Data Architecture) 기반 AI 서비스의 설계 및 활용 (Design and Utilization of Connected Data Architecture-based AI Service of Mass Distributed Abyss Storage)

  • 차병래;박선;서재현;김종원;신병춘
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.99-107
    • /
    • 2021
  • 4차 산업혁명, Industry 4.0 과 더불어 최근 ICT 분야의 메가트렌드는 빅데이터, IoT, 클라우드 컴퓨팅, 그리고 인공지능이라고 할 수 있다. 따라서, 4차 산업혁명 시대에 알맞은 AI 서비스들의 기술 개발과 다양한 산업 영역에서 ICT 분야의 융합에 따른 BI (Business Intelligence), IA (Intelligent Analytics, BI + AI), AIoT (Artificial Intelligence of Things), AIOPS (Artificial Intelligence for IT Operations), RPA 2.0 (Robotic Process Automation + AI) 등의 세분화된 기술 발전으로 급속한 디지털 전환 (Digital Transformation)이 진행되고 있는 추세이다. 본 연구에서는 이러한 기술적 상황에 따른 대용량 분산 Abyss 스토리지 기반으로 인프라 측면의 GPU, CDA (Connected Data Architecture) 프레임워크, 그리고 AI의 다양한 머신러닝 서비스들을 통합 및 고도화를 목표로 하며, AI 비즈니스의 수익 모델을 다양한 산업 영역에 활용하고자 한다.

상수원수 및 정수처리공정별 가시아메바 분포특성에 관한 연구 (Distribution of Acanthamoeba spp. in Raw Water and Water Treatment Process)

  • 정은영;정미은;박홍기;정종문;노재순;유평종
    • 한국환경과학회지
    • /
    • 제17권10호
    • /
    • pp.1121-1127
    • /
    • 2008
  • The free-living amoeba and Acanthamoeba sp. are widely distributed in fresh water, soil, air and dust in the world. We studied distribution of amoeba from low Nakdong River(Mulgum and Maeri) and removal efficiency in water treatment process of Busan metropolitan city. During this investigation, water quality showed pH $7.4{\sim}9.6({\pm}1.1)$, water temperature $2.0{\sim}29.0({\pm}17)^{\circ}C$, turbidity $4.8{\sim}27.4({\pm}11.0)$ NTU, chlorophyll-a $10.3{\sim}109.0({\pm}44.3)\;mg/m^{3}$, BOD $1.7\sim4.9({\pm}2.6)$ mg/L, COD $3.1\sim-6.9({\pm}5.0)$ mg/L and total coliform $17\sim920({\pm}200.5)$ MPN/100 mL. The free-living amoeba were detected highly than Acanthamoeba sp., 11 out of 22 in raw water samples were positive (50%) for Acanthamoeba sp. from February 2005 to December 2005. The seasonal characteristics of tree-living amoeba and Acanthamoeba sp. in raw water were mainly distributed through the spring to the early fall. When tree-living amoeba and Acanthamoeba sp. were passed through the water treatment of pilot-plant, approximately 80% was sure to be removed through pre-ozonation, sedimentation, send filtration. 100% was removed after post-ozonation process. All of the isolated amoebas from Nakdong River were Acanthamoeba sp. AC311 18S ribosomal RNA gene with 98% nucleotide sequence homology.

The Process and Method to Set a Mountainous Scenic Site's Designated Area

  • Han, Gab Soo;Kim, Soonki;Ham, Kwang Min
    • Journal of Forest and Environmental Science
    • /
    • 제36권1호
    • /
    • pp.47-54
    • /
    • 2020
  • A "Scenic Site" is an official heritage category legally defined as a "scenic site of outstanding artistic value with excellent scenic views." However, the subjective interpretation of the term causes several problems. This study suggested a systematic, organized process of designating a listed area as a scenic site after careful and detailed quantitative and qualitative analysis. Indicators were identified for each of the two analyses, and then scored and weighted. Quantitative indicators were distributed within 5 points for each indicator. Water, which is a natural indicator, based on distance from river boundaries. Forest landscapes were assigned in consideration of forest physiognomy and age class. Land use was allocated in consideration of land cover type and, in case of development site, '-' score was assigned. Cultural heritage conservation area, which is historical and cultural indicator, was distributed by distance within a maximum of 500 meters. Visibility, an indicator of landscape value, was assigned according to the frequency of visibility. The weight of each indicator was calculated by considering the value of each item. The weight of distribution of cultural resources is relatively high, while other items were set the same. In case of land use, however, '-' score was given according to the grade. Qualitative indicators, on the other hand, were considered terrain, landscape zone, ownership, intellectual boundary, and land category. The applicability of the proposed process and method was examined by applying the existing methods and criteria used for designating scenic spots. Opinions of subject-matter experts were incorporated in the identification of the indicators and in the result review stage. In the future, it is necessary to apply this method while designating scenic sites so as to establish an objective, scientific designation process.

멀티캐스트 프로토콜상에서 토큰 전달 방법을 이용한 전체 순서화 알고리즘 (Total Ordering Algorithm over Reliable Multicast Protocol using Token Passing Mechanism)

  • 원유재;유관종
    • 한국정보처리학회논문지
    • /
    • 제6권8호
    • /
    • pp.2158-2170
    • /
    • 1999
  • 멀티캐스트 프로토콜을 이용한 분산 시스템들이 널리 사용됨에 따라 시스템의 성능 향상과 여러 프로세스에 대한 좀더 신뢰성 있는 통신이 요구되고 있다. 분산 환경에서는 프로세스들간의 비동기적인 수행으로 데이터의 일관성을 유지하는 문제와 여러 프로세스들의 활동을 조정하는 문제가 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 전체 순서화 알고리즘인 TORMP을 제안한다. TORMP는 멀티캐스트 프로토콜의 장점을 이용하여 효율적인 토큰 전달 방법을 사용한다. TORMP는 메시지 전송 요청을 한 모든 프로세스에게 동시에 토큰을 멀티캐스트 하여 각 프로세스의 메시지 전송 전 지연시간이 줄어든다. 또한 토큰을 받은 모든 프로세스들이 동시에 메시지를 멀티캐스트 하여 전체적으로 전송 지연도 크게 줄어든다. TORMP는 한 프로세스만 메시지를 전송하는 경우 순서화를 위한 제어과정이 거의 없다. TORMP는 벡터 클락을 이용하여 그룹내의 모든 프로세스에게 메시지 전송 권한을 공정하게 나누어준다. TORMP는 다른 알고리즘들과는 달리 순서화 과정동안 발생되는 패킷의 수가 프로세스의 수에 의존적이지 않다.

  • PDF

인과적 메시지 로깅에서 확장성 지원 방법 (How To Support Scalability in Causal Message Logging)

  • 김기범;황종선;유헌창;손진곤;정순영
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권4호
    • /
    • pp.362-372
    • /
    • 2000
  • 인과적 메시지 로깅기법은 프로세스의 파손 결함을 포용하는 분산 시스템을 작은 비용으로 구축할 수 있는 기법이다. 기존의 인과적 메시지 로깅기법은 결함 포용 시스템 내에 고정된 수의 프로세스가 존재한다는 기본가정을 갖고 있다. 이러한 가정은 새로운 프로세스의 추가 혹은 현존하는 프로세스의 소멸 시 모든 프로세스들이 자신의 자료구조를 변경해야 한다. 그러나, 우리는 각각의 프로세스가 모든 프로세스에 대한 목록을 유지하는 것이 아니라 통신을 수행하는 프로세스에 대한 목록을 유지하도록 한다. 이러한 방법은 결함 포용시스템을 여러 다른 스케일에서도 동작하도록 하여 준다. 이러한 기법을 이용하여, 우리는 현존하는 인과적 메시지 로깅 기법에 적용할 수 있는 새로운 회복 알고리즘을 개발하였다. 제안하는 알고리즘은 1) 회복리더를 필요로 하지 않는 분산화된 기법이고, 2) 회복이 진행되는 동안 정상프로세스의 실행을 막지 않는 비방해기법이고, 3) 여러 프로세스의 동시 결함도 포용할 수 있는 기법이다. 기존의 인과적 메시지 로깅기법에서는 위의 성질 중 하나 이상을 만족시키지 못했다.

  • PDF