• International Journal of Internet, Broadcasting and Communication
• /
• 제15권1호
• /
• pp.157-163
• /
• 2023

Recently, as businesses and data types become more complex and diverse, efficient data analysis using machine learning is required. However, since communication in the cloud environment is greatly affected by network latency, data analysis is not smooth if information delay occurs. In this paper, SPT (Safe Proper Time) was applied to the cluster-based machine learning data analysis agent proposed in previous studies to solve this delay problem. SPT is a method of remotely and directly accessing memory to a cluster that processes data between layers, effectively improving data transfer speed and ensuring timeliness and reliability of data transfer.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권8호
• /
• pp.537-542
• /
• 2015

대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

• 한국지리정보학회지
• /
• 제20권3호
• /
• pp.12-26
• /
• 2017

본 연구의 목적은 물리적 분포형 강우-유출 모형인 GRM(Grid based Rainfall-runoff Model)과 마이크로소프트 Azure(Microsoft cloud computing service)를 이용하여 낙동강 유역의 유출해석시스템을 개발하고, Azure의 가상머신(VM, Virtual Machine) 설정에 따른 시스템 실행시간을 평가하는 것이다. 이를 위해서 낙동강 유역을 20개의 소유역으로 구분하고, 각 소유역에 대해서 GRM 모형을 구축하였다. 각 유역의 유출해석은 상하류 위상관계를 유지하면서 독립된 프로세스로 실행된다. 실시간 유출해석을 위해 국토교통부의 실시간 강우레이더 자료와 댐방류량 자료를 이용한다. 유출해석시스템은 Azure에서 실행되며, 유출해석 결과는 웹을 통해서 가시화 된다. 연구결과 실시간 수문자료 수신서버와 유출해석 계산서버(Azure) 및 사용자 PC가 연계된 낙동강 실시간 유출해석시스템을 개발할 수 있었다. 유출해석을 위한 전산장비는 하드디스크와 메모리 보다는 CPU의 성능에 크게 의존하는 것으로 평가되었다. 유출해석시의 디스크 입출력(I/O)과 계산 프로세스를 분산함으로써 입출력과 계산 병목을 각각 감소시킬 수 있었고, 실행시간을 단축시킬 수 있었다. 본 연구의 결과는 고해상도의 공간 및 수문 자료를 활용하는 분포형 모형을 이용한 대유역 유출해석시스템을 구축하기 위한 기술로 활용될 수 있을 것이다.

• 한국CDE학회논문집
• /
• 제3권4호
• /
• pp.283-292
• /
• 1998

The engineering process including design, analysis/evaluation and manufacturing activities is becoming one of the key issues to embody a concurrent engineering concept. This paper proposes a framework to integrated the complicated engineering design and manufacturing processes under the concurrent engineering environment. The framework offers the following facilities: (1) to represent the complicated engineering process (2) to coordinate design activities and execute the process in a distributed environment (3) to support a communication among the related engineers. The engineering processes is depicted using process flow graphs that consist in tasks and the corresponding input and output data. The engineering activities in the defined processes can be executed in a distributed environment through process controller of the framework. Engineers can communicate to suggest their opinions and to exchange product information in the framework. We have conformed the CORBA standard to integrate various distributed engineering the and communicate among them, and used a Java to support the platform independent environment on the Internet. Since the proposed framework an be a formal approach to integrate the engineering processes by providing formalism, parallelism, reusability, and flexibility, it can be effectively applied to embody the concurrent engineering concept in a distributed environment.

• 제어로봇시스템학회논문지
• /
• 제18권8호
• /
• pp.780-786
• /
• 2012

Surveillance has become one of promising application areas of wireless sensor networks which allow for pervasive monitoring of concerned environmental phenomena by facilitating context awareness through sensor fusion. Existing systems that depend on a postmortem context analysis of sensor data on a centralized server expose several shortcomings, including a single point of failure, wasteful energy consumption due to unnecessary data transfer as well as deficiency of scalability. As an opposite direction, this paper proposes an energy-efficient distributed context-aware surveillance in which sensor nodes in the wireless sensor network collaborate with neighbors in a distributed manner to analyze and aware surrounding context. We design and implement multi-modal sensor stations for use as sensor nodes in our wireless sensor network implementing our distributed context awareness. This paper presents an initial experimental performance result of our proposed system. Results show that multi-modal sensor performance of our sensor station, a key enabling factor for distributed context awareness, is comparable to each independent sensor setting. They also show that its initial performance of context-awareness is satisfactory for a set of introductory surveillance scenarios in the current interim stage of our ongoing research.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1155-1166
• /
• 2015

기하급수적으로 증가하는 대용량 데이터를 저장, 분석하는데 기존 방식으로는 거의 불가능하여 이를 가능케 해 주는 기술이 바로 하둡이다. 최근에 R은 하둡기술을 활용하여 분산처리에 기반한 빅데이터 분석 엔진으로 활용되고 있다. 본 논문에서는 R과 하둡의 통합환경인 RHadoop을 이용하여 실제 데이터와 모의실험 데이터에서 다양한 데이터 크기에 따라 병렬 다중 회귀분석을 구현하고자 한다. 또한, 제안된 RHadoop 플랫폼의 성능을 평가하기 위해 기본 R 패키지의 lm 함수, bigmemory 상에서 유용한 biglm 패키지와 처리 속도를 비교하였다. 실험결과 RHadoop은 데이터 노드가 많을수록 병렬처리로 인해 빠른 처리속도를 보였고 또한 대용량의 데이터에 대해 다른 패키지들보다 빠른 처리속도를 보였다.

• 품질경영학회지
• /
• 제39권3호
• /
• pp.412-421
• /
• 2011

In this paper, we introduce Quality of Service(QoS) analytic model of a distributed system that decentralizes the process nodes performing each task and communicates through a network for cooperation. The model advances a service reliability model of Dai et a1.(2003) by means of considering the processing time. The service is assumed to be provided by a centralized heterogeneous distributed system which is composed of some subsystems managed by a control center. The QoS is defined as the probability that a service is provided successfully in an allowed time, we consider the hardware/software reliability and the processing time which include program execution time, data transfer time. We derive the processing time distribution for a required service through convolution of corresponding probability density function. An application example is used to explain the procedure of computing quality of service.

• Journal of Multimedia Information System
• /
• 제2권1호
• /
• pp.143-152
• /
• 2015

Multimedia services in the cloud have become a popular trend in the big data environment. However, how to efficiently schedule a large number of multimedia services in the cloud is still an open and challengeable problem. Current cloud-based scheduling algorithms exist the following problems: 1) the content of the multimedia is ignored, and 2) the cloud platform is a known parameter, which makes current solutions are difficult to utilize practically. To resolve the above issues completely, in this work, we propose a novel distributed multimedia scheduling to satisfy the objectives: 1) Develop a general cloud-based multimedia scheduling model which is able to apply to different multimedia applications and service platforms; 2) Design a distributed scheduling algorithm in which each user makes a decision based on its local information without knowing the others' information; 3) The computational complexity of the proposed scheduling algorithm is low and it is asymptotically optimal in any case. Numerous simulations have demonstrated that the proposed scheduling can work well in all the cloud service environments.

• 한국콘텐츠학회논문지
• /
• 제13권11호
• /
• pp.21-27
• /
• 2013

최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2002년도 학술발표회 논문집(II)
• /
• pp.1179-1186
• /
• 2002

Macro scale distributed hydrological models simulate river discharge with better accuracy but it depends upon the grid resolution of input data. Effects of different input resolutions are studied here. Three different grid resolution input data obtained from HUBEX-IOP EEWB data and GAME Re-analysis data are used to simulate river discharge and compared against the observed one. CAME Re-analysis 1.25-degree resolution data are found quite satisfactory in larger basins, while HUBEX-IOP EEWB 10-minute resolution data are better for small catchments. GAME Re-analysis 2.5-degree resolution data did not give good result. Simulated results by using spatially interpolated data are rather worse than using original data. The Huaihe River basin $(132350\textrm{km}^2)$ is taken as the case of study.