• 품질경영학회지
• /
• 제48권4호
• /
• pp.553-566
• /
• 2020

Purpose: The purpose of this study was to design a framework for generating one-class classification algorithm based on Hyper-Rectangle(H-RTGL) in a distributed environment connected by network. Methods: At first, we devised one-class classifier based on H-RTGL which can be performed by distributed computing nodes considering model and data parallelism. Then, we also designed facilitating components for execution of distributed processing. In the end, we validate both effectiveness and efficiency of the classifier obtained from the proposed framework by a numerical experiment using data set obtained from UCI machine learning repository. Results: We designed distributed processing framework capable of one-class classification based on H-RTGL in distributed environment consisting of physically separated computing nodes. It includes components for implementation of model and data parallelism, which enables distributed generation of classifier. From a numerical experiment, we could observe that there was no significant change of classification performance assessed by statistical test and elapsed time was reduced due to application of distributed processing in dataset with considerable size. Conclusion: Based on such result, we can conclude that application of distributed processing for generating classifier can preserve classification performance and it can improve the efficiency of classification algorithms. In addition, we suggested an idea for future research directions of this paper as well as limitation of our work.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권2호
• /
• pp.119-126
• /
• 2024

The volume of genomic data is constantly increasing in various modern industries and research fields. This growth presents new challenges and opportunities in terms of the quantity and diversity of genetic data. In this paper, we propose a distributed cloud system for integrating and managing large-scale gene databases. By introducing a distributed data storage and processing system based on the Hadoop Distributed File System (HDFS), various formats and sizes of genomic data can be efficiently integrated. Furthermore, by leveraging Spark on YARN, efficient management of distributed cloud computing tasks and optimal resource allocation are achieved. This establishes a foundation for the rapid processing and analysis of large-scale genomic data. Additionally, by utilizing BigQuery ML, machine learning models are developed to support genetic search and prediction, enabling researchers to more effectively utilize data. It is expected that this will contribute to driving innovative advancements in genetic research and applications.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권2호
• /
• pp.161-168
• /
• 2024

As the size of big data models grows, distributed training is emerging as an essential element for large-scale machine learning tasks. In this paper, we propose ParamHub for distributed data training. During the training process, this agent utilizes the provided data to adjust various conditions of the model's parameters, such as the model structure, learning algorithm, hyperparameters, and bias, aiming to minimize the error between the model's predictions and the actual values. Furthermore, it operates autonomously, collecting and updating data in a distributed environment, thereby reducing the burden of load balancing that occurs in a centralized system. And Through communication between agents, resource management and learning processes can be coordinated, enabling efficient management of distributed data and resources. This approach enhances the scalability and stability of distributed machine learning systems while providing flexibility to be applied in various learning environments.

• Spatial Information Research
• /
• 제19권4호
• /
• pp.55-71
• /
• 2011

최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

• 한국정보처리학회논문지
• /
• 제3권6호
• /
• pp.1433-1442
• /
• 1996

자료 분산은 SPMD(Single Program Multiple Data)형태의 병렬성을 제공하는 HPF (High Performance Fortran)의 주기능으로 구현 방법에 따라 컴파일러 성능을 좌우한 다. 본 논문에서는 SPAX(Scalable Parallel Architecture computer based on X-bar network)상에 자료 분산 기능을 제공하기 위한 설계 주안점과 효율적인 모델에 관하 여 기술하였다. SPAX는 분산공유 메모리 (DSM:distributed shared memory)를 사용한 계층적 클러스터링 구조를 가진다. 이러한 메모리 구조에서는 분산 메모리 자료 분산 (DMDD:Distributed Memory Data Distribution)이나 공유 메모리 자료 분산(SMDD: Shared Memory Data Distribution)방법으로는 시스템 가용성을 만족할 수 없다. 그래 서 계층적 마스터-슬래브 형태의 분산공유 메모리 자료분산(DSMDD:Distributed Shared Memory Data Distribution)모델을 설계하였다. 이 모델은 각 노드에 원격 마 스터와 슬래브들을 할당하고 노드내에서는 공유 메모리를 그리고 노드간에는 메세지 전달 인터페이스를 사용한다. 시뮬레이션을 수행한 결과, 시스템 성능 저하를 최소화 하는 노드 크기로 DSMDD를 수행하였을 때 SMDD나 DMDD보다 훨씬 더 효율적이였다. 특 히, 논리적 프로세서 갯수가 많을수록, 분산된 자료들 간의 자료 종속성이 적을수록 성능이 우수하였다.

• 조명전기설비학회논문지
• /
• 제29권1호
• /
• pp.113-120
• /
• 2015

Network type distributed control system uses a communication line which is named the BUS to exchange a data among the sub-systems. Usually, on the bus, only one data must be exited at one time, so the control algorithm to prevent collision or to manage a priority of data is important. Including CAN Protocol, many kind of FieldBus which are used for distributed control system, prevent data collision by controlling transmission time. But, a system which have to make a control signal or get a data from a sensor at fixed time will be met a problem when it is composed by using a network type distributed control structure. In this paper, some of these cases will be discussed and solutions be proposed for preventing a data collision. Also, using Arago Disk System which have a structure for inner loop control, the validity of the proposed methods will be verified.

• International Journal of Advanced Culture Technology
• /
• 제9권3호
• /
• pp.321-326
• /
• 2021

In a multi-cloud environment, it is necessary to minimize physical movement for efficient interoperability of distributed source data without building a data warehouse or data lake. And there is a need for a data platform that can easily access data anywhere in a multi-cloud environment. In this paper, we propose a new platform based on data fabric centered on a distributed platform suitable for cloud environments that overcomes the limitations of legacy systems. This platform applies the knowledge graph database technique to the physical linkage of source data for interoperability of distributed data. And by integrating all data into one scalable platform in a multi-cloud environment, it uses the holochain technique so that companies can easily access and move data with security and authority guaranteed regardless of where the data is stored. The knowledge graph database mitigates the problem of heterogeneous conflicts of data interoperability in a decentralized environment, and Holochain accelerates the memory and security processing process on traditional blockchains. In this way, data access and sharing of more distributed data interoperability becomes flexible, and metadata matching flexibility is effectively handled.

• 디지털콘텐츠학회 논문지
• /
• 제8권3호
• /
• pp.309-314
• /
• 2007

분산형 데이터마이닝을 위해 의사결정나무 알고리즘은 분산형 협업 환경에 적합하도록 변환되어야 한다. 본 논문에서 제시된 분산형 데이터마이닝 시스템은 각각의 사이트에서 부분적인 데이터를 위한 데이터마이닝 작업을 수행할 수 있는 에이전트와 여러 에이전트들의 협업을 통해 최종적인 의사결정나무 모델을 완성할 수 있도록 에이전트들 간의 통신을 중재하는 미디에이터로 구성되어 있다. 분산형 데이터마이닝의 장점 중에 하나는 여러 사이트에 분산되어 있는 대량의 데이터를 분산 처리하므로 데이터마이닝의 소요시간을 현저하게 줄일 수 있다는 점이다. 그러나 각 사이트들에 존재하고 있는 에이전트들 간의 통신에 부하가 과도하게 걸린다면, 효율적인 시스템으로의 활용도가 낮아질 것 이다. 본 논문은 에이전트들 간에 의사결정나무 모델의 전송량을 최소로 할 수 있는 방법론에 초점을 맞추었다.

• 디지털콘텐츠학회 논문지
• /
• 제9권2호
• /
• pp.277-284
• /
• 2008

인터넷 서비스가 일반화되고 복잡해지면서 차세대 인터넷 서비스인 시맨틱웹의 중요한 구성요소로 활발히 연구되고 있는 분야가 온톨로지이다. 현재까지의 많은 연구들은 중앙 집중형 사이트에서의 온톨로지 구축을 통한 데이터의 통합에 관한 연구가 대부분이었다. 그러나 인터넷 환경은 기본적으로 분산 데이터 환경이며, 이러한 분산된 사이트의 모든 데이터를 대상으로 질의를 처리해야 한다. 이때 사이트간의 온톨로지 분산 데이터 처리에 대한 해결 기법들이 없이는 빠른 변화에 대응할 수 있는 차세대 시맨틱웹 구축을 기대할 수 없다. 본 연구는 분산된 인터넷 환경에서 각기 다른 방법으로 구축되어 있는 온톨로지간의 관계를 OWL언어가 지니는 확장요소를 이용하여 온톨로지 요소간의 분산관계를 기술하여 통합 질의 처리가 가능한 시스템을 구축하는 방법을 제시한다.

• International journal of advanced smart convergence
• /
• 제13권3호
• /
• pp.125-134
• /
• 2024

In a distributed environment, data fabric refers to the technology and architecture that provides data management, integration, and access in a consistent and unified manner. To build a data fabric, it is necessary to maintain data consistency, establish a data governance system, reduce structural differences between data sources, and provide a unified view. In this paper, we propose the Fabricator system, a technology that provides data management and access in a consistent and unified manner by building a metadata registry. Fabricator manages the addition and modification of metadata schemas and matching processes by designing a matching tool called MetaSB Manager that applies B+Tree. This allows real-time integration of various data sources in a distributed environment, maximizing the flexibility and usability of data.