• Journal of Korea Society of Industrial Information Systems
• /
• v.28 no.4
• /
• pp.21-34
• /
• 2023

Federated Learning is divided into synchronous federated learning and asynchronous federated learning. Asynchronous federated learning has a time advantage over synchronous federated learning, but asynchronous federated learning still has some challenges to obtain better performance. In particular, preventing performance degradation in non-IID training datasets, selecting appropriate clients, and managing stale gradient information are important for improving model performance. In this paper, we deal with K-asynchronous federated learning by using non-IID datasets. In addition, unlike traditional method using static K, we proposed an algorithm that adaptively adjusts K and we can reduce the learning time. Additionally, the we show that model performance is improved by using stale gradient handling method. Finally, we use a method of judging model performance to obtain strong model stability. Experiment results show that overall algorithm can obtain advantages of reducing training time, improving model accuracy, and improving model stability.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.533-534
• /
• 2023

본 논문에서는 불균형하게 분포된(Non-IID) 데이터를 소유하고 있는 데이터 소유자(클라이언트)들을 가정하고, 데이터 소유자들 간 원본 데이터의 직접적인 이동 없이도 딥러닝 학습이 가능하도록 연합학습을 적용하였다. 실험 환경 구성을 위하여 MNIST 손글씨 데이터 세트를 하나의 숫자만 다량 보유하도록 분할하고 각 클라이언트에게 배포하였다. 연합학습을 적용하여 손글씨 분류 모델을 학습하였을 때 정확도는 85.5%, 중앙집중식 학습모델의 정확도는 90.2%로 연합학습 모델이 중앙집중식 모델 대비 약 95% 수준의 성능을 보여 연합학습 시 성능 하락이 크지 않으며 특수한 상황에서 중앙집중식 학습을 대체할 수 있음을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.722-723
• /
• 2023

연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.119-122
• /
• 2022

연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

• Journal of Platform Technology
• /
• v.11 no.4
• /
• pp.80-88
• /
• 2023

To construct a learning model in the field of artificial intelligence, a dataset should be collected and be delivered to the central server where the learning model is constructed. Federated learning is a machine learning method building a global learning model without transmitting data located in a client side in a collaborative manner. It can be used to protect privacy, and after constructing a local trained model on individual clients, the parameters of the local model are aggregated centrally to update the global model. In this paper, we reuse the existing learning parameter to improve federated learning, describe incremental federated learning. For this work, we do experiments using the federated learning framework named Flower, and evaluate the experiment results with regard to elapsed time and precision when executing optimization algorithms.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.22 no.6
• /
• pp.157-167
• /
• 2023

The use of big data for transportation often involves using data that includes personal information, such as the driver's driving routes and coordinates. This study explores the creation of a route choice prediction model using a large dataset from mobile navigation apps using federated learning. This privacy-focused method used distributed computing and individual device usage. This study established preprocessing and analysis methods for driver data that can be used in route choice modeling and compared the performance and characteristics of widely used learning methods with federated learning methods. The performance of the model through federated learning did not show significantly superior results compared to previous models, but there was no substantial difference in the prediction accuracy. In conclusion, federated learning-based prediction models can be utilized appropriately in areas sensitive to privacy without requiring relatively high predictive accuracy, such as a driver's preferred route choice.

• Journal of KIISE:Computer Systems and Theory
• /
• v.26 no.9
• /
• pp.1126-1134
• /
• 1999

최근 다양한 멀티미디어 서비스를 지원하기 위한 통신망 관리와 서비스 관리가 통합된 개방형 정보 통신망의 구조가 요구되고 있다. 이러한 구조를 기반으로, TINA-C(Tele-communications Information Networking Architecture-Consortium)에서는 분산 환경에서 분산 어플리케이션 객체들에 대한 복잡한 서비스 및 관리 인터페이스들을 간결하도록 객체그룹의 개념을 정의하고 있다. 이러한 환경 속에서 트레이딩 서비스는 통신 서비스를 제공하는 객체그룹간의 상호작용을 지원하는데 매우 중요하다.따라서, 본 논문에서는 객체그룹간의 상호접속을 지원할 수 있는 트레이딩 기능과 이들 트레이더들간의 연동을 위한 트레이더 연합 모델을 제시하고자 한다. 이를 위해 우리는 트레이더의 중개자로서 Cooperator를 설계하여 기존의 트레이더와 연동시켰다. 이러한 결과로서 우리의 새로운 트레이더 연합 모델에서 Cooperator는 객체그룹간의 상호접속에서 객체들의 접속 권한의 체크 기능과 기존의 트레이더 연합모델의 문제점인 트레이더들간의 단 방향 연결문제를 보완하여 양방향 연결 기능을 갖도록 하였다. 끝으로, 이러한 해결 과정을 보이기 위해 트레이더와 Cooperator들로 이루어진 본 연합모델에서 분산 객체그룹간의 상호접속 절차과정과 사건 추적 다이어그램을 보였다.Abstract Recently, the open networking architecture is required to support various multimedia services as integrated functions of network management and service management. Based on this architecture, TINA-C defines an object group concept for simplifying complex management and service interfaces, when distributed application is executed in distributed environments. Within the support environment the trading service is an important of the interacting object groups which provide a telecommunication service.Hence, we suggest the trader federation model for supporting interconnections between object groups and among existing traders by using the cooperator we designed, as an intermediator among traders. Our cooperator has functions for checking access rights of objects in object groups, and for providing bidirectional linkage among traders. Up to now, the existing trader federation models have a single directional linkage for interactions among traders. Finally, we showed the interface procedure and the event trace diagram of distributed object groups using our model consisted of traders and the cooperators.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.582-584
• /
• 2023

연합학습(Federated Learning)에서는 여러 참가자가 서로 간의 데이터를 공유하지 않고 협력하여 하나의 모델을 학습할 수 있다. 그 중 수직 연합학습(Vertical Federated Learning)은 참가자 간에 동일한 샘플에 대해 서로 다른 특성(Feature)를 가지고 학습한다. 또한 서로 다른 특성(Feature)에는 입력의 라벨(Label)도 포함하기 때문에 라벨을 소유한 참가자 외에는 라벨 정보 또한 접근할 수 없다. 이처럼 다양한 참가자가 학습에 참여하는 경우 악의적인 참가자에 의해 모델이 포이즈닝 될 여지가 존재함에도 불구하고 수직 연합학습에서는 관련 연구가 부족하다. 포이즈닝 공격 중 백도어 공격은 학습 과정에 관여하여 특정 입력 패턴에 대해서 모델이 공격자가 원하는 타겟 라벨로 예측하도록 오염시키는 공격이다. 수직 연합학습에서는 참가자가 학습과 추론 모든 과정에서 관여하기 때문에 백도어 공격에 취약할 수 있다. 본 논문에서는 수직 연합학습에서의 최신 백도어 공격과 한계점에 대해 분석한다.

• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.27-40
• /
• 2022

Medical AI, which has lately made significant advances, is playing a vital role, such as assisting clinicians with diagnosis and decision-making. The field of chest X-rays, in particular, is attracting a lot of attention since it is important for accessibility and identification of chest diseases, as well as the current COVID-19 pandemic. However, despite the vast amount of data, there remains a limit to developing an effective AI model due to a lack of labeled data. A research that used federated learning on chest X-ray data to lessen this difficulty has emerged, although it still has the following limitations. 1) It does not consider the problems that may occur in the Non-IID environment. 2) Even in the federated learning environment, there is still a shortage of labeled data of clients. We propose a method to solve the above problems by using the self-supervised learning model as a global model of federated learning. To that aim, we investigate a self-supervised learning methods suited for federated learning using chest X-ray data and demonstrate the benefits of adopting the self-supervised learning model for federated learning.

• KIPS Transactions on Computer and Communication Systems
• /
• v.9 no.12
• /
• pp.321-332
• /
• 2020

Decentralized approaches are extensively researched by academia and industry in order to cover up the flaws of existing systems in terms of data privacy. Blockchain and decentralized learning are prominent representatives of a deconcentrated approach. Blockchain is secure by design since the data record is irrevocable, tamper-resistant, consensus-based decision making, and inexpensive of overall transactions. On the other hand, decentralized learning empowers a number of devices collectively in improving a deep learning model without exposing the dataset publicly. To motivate participants to use their resources in building models, a decent and proportional incentive system is a necessity. A centralized incentive mechanism is likely inconvenient to be adopted in decentralized learning since it relies on the middleman that still suffers from bottleneck issues. Therefore, we design an incentive model for decentralized learning applications by leveraging the Ethereum smart contract. The simulation results satisfy the design goals. We also outline the concerns in implementing the presented scheme for sensitive data regarding privacy and data leakage.