For continuous model optimization Federated learning efficiency strategy

지속적인 모델 최적화를 위한 연합 학습 효율화 전략

  • Youngsu Kim (Dept. of SW/AI, Korea University) ;
  • Heonchang Yu (Dept. of Computer Science and Engineering, Korea University)
  • 김영수 (고려대학교 SW/AI 융합대학원) ;
  • 유헌창 (고려대학교 정보대학 컴퓨터학과)
  • Published : 2024.05.23

Abstract

본 논문에서는 지속적으로 최적화된 인공지능 모델을 적용하기 위한 방안으로 연합 학습(Federated Learning)을 활용한 접근법을 제시한다. 최근 다양한 산업 분야에서 인공지능 활용에 대한 필요성이 증가하고 있다. 금융과 같은 일부 산업은 강력한 보안, 높은 정확도, 규제 준수, 실시간 대응이 요구됨과 동시에 정적 시스템 환경 특성으로 적용된 인공지능 모델의 최적화가 어렵다. 이러한 환경적 한계 해결을 위하여, 연합 학습을 통한 모델의 최적화 방안을 제안한다. 연합 학습은 데이터 프라이버시를 유지하면서 모델의 지속적 최적화를 제공이 가능한 강력한 아키텍처이다. 그러나 연합 학습은 클라이언트와 중앙 서버의 반복적인 통신과 학습으로, 불필요한 자원에 대한 소요가 요구된다. 이러한 연합 학습의 단점 극복을 위하여, 주요도 높은 클라이언트의 선정 및 클라이언트와 중앙 서버의 조기 중단(early stopping) 전략을 통한 지속적, 효율적 최적화가 가능한 연합 학습 모델의 운영 전략을 제시한다.

Keywords

References

  1. Jakub Konecny, H. Brendan McMahan, Felix X. Yu, Peter Richtarik, Ananda Theertha Suresh, Dave Bacon, "Federated Learning: Strategies for Improving Communication Efficiency", ICLR, 10, 2018
  2. Ziru Niu, Hai Dong "FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy", IEEE TRANSACTIONS ON MOBILE COMPUTING, 15, 2024
  3. Moming Duan, Duo Liu, Xinyuan Ji, Renping Liu, Liang Liang, Xianzhang Chen, Yujuan Tan "FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure", IEEE Intl Conf on Parallel & Distributed Processing with Applications, Big Data & Cloud Computing, Sustainable Computing & Communications, Social Computing & Networking, 10, 2021
  4. Gregory Koch, Richard Zemel, Ruslan Salakhutdinov "Siamese Neural Networks for One-shot Image Recognition", ICML deep learning workshop, 2015
  5. H. Brendan McMahan Eider Moore Daniel Ramage Seth Hampson Blaise Aguera y Arcas, "Communication-Efficient Learning of Deep Networks from Decentralized Data", Proceedings of the 20 th International Conference on Artificial Intelligence and Statistics, 11, 2017