Learning Unified and Robust Representations across Various Tasks within a Federated Learning Environment

연합 학습 환경에서 통합되고 강인한 다중 작업 학습 기법

현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.