Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.622-625
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Multi-modal Contrastive Learning with Label Differential Privacy

라벨 차등 프라이버시를 적용한 멀티모달 대조 학습 연구

  • Young-Seo Kim (Dept. of Artificial Intelligence and Software, Ewha Womans University) ;
  • Min-Seo Yu (Dept. of Artificial Intelligence and Software, Ewha Womans University) ;
  • Ho Bae (Dept. of Cyber Security, Ewha Womans University)
  • 김영서 (이화여자대학교 인공지능융합전공) ;
  • 유민서 (이화여자대학교 인공지능융합전공) ;
  • 배호 (이화여자대학교 사이버보안전공)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

최근 멀티모달 딥러닝은 모델의 높은 정확도를 보장하면서도 풍부한 지식을 학습할 수 있어 큰 관심을 받고 있다. 특히, 대조 학습을 기반으로 한 연구들이 멀티모달 딥러닝의 성능을 개선하고 있다. 그러나 멀티모달 딥러닝에서 사용하는 다중 데이터 소스가 서로 결합하여 민감한 정보를 추론하는데 활용될 수 있으므로, 모델의 학습과정에서 프라이버시 침해의 위험성이 단일 모달 딥러닝에서보다 증가한다. 이러한 위험성은 기존 단일 모달 딥러닝에서의 프라이버시 보호 기법으로는 효과적으로 다뤄질 수 없는 까닭에 중요도가 높다. 본 논문에서는 이러한 문제를 해결하기 위해 멀티모달 대조 학습의 데이터 준비 과정에서 double randomized response 알고리즘을 활용해 라벨 차등 프라이버시를 보장하였다. 이를 통해 이미지-테이블 매칭 및 분류와 같은 주요 멀티모달 작업에서 프라이버시를 보호하면서도 80.14의 정확도를 기록하였다. 이는 데이터 보안을 고려한 멀티모달 딥러닝 모델의 성능을 처음으로 실증한 연구라는 점에서 의의가 있다.

Keywords

Acknowledgement

이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No.2021-0-02068, 인공지능 혁신 허브 연구개발)

References

  1. Jabeen, S. et al, A review on methods and applications in multimodal deep learning. TOMM, 19, 2s, pp.1-41, 2023. 
  2. Stahlschmidt, S.R. et al, Multimodal deep learning for biomedical data fusion: a review, Briefings in Bioinformatics, 23, 2, p.bbab569, 2022. 
  3. Radford, A. et al, Learning transferable visual models from natural language supervision, PMLRICML, 2021, pp. 8748-8763. 
  4. Hager, P. et al, Best of both worlds: Multimodal contrastive learning with tabular and imaging data, CVPR, Vancouver, 2023, pp. 23924-23935. 
  5. Friedland, G et al, The Handbook of Multimodal-Multisensor Interfaces: Language Processing, Software, Commercialization, and Emerging Directions-Volume 3, New York, ACM, pp. 659-704. 
  6. Dwork, C., Differential privacy, ICALP, Berlin, 2006, pp. 1-12). 
  7. Mironov, I, Renyi differential privacy, IEEECSF, Santa Barbara, 2017, pp. 263-275. 
  8. Busa-Fekete, R.I. et al, Label differential privacy and private training data release, PMLRICML, Hawaii, 2023, pp. 3233-3251. 
  9. Cai, C. et al, A multimodal differential privacy framework based on fusion representation learning, Connection Science, 34, 1, pp.2219-2239, 2022. 
  10. Caron, M. et al, Emerging properties in self-supervised vision transformers. ICCV, 2021, Montreal, pp. 9650-9660. 
  11. Caron, M. et al, Unsupervised learning of visual features by contrasting cluster assignments. NeurIPS, 2020, pp. 9912-9924. 
  12. Zolfaghari, M. et al, Crossclr: Cross-modal contrastive learning for multi-modal video representations. CVPR, 2021, pp. 1450-1459. 
  13. Ghazi, B. et al, Deep learning with label differential privacy, NeurIPS, 2021, pp.27131-27145. 
  14. Huang, J. et al, DVM-CAR: A large-scale automotive dataset for visual marketing research and application, IEEE Big Data, Osaka, 2022, pp. 4140-4147.