Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.408-411
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

A Cell-wise Approximation of Activation Function for Efficient Privacy-preserving Recurrent Neural Network

효율적인 프라이버시 보존형 순환신경망을 위한 활성화함수의 cell-wise 근사

  • Youyeon Joo (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University) ;
  • Kevin Nam (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University) ;
  • Seungjin Ha (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University) ;
  • Yunheung Paek (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University)
  • 주유연 (서울대학교 전기정보공학부, 서울대학교 반도체공동연구소) ;
  • 남기빈 (서울대학교 전기정보공학부, 서울대학교 반도체공동연구소) ;
  • 하승진 (서울대학교 전기정보공학부, 서울대학교 반도체공동연구소) ;
  • 백윤흥 (서울대학교 전기정보공학부, 서울대학교 반도체공동연구소)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

원격 환경에서의 안전한 데이터 처리를 위한 기술 중 동형암호는 암호화된 데이터 간의 연산을 통한 프라이버시 보존형 연산이 가능하여 최근 딥러닝 연산을 동형암호로 수행하고자 하는 연구가 활발히 진행되고 있다. 그러나 동형암호는 신경망에 존재하는 비산술 활성화함수를 직접적으로 연산할 수 없어 다항함수로 대체하여 연산해야만 하는데, 이로 인해 모델의 정확도가 하락하거나 과도한 연산 부하가 발생하는 등의 비효율성 문제가 발생한다. 본 연구에서는 모델 내의 활성화함수를 서로 다르게 근사하는 접근을 순환신경망(Recurrent Neural Network, RNN)에 적용하여 효율적인 동형암호 연산을 수행하는 방법을 제안하고자 한다.

Keywords

Acknowledgement

이 논문은 2024년도 BK21 FOUR 정보기술 미래인재 교육연구단에 의하여 지원되었음. 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (RS-2023-00277326). 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (IITP-2023-RS-2023-00256081)

References

  1. Gilad-Bachrach, Ran, et al., "Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy.", International conference on machine learning. PMLR, 2016.
  2. Chou, Edward, et al., "Faster cryptonets: Leveraging sparsity for real-world encrypted inference." arXiv preprint arXiv:1811.09953 (2018).
  3. Lee, Eunsang, et al., "Low-complexity deep convolutional neural networks on fully homomorphic encryption using multiplexed parallel convolutions." International Conference on Machine Learning. PMLR, 2022.
  4. Jha, Nandan Kumar, et al., "Deepreduce: Relu reduction for fast private inference." International Conference on Machine Learning. PMLR, 2021.
  5. Lou, Qian, et al., "Safenet: A secure, accurate and fast neural network inference." International Conference on Learning Representations. 2020.
  6. Ao, Wei, and Vishnu Naresh Boddeti., "Autofhe: Automated adaption of cnns for efficient evaluation over fhe." arXiv preprint arXiv:2310.08012 (2023).
  7. Park, Jaiyoung, et al., "AESPA: Accuracy preserving low-degree polynomial activation for fast private inference." arXiv preprint arXiv:2201.06699 (2022).
  8. Jang, Jaehee, et al. "Privacy-preserving deep sequential model with matrix homomorphic encryption." Proceedings of the 2022 ACM on Asia Conference on Computer and Communications Security. 2022.
  9. Lee, Junghyun, et al., "Optimizing layerwise polynomial approximation for efficient private inference on fully homomorphic encryption: a dynamic programming approach." arXiv preprint arXiv:2310.10349 (2023).