Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Face Recognition Network using gradCAM

gradCam을 사용한 얼굴인식 신경망

  • 백찬형 (조선대학교 컴퓨터공학과) ;
  • 권지훈 (조선대학교 컴퓨터공학과) ;
  • 정호엽 (조선대학교 컴퓨터학과)
  • Received : 2023.02.23
  • Accepted : 2023.03.28
  • Published : 2023.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we proposed a face recognition network which attempts to use more facial features awhile using smaller number of training sets. When combining the neural network together for face recognition, we want to use networks that use different part of the facial features. However, the network training chooses randomly where these facial features are obtained. Other hand, the judgment basis of the network model can be expressed as a saliency map through gradCAM. Therefore, in this paper, we use gradCAM to visualize where the trained face recognition model has made a observations and recognition judgments. Thus, the network combination can be constructed based on the different facial features used. Using this approach, we trained a network for small face recognition problem. In an simple toy face recognition example, the recognition network used in this paper improves the accuracy by 1.79% and reduces the equal error rate (EER) by 0.01788 compared to the conventional approach.

이 논문에서는 gradCAM를 활용한 적은 데이터로 얼굴 전체 또는 더 다양한 feature을 사용하여 얼굴인식을 할 수 있는 새로운 앙상블 방법론을 제안하였다. 인공지능 모델의 판단 근거는 gradCAM을 통하여 saliency map으로 표현될 수 있다. 따라서 본 논문에서는 학습된 얼굴인식 모델이 어느 부분에 편향적으로 관찰하여 판단했는지 gradCAM으로 시각화한다. 계산된 saliency map에서 일정 수치 이상의 돌출된 부분을 추가 모델이 학습에 사용할 수 없도록 노이즈를 추가해 데이터를 생산한다. 노이즈를 추가해서 만든 데이터로 학습할 경우 노이즈 부분을 활용하여 학습을 할 수 없으므로 새로운 얼굴 부분을 사용하여 얼굴인식 네트워크를 학습하게 된다. 기본 데이터로 학습한 네트워크와 돌출 부분에 노이즈를 추가해서 학습한 모델은 얼굴의 서로 다른 얼굴 feature을 사용할 수밖에 없고, 앙상블로 결합했을 때 얼굴의 좀 더 다양한 부분들을 사용한 임베딩 feature를 만들 수 있다. 이 논문에서 제안하는 앙상블 기법은 일반적인 앙상블 모델보다 정확도는 1.79% 상승하였고 equal error rate (EER)은 0.01788 감소하였다.

Keywords

Acknowledgement

이 논문은 2021년도 조선대학교 학술연구비의 지원을 받아 연구되었음.

References

  1. D.A. Forsyth, J. Ponce, Computer Vision A Modern Approach, Prentice Hall, pp. 1-100, 2003.
  2. 문형진, 김계희, "사용자 인증을 위한 딥러닝 기반 얼굴인식 기술 동향," 산업융합연구, vol. 17, no. 3, pp. 23-29, 2019 https://doi.org/10.22678/jic.2019.17.3.023
  3. Chen, Lei, et al., "Adapting grad-cam for embedding networks," Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 2794-2803, 2020.
  4. 신종환, 박찬미, 이헌주, 이성현, 이재광, "얼굴인식 기술을 적용한 실종자 식별 시스템 설계 및 구현," 한국컴퓨터정보학회논문지, vol. 26, no. 2, 통권 203호, pp. 19-25, 2021 https://doi.org/10.9708/JKSCI.2021.26.02.019
  5. 문해민, 박진원, 반성범, "역전파가 제거된 CNN과 LDA를 이용한 얼굴 영상 해상도별 얼굴 인식률 분석," 스마트미디어저널, vol. 5, no. 1, pp. 24-29, 2016
  6. 김준영, 조성원, "얼굴 인식 기반 위변장 감지 시스템," 스마트미디어저널, vol. 4, no. 4, pp. 9-17, 2015
  7. 백으뜸, 호요성, "모핑을 이용한 화상회의의 시선맞춤 보정 방법," 스마트미디어저널, vol. 4, no. 1, pp. 9-15, 2015
  8. Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization," arXiv:1610.02391, 2019. https://doi.org/10.1007/s11263-019-01228-7
  9. Patrick Grother Mei Ngan Kayee Hanaoka, "Ongoing Face Recognition Vendor Test (FRVT) Part 1: Verification," NIST, 2022.
  10. Mei Wang, Weihong Deng, "Deep Face Recognition: A Survey," arXiv:1804.06655, 2020. https://doi.org/10.1016/j.neucom.2020.10.081
  11. Raja Khurram Shahzad and Niklas Lavesson, "Comparative Analysis of Voting Schemes for Ensemble-based Malware Detection," Journal of Wireless Mobile Networks, Ubiquitous Computing, and Dependable Applications, Vol. 4, no. 1, p. 98-117, 2013.
  12. Karen Simonyan, Andrew Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," arXiv:1409.1556, 2014.
  13. Gregory Koch, Richard Zemel, Ruslan Salakhutdnov, "Siamese Neural Networks for One-shot Image Recognition," 2015.
  14. Lev V. Utkin, Maxim S. Kovalev, Ernest M. Kasimov, "An explanation method for Siamese neural networks," arXiv:1911.07702. 2019.
  15. Abhilash Nandy, Sushovan Haldar, Subhashis Banerjee, Sushmita Mitra, "A Survey on Applications of Siamese Neural Networks in Computer Vision," 2020 International Conference for Emerging Technology (INCET), Belgaum, India, Jun. 2020.
  16. Wentao Ma, Yiming Cui, Nan Shao, Su He, Wei-Nan Zhang, Ting Liu, Shijin Wang, Guoping Hu, "TripleNet: Triple Attention Network for Multi-Turn Response Selection in Retrieval-based Chatbots," arXiv:1909.10666, 2019. https://doi.org/10.18653/v1/K19-1069
  17. Florian Schroff, Dmitry Kalenichenko, James Philbin, "FaceNet: A Unified Embedding for Face Recognition and Clustering," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, Jun. 2015.
  18. 송다은, 전동빈, 하태성, 이형원, 김경이, "딥러닝 기반 이미지 필터 간 한국인 표정 분류 성능 비교," 차세대융합기술학회논문지, vol. 6, no. 5, pp. 767-774, 2022 https://doi.org/10.33097/JNCTA.2022.06.05.767