Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

Accuracy Improvement Method for 1-Bit Convolutional Neural Network

1-Bit 합성곱 신경망을 위한 정확도 향상 기법

  • Im, Sung-Hoon (Dept. of Computer Engineering, Hanbat National University) ;
  • Lee, Jae-Heung (Dept. of Computer Engineering, Hanbat National University)
  • Received : 2018.12.07
  • Accepted : 2018.12.18
  • Published : 2018.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we analyze the performance degradation of previous 1-Bit convolutional neural network method and introduce ways to mitigate it. Previous work applies 32-Bit operation to first and last layers. But our method applies 32-Bit operation to second layer too. We also show that nonlinear activation function can be removed after binarizing inputs and weights. In order to verify the method proposed in this paper, we experiment the object detection neural network for korean license plate detection. Our method results in 96.1% accuracy, but the existing method results in 74% accuracy.

본 논문에서는 기존 1-Bit 합성곱 신경망의 성능 하락에 대한 분석과 이를 완화하기 위한 방안을 제시한다. 기존의 연구는 첫 번째 층과 마지막 층만 32-Bit 연산을 적용하고 나머지 연산은 1-Bit 연산을 적용한 것과 달리 본 논문에서는 두 번째 층도 32-Bit로 연산한다. 또한 입력과 가중치를 이진화하고 1-Bit 연산을 적용한 후에는 비선형 활성화 함수를 제거할 수 있음을 제시한다. 본 논문에서 제시한 방법을 검증하기 위해 차량 번호판 검출을 위한 객체 검출 신경망을 실험하였다. 기존의 방법으로 학습한 결과보다 정확도가 74%에서 96.1%로 상승하였다.

Keywords

JGGJB@_2018_v22n4_1115_f0001.png 이미지

Fig. 1. Patch Transform. 그림 1. 패치 변환

JGGJB@_2018_v22n4_1115_f0002.png 이미지

Fig. 3. Proposed Approximation. 그림 3. 제안하는 근삿값 적용

JGGJB@_2018_v22n4_1115_f0003.png 이미지

Fig. 2. Existing Approximation. 그림 2. 기존의 근삿값 적용

JGGJB@_2018_v22n4_1115_f0004.png 이미지

Fig. 4. Step Function. 그림 4. 계단 함수

JGGJB@_2018_v22n4_1115_f0005.png 이미지

Fig. 5. Sign Function Gradient. 그림 5. Sign 함수 미분

JGGJB@_2018_v22n4_1115_f0006.png 이미지

Fig. 6. Vehicle License Plate Data. 그림 6. 번호판 데이터

JGGJB@_2018_v22n4_1115_f0007.png 이미지

Fig. 7. Left : results of previous method, Right : results of our method. 그림 7. 왼쪽 : 이전 연구의 결과, 오른쪽 : 본 연구의 결과

JGGJB@_2018_v22n4_1115_f0008.png 이미지

Fig. 8. Left : 32-Bit Neural Net. Results, Right : Proposed 1-Bit Neural Net. Results 그림 8. 왼쪽 : 32-Bit 신경망 결과, 오른쪽 : 제안된 1-Bit 신경망 결과

JGGJB@_2018_v22n4_1115_f0009.png 이미지

Fig. 9. Left: Compare previous method with ours, Right : Compare accuracy on previous method with ours. 그림 9. 왼쪽 : 기존 연구와의 속도 비교, 오른쪽 : 기존 연구와의 정확도 비교

JGGJB@_2018_v22n4_1115_f0010.png 이미지

Fig. 10. Left : Compare previous method with ours number of MACs, Right : Compare 32-bit network with ours number of MACs. 그림 10. 왼쪽 : 이전 연구와의 MACs 수 비교, 오른쪽 : 32-bit 신경망과의 MACs 수 비교

Table 1. XNOR Truth Table. 표 1. XNOR 진리표

JGGJB@_2018_v22n4_1115_t0001.png 이미지

Table 2. Accumulation after multiplication. 표 2. 곱셈 후 누적 덧셈

JGGJB@_2018_v22n4_1115_t0002.png 이미지

Table 3. N-Bit-Packing. 표 3. N-Bit-Packing

JGGJB@_2018_v22n4_1115_t0003.png 이미지

Table 4. 1-Bit Matrix Multiplication. 표 4. 1-Bit 행렬 곱

JGGJB@_2018_v22n4_1115_t0004.png 이미지

Table. 5 Vehicle License Plate Detection Neural Network. 표 5. 번호판 검출 신경망

JGGJB@_2018_v22n4_1115_t0005.png 이미지

References

  1. M. Rastegari, V. Ordonez, J. Redmon and A. Farhadi., "Xnor-net: Imagenet classification using binary convolutional neural networks," European Conference on Computer Vision, pp.525-542, 2016.
  2. B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam and D. Kalenichenko, "Quantization and training of neural networks for efficient integer-arithmetic-only inference," Computer Vision and Pattern Recognition pp.2704-2713, 2018.
  3. C. Zhu, S. Han, H. Mao and W. J. Dally, "Trained ternary quantization," International Conference on Learning Representations, 2017.
  4. Michael Mathieu, Mikael Henaff and Yann LeCun, "Fast training of convolutional networks through ffts," International Conference on Learning Representations, 2013.
  5. A. Lavin and S. Gray, "Fast algorithms for convolutional neural networks," Computer Vision and Pattern Recognition, pp.4013-4021, 2016.
  6. K. He, X. Zhang, S. Ren and J. Sun, "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification," International Conference on Computer Vision, pp.1026-1034, 2015.
  7. Y. Bengio, N. Leonard and A. Courville, "Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation," https://arxiv.org/abs/1308.3432.
  8. J. Redmon and A. Farhadi, "YOLO9000: Better, faster, stronger," Computer Vision and Pattern Recognition, pp.6517-6525, 2017.
  9. S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift", International Conference on International Conference on Machine Learning, pp.448-456, 2015.