Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Improving the Performance of Decision Boundary Feature Extraction for Neural Networks by Calculating Normal Vector of Decision Boundary Analytically

결정경계 수직벡터의 해석적 계산을 통한 신경망 결정경계 특징추출 알고리즘의 성능 개선

  • 고진욱 (연세대학교 전기·전자공학과) ;
  • 이철희 (연세대학교 전기·전자공학과)
  • Published : 2002.05.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we present an analytical method for decision boundary feature extraction for neural networks. It has been shown that all the features necessary to achieve the same classification accuracy xxxas in the original space can be obtained from the vectors normal to decision boundaries. However, the vector normal to the decision boundary of a neural network has been calculated numerically using a gradient approximation. This process is time-consuming and the normal vector may be inaccurately estimated. In this paper, we propose a method to improve the performance of the previous decision boundary feature extraction for neural networks by accurately calculating the normal vector When the normal vectors are computed analytically, it is possible to reduce the processing time significantly and improve the performance of the previous implementation that employs numerical approximation.

본 논문에서는 결정경계(decision boundary)를 이용한 신경망의 특징추출을 해석적으로 구현할 수 있는 방법을 제안한다. 최근 발표된 신경망의 결정경계 기반의 특징추출 방법은 기존의 특징추출 방법보다 우수한 성능을 보여 주었다. 이러한 결정경계 특징추출 방법은 패턴 분류기(pattern classifier)의 결정경계에 수직한 벡터가 패턴 클래스(class)간을 분류하는데 유용한 정보를 포함한다는 사실을 기반으로 원래의 데이터로부터 분류에 필요한 정보들만을 추출하게 된다. 그러나 기존의 결정경계 특징추출 알고리즘은 신경망 결정경계의 수직벡터를 구하기 위해 결정경계의 변화율(gradient) 근사 방법을 사용하였다. 그 결과 결정경계 수직벡터가 부정확하게 계산될 가능성이 있고 계산 시간이 길어지는 문제점이 존재한다. 본 논문에서는 이러한 문제점을 해결하기 위해 수직벡터를 하나의 방정식으로부터 해석적으로 계산하는 방법을 제안한다. 제안된 방법을 원격탐사 데이터의 패턴분류에 적용하여 그 성능을 확인한 결과 특징추출에 필요한 연산 시간을 대폭 줄일 수 있고 또한 더 향상된 특징추출 성능을 얻음을 확인하였다.

Keywords

References

  1. F. Fukushima and M. Wake, 'Handwritten alphanumeric character recognition by the neocognitron,' IEEE Trans. Neural Networks, Vol. 2, pp. 355-365, Mar, 1991 https://doi.org/10.1109/72.97912
  2. J.A. Richards, Remote Sensing Digital Image Analysis, Springer-Verlag, 1993
  3. S. Haykin, Neural Networks, New York:Macmillan, 1994
  4. D.H. Foley and J.W. Sammon, 'An Optimal Set of Discriminant Vectors,' IEEE Trans. Computer, Vol. C-24, No. 3, pp. 281-289, 1975 https://doi.org/10.1109/T-C.1975.224208
  5. E. Choi and C. Lee, 'Optimizing Feature Extraction for Multiclass Problems,' IEEE Trans. on Geoscience and Remote Sensing, Vol. 39, No. 3, Mar. 2001 https://doi.org/10.1109/36.911110
  6. C. Lee and D.A. Landgrebe, 'Decision boundary feature extraction for neural networks,' IEEE Trans Neural Networks, Vol. 8, No. 1, January 1997 https://doi.org/10.1109/72.554193
  7. C. Lee and D.A. Landgrebe, 'Feature extraction based on decision boundaries,' IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 15, No. 4, pp. 388-400, 1993 https://doi.org/10.1109/34.206958
  8. J.A. Benediktsson, J.R. Sveinsson, and K. Arnason, 'Classification and feature extraction of AVIRIS data,' IEEE Trans. Geoscience and Remote Sensing, Vol. 33, No. 5, Sep. 1995 https://doi.org/10.1109/36.469483
  9. L.L. Biel and et al., 'A Crops and Soils Data Base For Scene Radiation Research,' Proc. Machine Process of Remotely Sensed Data Symp., West Lafayette, Indiana, 1982
  10. R.P. Lippmann, 'An Introduction to Computing with Neural Nets,' IEEE Acoust Signal Processing Mag., Vol. 4, pp. 4-22, Feb. 1987 https://doi.org/10.1109/MASSP.1987.1165576