The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

Transformation Technique for Null Space-Based Linear Discriminant Analysis with Lagrange Method

라그랑지 기법을 쓴 영 공간 기반 선형 판별 분석법의 변형 기법

  • 호우위시 (한국과학기술원 전기 및 전자공학과 통계학적 신호처리 연구실) ;
  • 민황기 (한국과학기술원 전기 및 전자공학과 통계학적 신호처리 연구실) ;
  • 송익호 (한국과학기술원 전기 및 전자공학과 통계학적 신호처리 연구실) ;
  • 최명수 (목포대학교 정보산업연구소) ;
  • 박선 (목포대학교 정보산업연구소) ;
  • 이성로 (목포대학교 정보전자공학과)
  • Received : 2013.01.14
  • Accepted : 2013.02.19
  • Published : 2013.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Due to the singularity of the within-class scatter, linear discriminant analysis (LDA) becomes ill-posed for small sample size (SSS) problems. An extension of LDA, the null space-based LDA (NLDA) provides good discriminant performances for SSS problems. In this paper, by applying the Lagrange technique, the procedure of transforming the problem of finding the feature extractor of NLDA into a linear equation problem is derived.

부류안 분산 행렬의 특이성 때문에 선형 판별 분석은 작은 표본 크기 문제에 쓰기에 알맞지 않다. 이에 선형 판별 분석을 확장하여 작은 표본 크기 문제에서 좋은 성능을 갖는 영 공간 기반 선형 판별 분석이 제안되었다. 이 논문에서는 라그랑지 기법을 바탕으로 하여, 영 공간 기반 선형 판별 분석을 써서 특징을 추출하는 문제를 선형 방정식 문제로 바꾸는 과정을 제안하였다.

Keywords

References

  1. R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, 2nd ed., John Wiley and Sons, 2001.
  2. P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, "Eigenfaces vs. fisherfaces: Recognition using class specific linear projection," IEEE Trans. Patt. Anal., Mach. Intell., vol. 19, no. 7, pp. 711-720, July 1997. https://doi.org/10.1109/34.598228
  3. H. Yu and J. Yang, "A direct LDA algorithm for high-dimensional data - with application to face recognition," Patt. Recogn., vol. 34, no. 10, pp. 2067-2070, Oct. 2001. https://doi.org/10.1016/S0031-3203(00)00162-X
  4. L.-F. Chen, H.-Y. Mark Liao, M.-T. Ko, J.-C. Lin, and G.-J. Yu, "A new LDA-based face recognition system which can solve the small sample size problem," Patt. Recogn., vol. 33, no. 10, pp. 1713-1726, Oct. 2000. https://doi.org/10.1016/S0031-3203(99)00139-9
  5. D.-U. Cho, U.-D. Chang, Y.-G. Kim, Y.-J. Song, J.-H. Ahn, and B.-H. Kim, "2D direct LDA algorithm for face recognition," J. Korean Inform., Comm. Soc., vol. 30, no. 12C, pp. 1162-1166, Dec. 2005.
  6. J. Ye and T. Xiong, "Computational and theoretical analysis of null space and orthogonal linear discriminant analysis," J. Mach. Learn. Res., vol. 7, no. 7, pp. 1183-1204, July 2006.
  7. D. Cai, X. He, and J. Han, "SRDA: An efficient algorithm for largescale discriminant analysis," IEEE Trans. Knowl., Data Eng., vol. 20, no. 1, pp. 1-12, Jan. 2008. https://doi.org/10.1109/TKDE.2007.190669
  8. D. Chu and G. S. Thye, "A new and fast implementation for null space based linear discriminant analysis," Patt. Recogn., vol. 43, no. 4, pp. 1373-1379, Apr. 2010. https://doi.org/10.1016/j.patcog.2009.10.004
  9. R. Huang, Q. Liu, H. Lu, and S. Ma, "Solving the small sample size problem of LDA," Proc. Int. Conf. Patt. Recogn., pp. 29-32, Quebec, Canada, Aug. 2002.
  10. R. Rifkin and A. Klautau, "In defense of one-vs-all classification," J. Mach. Learn.Res., vol. 5, no. 1, pp. 101-141, Jan. 2004.
  11. G. W. Stewart, Matrix Algorithms Volume I: Basic Decompositions, Society for Industrial and Applied Mathematics, 1998.