• 응용통계연구
• /
• 제30권1호
• /
• pp.135-145
• /
• 2017

주성분 분석(principal component analysis; PCA)은 서로 상관되어 있는 다변량 자료의 차원을 축소하는 대표적인 기법으로 많은 다변량 분석에서 활용되고 있다. 하지만 주성분은 모든 변수들의 선형결합으로 이루어지므로, 그 결과의 해석이 어렵다는 한계가 있다. sparse PCA(SPCA) 방법은 elastic net 형태의 벌점함수를 이용하여 보다 성긴(sparse) 적재를 가진 수정된 주성분을 만들어주지만, 변수들의 그룹구조를 이용하지 못한다는 한계가 있다. 이에 본 연구에서는 기존 SPCA를 개선하여, 자료가 그룹화되어 있는 경우에 유의한 그룹을 선택함과 동시에 그룹 내 불필요한 변수를 제거할 수 있는 새로운 주성분 분석 방법을 제시하고자 한다. 그룹과 그룹 내 변수 구조를 모형 적합에 이용하기 위하여, sparse 주성분 분석에서의 elastic net 벌점함수 대신에 계층적 벌점함수 형태를 고려하였다. 또한 실제 자료의 분석을 통해 제안 방법의 성능 및 유용성을 입증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권6호
• /
• pp.2709-2729
• /
• 2016

Representation based classification, kernel method and sparse representation have received much attention in the field of face recognition. In this paper, we proposed an improved kernel principal component analysis method based on sparse representation to improve the accuracy and robustness for face recognition. First, the distances between the test sample and all training samples in kernel space are estimated based on collaborative representation. Second, S training samples with the smallest distances are selected, and Kernel Principal Component Analysis (KPCA) is used to extract the features that are exploited for classification. The proposed method implements the sparse representation under ℓ₂ regularization and performs feature extraction twice to improve the robustness. Also, we investigate the relationship between the accuracy and the sparseness coefficient, the relationship between the accuracy and the dimensionality respectively. The comparative experiments are conducted on the ORL, the GT and the UMIST face database. The experimental results show that the proposed method is more effective and robust than several state-of-the-art methods including Sparse Representation based Classification (SRC), Collaborative Representation based Classification (CRC), KCRC and Two Phase Test samples Sparse Representation (TPTSR).

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권7호
• /
• pp.3594-3607
• /
• 2017

The traditional feature extraction methods such as principal component analysis (PCA) cannot obtain the local structure of the samples, and locally linear embedding (LLE) cannot obtain the global structure of the samples. However, a common drawback of existing PCA and LLE algorithm is that they cannot deal well with the sparse problem of the samples. Therefore, by integrating the globality of PCA and the locality of LLE with a sparse constraint, we developed an improved and unsupervised difference algorithm called Sparse Difference Embedding (SDE), for dimensionality reduction of high-dimensional data in small sample size problems. Significantly differing from the existing PCA and LLE algorithms, SDE seeks to find a set of perfect projections that can not only impact the locality of intraclass and maximize the globality of interclass, but can also simultaneously use the Lasso regression to obtain a sparse transformation matrix. This characteristic makes SDE more intuitive and more powerful than PCA and LLE. At last, the proposed algorithm was estimated through experiments using the Yale and AR face image databases and the USPS handwriting digital databases. The experimental results show that SDE outperforms PCA LLE and UDP attributed to its sparse discriminating characteristics, which also indicates that the SDE is an effective method for face recognition.

• ETRI Journal
• /
• 제36권1호
• /
• pp.167-170
• /
• 2014

In this letter, we propose an unsupervised framework for speech noise reduction based on the recent development of low-rank and sparse matrix decomposition. The proposed framework directly separates the speech signal from noisy speech by decomposing the noisy speech spectrogram into three submatrices: the noise structure matrix, the clean speech structure matrix, and the residual noise matrix. Evaluations on the Noisex-92 dataset show that the proposed method achieves a signal-to-distortion ratio approximately 2.48 dB and 3.23 dB higher than that of the robust principal component analysis method and the non-negative matrix factorization method, respectively, when the input SNR is -5 dB.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제14권3호
• /
• pp.162-170
• /
• 2014

Appearance-based subspace models such as eigenfaces have been widely recognized as one of the most successful approaches to face recognition and tracking. The success of eigenfaces mainly has its origins in the benefits offered by principal component analysis (PCA), the representational power of the underlying generative process for high-dimensional noisy facial image data. The sparse extension of PCA (SPCA) has recently received significant attention in the research community. SPCA functions by imposing sparseness constraints on the eigenvectors, a technique that has been shown to yield more robust solutions in many applications. However, when SPCA is applied to facial images, the time and space complexity of PCA learning becomes a critical issue (e.g., real-time tracking). In this paper, we propose a very fast and scalable greedy forward selection algorithm for SPCA. Unlike a recent semidefinite program-relaxation method that suffers from complex optimization, our approach can process several thousands of data dimensions in reasonable time with little accuracy loss. The effectiveness of our proposed method was demonstrated on real-world face recognition and tracking datasets.

• 응용통계연구
• /
• 제36권6호
• /
• pp.501-514
• /
• 2023

텍스트데이터는 일반적으로 많은 단어로 이루어져 있다. 텍스트데이터와 같이 많은 변수로 구성된 데이터의 경우 과적합 등의 문제로 분석에 있어서의 정확성이 떨어지고, 계산과정에서의 효율성에도 문제가 발생하는 경우를 흔히 볼 수 있다. 이렇게 변수가 많은 데이터를 분석하기 위해 특징선택, 특징추출 등의 차원 축소 기법이 자주 사용되고 있다. 희소주성분분석은 벌점이 부여된 최소제곱법 중 하나로 엘라스틱넷 형태의 목적함수를 사용하여 유용하지 않은 주성분을 제거하고 각 주성분에서도 중요도가 큰 변수만 식별해내기 위해 활용되고 있다. 이 연구에서는 희소주성분분석을 이용하여 많은 변수를 가진 텍스트데이터를 소수의 변수만으로 요약하는 절차를 제안한다. 이러한 절차를 실제 데이터에 적용한 결과, 희소주성분분석을 이용하여 단어를 선택하는 과정을 통해 목표변수에 대한 정보를 이용하지 않고도 유용성이 낮은 단어를 제거하여 텍스트데이터의 분류 정확성은 유지하면서 데이터의 차원을 축소할 수 있음을 확인하였다. 특히 차원축소를 통해 고차원 데이터 분석에서 분류 정확도가 저하되는 KNN 분류기 등의 분류 성능을 개선할 수 있음을 알 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제9권4호
• /
• pp.121-130
• /
• 2009

이 논문은 고차원의 데이터를 저 차원으로 줄이는 방법 중 하나인 특징추출에 대한 방법들의 특성을 비교한다. 비교대상 방법은 전통적인 PCA(Principal Component Analysis)방법과 시각피질의 특성을 보인다고 알려진 ICA(Independent Component Analysis), 국소기반인식을 구현한 NMF(Non-negative Matrix Factorization), 그리고 이의 성능을 개선한 sNMF(Sparse NMF)로 정하였다. 추출된 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출을 수행하였으며, 인식기에 적용한 효과의 확인을 위하여 추출된 특징을 다층퍼셉트론에 학습시켜보았다. 각 방법의 특성을 비교한 결과는 응용하고자 하는 문제에서 어떤 특징을 추출하기 원하느냐에 따라 특징추출 방법을 선정할 때 유용할 것이다.

• Smart Structures and Systems
• /
• 제21권1호
• /
• pp.1-14
• /
• 2018

A method is proposed to detect structural damages in the presence of damping using noisy data. This method uses Frequency Response Function (FRF) and Mode-Shapes as the input parameters for a system of Couple Sparse Coding (CSC) to study the healthy state of the structure. To obtain appropriate patterns of FRF for CSC training, Principal Component Analysis (PCA) technique is adopted to reduce the full-size FRF to overcome over-fitting and convergence problems in machine-learning training. To verify the proposed method, a numerical two-story frame structure is employed. A system of individual CSCs is trained with FRFs and mode-shapes, and then termed ensemble to detect the health condition of the structure. The results demonstrate that the proposed method is accurate in damage identification even in presence of up to 20% noisy data and 5% unconsidered damping ratio. Furthermore, it can be concluded that CSC ensemble is highly efficient to detect the location and the severity of damages in comparison to the individual CSC trained only with FRF data.

• 한국컴퓨터정보학회논문지
• /
• 제19권12호
• /
• pp.49-56
• /
• 2014

본 논문에서는 대용량의 문서, 인터넷 댓글, 소셜 데이터, 메시지 텍스트 등으로부터 표준, 일상적 언어, 및 은어(隱語), 비속어, 약어, 이모티콘 등을 감성 분석함으로써, 복합적인 감성 중 근간이 되는 주 감성들을 측정하고 평가하는 방법을 제안한다. 제안된 방법론은 IRLBA(Implicitly Restarted Lanczos Bidiagonalization Algorithm)을 활용하여 규모가 큰 희소행렬에 대한 주성분분석을 실시하며, 데이터 취합, 메시지 분석, 감성 평가, 감성 분석 및 통합 그리고 결과물 시각화 모듈로 구성된다. 본 연구를 통해 제안된 방법론은 소셜 데이터의 감성분석의 정확도를 향상시키고 감성분석의 활용범위를 확장시키는데 있어 도움을 줄 수 있을 것으로 기대된다.

• 응용통계연구
• /
• 제35권2호
• /
• pp.327-333
• /
• 2022

차원 축소를 위한 통계적 방법중에 주성분분석이 가장 널리 사용되고 있으나 주성분 분석의 여러 가지 장점에도 불구하고 이상치에 매우 민감하여 이를 강건화 하기 위한 여러 가지 방법이 제시되었다. 그 중에서도 Candès 등 (2011)과 Chandrasekaran 등 (2011)이 제안한 강건 주성분분석이 계산 가능하며 가장 효율적인 방법으로 알려져 있으며 최근 비디오 감시, 안면인식 등의 인공지능분야에 많이 사용되고 있다. 본 논문에서는 강건 주성준 분석의 개념과 최근 제안된 가장 효율적인 알고리즘을 소개한다. 아울러 실제 자료에 근거한 예제를 소개하고 향후 연구분야도 제안한다.