• 제목/요약/키워드: High Dimensionality Data

검색결과 121건 처리시간 0.025초

퍼지 클러스터 분석 기반 특징 선택 방법 (A Feature Selection Method Based on Fuzzy Cluster Analysis)

  • 이현숙
    • 정보처리학회논문지B
    • /
    • 제14B권2호
    • /
    • pp.135-140
    • /
    • 2007
  • 특징선택은 문제 영역에서 관찰된 다차원데이터로부터 데이터가 묘사하는 구조를 잘 반영하는 속성을 선택하여 효과적인 실험 데이터를 구성하는 데이터 준비과정이다. 이 과정은 문서분류, 영상인식, 유전자 선택 분야에서의 같은 분류시스템의 성능향상에 중요한 구성요소로서 상관관계 기법, 차원축소 및 상호 정보 처리 등의 통계학이나 정보이론의 접근방법을 중심으로 연구되어왔다. 이와 같은 선택 분야의 연구는 다루는 데이터의 양이 방대해지고 복잡해지면서 더욱 중요시 되고 있다. 본 논문에서는 데이터가 가지는 특성을 반영하면서 새로운 데이터에 대하여 일반화 할 수 있는 특징선택 방법을 제안하고자 한다. 준비된 데이터의 각 속성 데이터에 대하여 퍼지 클러스터 분석에 의하여 최적의 클러스터 정보를 얻고 이를 바탕으로 근접성과 분리성의 경로를 측정하여 그 값에 따라 특징을 선택하는 매카니즘을 제공한다. 제안된 방법을 실세계의 컴퓨터 바이러스 분류에 적용하여 기존의 대비에 의한 휴리스틱 방법에 의해 선택된 데이터를 가지고 분류한 것과 비교하고자 한다. 이를 통하여 주어진 특징에 시연을 부여할 수 있고 효과적으로 특징을 선택하여 시스템의 성능을 향상 시킬 수 있음을 확인한다.

이분산 상황 하에서 정규혼합모형 기반 군집분석의 변수선택 (Variable Selection in Normal Mixture Model Based Clustering under Heteroscedasticity)

  • 김승구
    • 응용통계연구
    • /
    • 제24권6호
    • /
    • pp.1213-1224
    • /
    • 2011
  • 관측치의 개수보다 변량의 개수가 더 많은 다변수 상황에서 정규혼합모형을 이용하여 군집분석을 하기 위해서는 비정보적인 변수들을 제거하는 과정이 필수적으로 요구된다. 이와 같은 변수선택과 군집의 동시 처리를 위한 기존 연구의 대부분은 군집별 등분산 가정 하에서 이루어져 왔으며, 비정보적인 변수를 제거하기 위해 주로 벌점화 우도 기법이 이용되었다. 본 연구에서는 약간 변형된 정규혼합모형을 기반으로 비현실적인 등분산 가정을 탈피하면서 효율적으로 비정보적인 변수를 제거하는 새로운 방법을 제공한다. 이 모형에 대한 타당성을 설명하였고, 모수 추정을 위한 EM 알고리즘을 유도하였다. 그리고 모의실험 및 실자료 실험을 통해 제안된 방법의 유효성을 보였다.

Feature Extraction via Sparse Difference Embedding (SDE)

  • Wan, Minghua;Lai, Zhihui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권7호
    • /
    • pp.3594-3607
    • /
    • 2017
  • The traditional feature extraction methods such as principal component analysis (PCA) cannot obtain the local structure of the samples, and locally linear embedding (LLE) cannot obtain the global structure of the samples. However, a common drawback of existing PCA and LLE algorithm is that they cannot deal well with the sparse problem of the samples. Therefore, by integrating the globality of PCA and the locality of LLE with a sparse constraint, we developed an improved and unsupervised difference algorithm called Sparse Difference Embedding (SDE), for dimensionality reduction of high-dimensional data in small sample size problems. Significantly differing from the existing PCA and LLE algorithms, SDE seeks to find a set of perfect projections that can not only impact the locality of intraclass and maximize the globality of interclass, but can also simultaneously use the Lasso regression to obtain a sparse transformation matrix. This characteristic makes SDE more intuitive and more powerful than PCA and LLE. At last, the proposed algorithm was estimated through experiments using the Yale and AR face image databases and the USPS handwriting digital databases. The experimental results show that SDE outperforms PCA LLE and UDP attributed to its sparse discriminating characteristics, which also indicates that the SDE is an effective method for face recognition.

Factor Analysis of Linear Type Traits and Their Relation with Longevity in Brazilian Holstein Cattle

  • Kern, Elisandra Lurdes;Cobuci, Jaime Araujo;Costa, Claudio Napolis;Pimentel, Concepta Margaret McManus
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제27권6호
    • /
    • pp.784-790
    • /
    • 2014
  • In this study we aimed to evaluate the reduction in dimensionality of 20 linear type traits and more final score in 14,943 Holstein cows in Brazil using factor analysis, and indicate their relationship with longevity and 305 d first lactation milk production. Low partial correlations (-0.19 to 0.38), the medium to high Kaiser sampling mean (0.79) and the significance of the Bartlett sphericity test (p<0.001), indicated correlations between type traits and the suitability of these data for a factor analysis, after the elimination of seven traits. Two factors had autovalues greater than one. The first included width and height of posterior udder, udder texture, udder cleft, loin strength, bone quality and final score. The second included stature, top line, chest width, body depth, fore udder attachment, angularity and final score. The linear regression of the factors on several measures of longevity and 305 d milk production showed that selection considering only the first factor should lead to improvements in longevity and 305 milk production.

Compressed Channel Feedback for Correlated Massive MIMO Systems

  • Sim, Min Soo;Park, Jeonghun;Chae, Chan-Byoung;Heath, Robert W. Jr.
    • Journal of Communications and Networks
    • /
    • 제18권1호
    • /
    • pp.95-104
    • /
    • 2016
  • Massive multiple-input multiple-output (MIMO) is a promising approach for cellular communication due to its energy efficiency and high achievable data rate. These advantages, however, can be realized only when channel state information (CSI) is available at the transmitter. Since there are many antennas, CSI is too large to feed back without compression. To compress CSI, prior work has applied compressive sensing (CS) techniques and the fact that CSI can be sparsified. The adopted sparsifying bases fail, however, to reflect the spatial correlation and channel conditions or to be feasible in practice. In this paper, we propose a new sparsifying basis that reflects the long-term characteristics of the channel, and needs no change as long as the spatial correlation model does not change. We propose a new reconstruction algorithm for CS, and also suggest dimensionality reduction as a compression method. To feed back compressed CSI in practice, we propose a new codebook for the compressed channel quantization assuming no other-cell interference. Numerical results confirm that the proposed channel feedback mechanisms show better performance in point-to-point (single-user) and point-to-multi-point (multi-user) scenarios.

Photon-counting linear discriminant analysis for face recognition at a distance

  • Yeom, Seok-Won
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권3호
    • /
    • pp.250-255
    • /
    • 2012
  • Face recognition has wide applications in security and surveillance systems as well as in robot vision and machine interfaces. Conventional challenges in face recognition include pose, illumination, and expression, and face recognition at a distance involves additional challenges because long-distance images are often degraded due to poor focusing and motion blurring. This study investigates the effectiveness of applying photon-counting linear discriminant analysis (Pc-LDA) to face recognition in harsh environments. A related technique, Fisher linear discriminant analysis, has been found to be optimal, but it often suffers from the singularity problem because the number of available training images is generally much smaller than the number of pixels. Pc-LDA, on the other hand, realizes the Fisher criterion in high-dimensional space without any dimensionality reduction. Therefore, it provides more invariant solutions to image recognition under distortion and degradation. Two decision rules are employed: one is based on Euclidean distance; the other, on normalized correlation. In the experiments, the asymptotic equivalence of the photon-counting method to the Fisher method is verified with simulated data. Degraded facial images are employed to demonstrate the robustness of the photon-counting classifier in harsh environments. Four types of blurring point spread functions are applied to the test images in order to simulate long-distance acquisition. The results are compared with those of conventional Eigen face and Fisher face methods. The results indicate that Pc-LDA is better than conventional facial recognition techniques.

A Systems Engineering Approach to Multi-Physics Analysis of CEA Ejection Accident

  • Sebastian Grzegorz Dzien;Aya Diab
    • 시스템엔지니어링학술지
    • /
    • 제19권2호
    • /
    • pp.46-58
    • /
    • 2023
  • Deterministic safety analysis is a crucial part of safety assessment, particularly when it comes to demonstrating the safety of nuclear power plant designs. The traditional approach to deterministic safety analysis models is to model the nuclear core using point kinetics. However, this simplified approach does not fully reflect the real core behavior with proper moderator and fuel reactivity feedbacks during the transient. The use of Multi-Physics approach allows more precise simulation reflecting the inherent three-dimensionality (3D) of the problem by representing the detailed 3D core, with instantaneous updates of feedback mechanisms due to changes of important reactivity parameters like fuel temperature coefficient (FTC) and moderator temperature coefficient (MTC). This paper addresses a CEA ejection accident at hot full power (HFP), in which the underlying strong and un-symmetric feedback between thermal-hydraulics and reactor kinetics exist. For this purpose, a multi-physics analysis tool has been selected with the nodal kinetics code, 3DKIN, implicitly coupled to the thermal-hydraulic code, RELAP5, for real-time communication and data exchange. This coupled approach enables high fidelity three-dimensional simulation and is therefore especially relevant to reactivity initiated accident (RIA) scenarios and power distribution anomalies with strong feedback mechanisms and/or un-symmetrical characteristics as in the CEA ejection accident. The Systems Engineering approach is employed to provide guidance in developing the work in a systematic and efficient fashion.

A Study on Fraud Detection in the C2C Used Trade Market Using Doc2vec

  • Lim, Do Hyun;Ahn, Hyunchul
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.173-182
    • /
    • 2022
  • 본 논문에서는 사기 거래를 사전에 예방하고 XAI 접근 방식을 사용하여 해석할 수 있는 기계학습 모델을 제안한다. 실험을 위해 국내 주요 온라인 C2C 재판매 거래 플랫폼인 중고나라에서 휴대폰 판매 게시물 1만2,258개에 대한 실제 데이터셋을 수집했다. 게시물 본문에 해당하는 텍스트를 Doc2vec을 이용해 특성을 추출했고 PCA를 통해 차원축소를 했으며, 이전 연구를 바탕으로 다양한 파생변수가 만들어졌다. 전처리 단계에서 데이터 불균형 문제를 해결하기 위해 오버샘플링과 언더샘플링을 결합한 복합샘플링 방법이 적용되었다. 이러한 특성을 기반으로 사기성 게시물을 탐지하는 기계학습 모델들이 학습되었다. 분석 결과 LightGBM이 다른 기계학습 모델에 비해 가장 우수한 성능을 보였다. 그리고, SHAP을 이용한 분석 결과, 시세에 비해 터무니없게 가격이 쌀수록, 거래지역 표기가 없을수록, 가격이 높을수록, 안전거래를 하지 않을수록, 택배거래를 할수록, 가격 중 0의 비율이 많을수록 사기 게시글일 확률이 높았다.

CUDA 및 분할-정복 기반의 효율적인 다차원 척도법 (An Efficient Multidimensional Scaling Method based on CUDA and Divide-and-Conquer)

  • 박성인;황규백
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권4호
    • /
    • pp.427-431
    • /
    • 2010
  • 다차원 척도법(multidimensional scaling)은 고차원의 데이터를 낮은 차원의 공간에 매핑(mapping)하여 데이터 간의 유사성을 표현하는 방법이다. 이는 주로 자질 선정 및 데이터를 시각화하는 데 이용된다. 그러한 다차원 척도법 중, 전통 다차원 척도법(classical multidimensional scaling)은 긴 수행 시간과 큰 공간을 필요로 하기 때문에 객체의 수가 많은 경우에 대해 적용하기 어렵다. 이는 유클리드 거리(Euclidean distance)에 기반한 $n{\times}n$ 상이도 행렬(dissimilarity matrix)에 대해 고유쌍 문제(eigenpair problem)를 풀어야 하기 때문이다(단, n은 객체의 개수). 따라서, n이 커질수록 수행 시간이 길어지며, 메모리 사용량 증가로 인해 적용할 수 있는 데이터 크기에 한계가 있다. 본 논문에서는 이러한 문제를 완화하기 위해 GPGPU 기술 중 하나인 CUDA와 분할-정복(divide-and-conquer)기법을 활용한 효율적인 다차원 척도법을 제안하며, 다양한 실험을 통해 제안하는 기법이 객체의 개수가 많은 경우에 매우 효율적일 수 있음을 보인다.

필기체 숫자 데이터 차원 감소를 위한 선분 특징 분석 알고리즘 (Line-Segment Feature Analysis Algorithm for Handwritten-Digits Data Reduction)

  • 김창민;이우범
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권4호
    • /
    • pp.125-132
    • /
    • 2021
  • 인공신경망의 계층의 깊이가 깊어지고 입력으로 사용되는 데이터 차원이 증가됨에 신경망의 학습 및 인식에 있어서 많은 연산을 고속으로 요구하는 고연산의 문제가 발생한다. 따라서 본 논문에서는 신경망 입력 데이터의 차원을 감소시키기 위한 데이터 차원 감소 방법을 제안한다. 제안하는 선분 특징 분석(Line-segment Feature Analysis; LFA) 알고리즘은 한 영상 내에 존재하는 객체의 선분(Line-segment) 특징을 분석하기 위하여 메디안 필터(median filter)를 사용한 기울기 기반의 윤곽선 검출 알고리즘을 적용한다. 추출된 윤곽 영상은 [0, 1, 2, 4, 8, 16, 32, 64, 128]의 계수 값으로 구성된 3×3 또는 5×5 크기의 검출 필터를 이용하여 8가지 선분의 종류에 상응하는 고유값을 계산한다. 각각의 검출필터로 계산된 고유값으로부터 동일한 반응값을 누적하여 두 개의 1차원의 256 크기의 데이터를 생성하고 두 가지 데이터 요소를 합산하여 LFA256 데이터를, 두 데이터를 합병하여 512 크기의 LAF512 데이터를 생성한다. 제안한 LFA 알고리즘의 성능평가는 필기체 숫자 인식을 위한 데이터 차원 감소를 목적으로 PCA 기법과 AlexNet 모델을 이용하여 비교 실험한 결과 LFA256과 LFA512가 각각 98.7%와 99%의 인식 성능을 보였다.