• Title/Summary/Keyword: data dimensionality reduction

검색결과 131건 처리시간 0.03초

생산 및 제조 단계의 검사 데이터를 이용한 유도탄 탐색기의 고장 분류 연구 (Study on Failure Classification of Missile Seekers Using Inspection Data from Production and Manufacturing Phases)

  • 정예은;김기현;김성목;이연호;김지원;용화영;정재우;박정원;김용수
    • 산업경영시스템학회지
    • /
    • 제47권2호
    • /
    • pp.30-39
    • /
    • 2024
  • This study introduces a novel approach for identifying potential failure risks in missile manufacturing by leveraging Quality Inspection Management (QIM) data to address the challenges presented by a dataset comprising 666 variables and data imbalances. The utilization of the SMOTE for data augmentation and Lasso Regression for dimensionality reduction, followed by the application of a Random Forest model, results in a 99.40% accuracy rate in classifying missiles with a high likelihood of failure. Such measures enable the preemptive identification of missiles at a heightened risk of failure, thereby mitigating the risk of field failures and enhancing missile life. The integration of Lasso Regression and Random Forest is employed to pinpoint critical variables and test items that significantly impact failure, with a particular emphasis on variables related to performance and connection resistance. Moreover, the research highlights the potential for broadening the scope of data-driven decision-making within quality control systems, including the refinement of maintenance strategies and the adjustment of control limits for essential test items.

분류 알고리즘과 NCA를 활용한 기계학습 기반 구조건전성 모니터링 시스템 (Machine Learning Based Structural Health Monitoring System using Classification and NCA)

  • 신창교;권현석;박유림;김천곤
    • 한국항행학회논문지
    • /
    • 제23권1호
    • /
    • pp.84-89
    • /
    • 2019
  • 본 연구는 복합재 항공기의 비행 데이터를 활용한 기계학습 기반 구조건전성 모니터링 시스템 연구의 예비 연구이다. 본 연구에서는 구조건전성 모니터링에 이용되기에 가장 적합한 기계학습 알고리즘을 선별하고, 실 기체 데이터에 대한 적용을 위해 차원 축소를 수행하였다. 이를 위해 외팔보를 통해 모사된 항공기 날개 구조와 부가 질량을 통해 손상 모사 실험을 진행하고, 분류 알고리즘을 통해 데이터를 손상의 위치와 정도에 따라 구분하였다. 이를 위해 FBG (fiber bragg grating) 센서를 부착한 외팔보의 진동 실험을 통해 정상상태와 12개의 손상상태에 대한 데이터를 취득하고, MATLAB 환경에서 tree, discriminant, SVM (support vector machine), kNN, ensemble 알고리즘의 비교와 파라미터 튜닝을 통해 가장 적합한 알고리즘을 도출하였다. 또한 NCA (neighborhood component analysis)를 이용한 특징 선택을 통해, 실 기체에서 나올 수 있는 고차원 데이터의 관리를 위해 필요한 차원 축소를 수행하였다. 그 결과, quadratic SVM이 NCA를 적용하지 않은 모델에서 98.7%, NCA를 적용한 모델에서 95.9%로 가장 높은 정답률을 보였다. 또한 NCA 적용 후 모델의 예측 속도, 학습 시간, 용량이 모두 향상되었다.

차세대 멀티미디어 통신을 위한 후각정보 측정데이터의 독립성분분석 (Independent Component Analysis Applied on Odor Sensing Measurement Data for Multimedia Communication)

  • 권기현;최형진;황성호;주상렬
    • 한국정보통신학회논문지
    • /
    • 제13권8호
    • /
    • pp.1679-1686
    • /
    • 2009
  • 후각 정보의 실감성을 높일 수 있는 멀티미디어 통신 시스템에서 후각정보 전달을 위한 오더(odor) 센싱 시스템 및 관련 신호 처리 기술 개발은 차세대 멀티미디어 산업을 위한 핵심 과제로 떠오르고 있다. 오더 센싱 시스템의 성능 측정에 전통적으로 많이 사용된 방법은 주성분분석(PCA)이다. PCA는 분산에 기반한 도구로서 많은 경우 잘 동작한다. 그러나 오더 센싱 측정 데이터에 대해서는 의미 있는 값을 표시하는 것에 한계가 있다. 이 논문은 독립성분분석(ICA)을 사용하여 오더 센싱 데이터를 분석하는 방법을 설명한다. PCA와 ICA의 차이를 실질적인 측정데이터를 사용하여 비교하도록 한다. 실험을 통해 ICA가 개선된 변별력으로 센서의 경향 분석, 차원축소, 보다 적합한 데이터 표현 등에 있어 PCA보다 나은 결과를 도출함을 보인다.

A personalized exercise recommendation system using dimension reduction algorithms

  • Lee, Ha-Young;Jeong, Ok-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권6호
    • /
    • pp.19-28
    • /
    • 2021
  • 코로나로 인해 건강관리에 대한 관심이 증가하고 있는 요즘, 여러 사람이 함께 이용하는 헬스장이나 공용시설을 이용하는데 어려움이 늘어남에 따라 홈 트레이닝을 하는 이들이 늘어나고 있다. 이에 본 연구에서는 홈 트레이닝 사용자들에게 좀 더 정확하고 의미 있는 운동 추천을 제공하기 위해 개인 성향 정보를 활용한 개인화된 운동 추천 알고리즘을 제안한다. 이를 위해 식습관 정보, 육체적 조건 등 개인을 나타낼 수 있는 개인 성향 정보를 사용해 k-최근접 이웃 알고리즘으로 데이터를 비만의 기준에 따라 분류하였다. 또한, 운동 데이터 셋을 운동의 레벨에 따라 등급을 구별하였으며 각 데이터 셋의 이웃 정보를 바탕으로 모델 기반 협업 필터링 방법 중 차원 축소모델인 특이값 분해 알고리즘(SVD)을 통해 사용자들에게 개인화된 운동 추천을 제공한다. 따라서 메모리 기반 협업 필터링 추천 기법의 데이터 희소성과 확장성의 문제를 해결할 수 있고, 실험을 통해 본 연구에서 제안하는 알고리즘의 정확도와 성능을 검증한다.

생존시간과 연관된 유전자 간의 교호작용에 관한 다중차원축소방법의 확장 (An extension of multifactor dimensionality reduction method for detecting gene-gene interactions with the survival time)

  • 오진석;이승연
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권5호
    • /
    • pp.1057-1067
    • /
    • 2014
  • 인간게놈 프로젝트 이후 질병과 연관된 변이유전자를 탐색하기 위해 유전형질의 차이에 영향을 주는 단일 유전자를 중심으로 전장유전체 연관성 연구가 활발하게 진행되어왔다. 그러나 전장유전체 연관성 연구에서 접근한 단일유전자 분석방법에 한계점이 발견되면서 최근에는 다중유전자 분석방법이나 유전자-유전자간의 상호작용에 대한 연구들이 활발하게 진행 중이다. 이 중 다중차원축소방법은 유전자-유전자간의 상호작용의 연관성을 찾아내기 위하여 고차원을 일차원으로 축소하는 방법으로 이진형 반응변수를 기반으로 크게 활용되고 있다. 본 논문에서는 이 방법을 생존시간으로 확장하여 생존시간과 연관된 유전자-유전자간의 상호작용을 찾아내는 방법을 제안하고자 한다. 구체적으로 가속화 고장시간 회귀모형 하에서 표준화잔차 스코어를 분류기준으로 사용하여 다중차원축소방법을 적용하는 방법으로 AFT-MDR이라고 지칭하였다. 시뮬레이션 연구를 통하여 기존에 제안된 Surv-MDR과 Cox-MDR과의 검정력을 비교하였으며 국내의 백혈병환자 자료분석에 적용하였다. 시뮬레이션 결과로부터 AFT-MDR은 유전율이 높을수록 검정력이 커지며 회귀모형에 기반하여 공변량의 효과를 고려할 수 있다는 장점이 있으나 센서링 비율이 높아지면서 검정력이 매우 떨어진다는 단점이 발견되었다. 따라서 이를 보완하기 위한 추후연구의 필요성이 요구된다.

LSI 기법을 이용한 전자상거래 추천자 시스템의 시뮬레이션 분석 (Simulation Study on E-commerce Recommender System by Use of LSI Method)

  • 권치명
    • 한국시뮬레이션학회논문지
    • /
    • 제15권3호
    • /
    • pp.23-30
    • /
    • 2006
  • 추천자 시스템은 전자상거래 사이트에서 고객의 상품 구매 정보를 수집하여 고객에 대한 예상 구매 상품을 추천하는 목적으로 개발되었다. 본 연구는 대형 전자상거래 사이트에서 고객의 상품 구매 이력이 활용 가능한 경우에 전통적인 통계기법인 군집분석 및 고객 간의 상품 구매 상관성을 이용하는 기존 추천자 시스템(협력적 필터링 기법)과 문서 검색에서 사용되는 LSI분석에 기반한 협업 필터링 기법을 상품 추천에 적용하여 각 기법의 상품 추천 효율성을 비교 분석하였다. 문서-용어 행렬과 유사한 구조를 가지는 고객-상품 구매 행렬에 문서 검색에 사용되는 LSI 분석법은 고객의 상품구매 경향을 원 상품 수보다 축소된 차원의 변환 상품을 통하여 파악함으로써 목표고객에 대한 인접고객군의 생성 노력을 현저히 감소시킬 수 있어 결과적으로 실시간으로 적용되는 추천자 알고리즘의 효율성을 개선할 수 있을 것으로 기대할 수 있다. 가상적인 고객-상품 구매 리스트를 대상으로 실행한 시뮬레이션 실험 결과에서도 알고리즘의 효율성 평가측도인 recall과 정확도 및 F1에서 LSI 기반 협력적 필터링 기법이 기존의 방법보다 우수한 결과를 나타내었다. 시뮬레이션 결과, 인접고객 군의 크기가 일정한 수준에 이르면 그 크기를 증가시키더라도 알고리즘의 효율성은 별로 개선되지 않으며 또한 추천 상품 수가 일정 수준에 도달하면 추천 정확도가 낮아지는 정도에 비해 recall의 개선도는 별 변화가 없는 것으로 나타나고 있다. 추천자 시스템을 구현하는 용도에 따라 이러한 정보는 유용하게 사용될 수 있다고 판단된다.

  • PDF

A selective review of nonlinear sufficient dimension reduction

  • Sehun Jang;Jun Song
    • Communications for Statistical Applications and Methods
    • /
    • 제31권2호
    • /
    • pp.247-262
    • /
    • 2024
  • In this paper, we explore nonlinear sufficient dimension reduction (SDR) methods, with a primary focus on establishing a foundational framework that integrates various nonlinear SDR methods. We illustrate the generalized sliced inverse regression (GSIR) and the generalized sliced average variance estimation (GSAVE) which are fitted by the framework. Further, we delve into nonlinear extensions of inverse moments through the kernel trick, specifically examining the kernel sliced inverse regression (KSIR) and kernel canonical correlation analysis (KCCA), and explore their relationships within the established framework. We also briefly explain the nonlinear SDR for functional data. In addition, we present practical aspects such as algorithmic implementations. This paper concludes with remarks on the dimensionality problem of the target function class.

IoT botnet attack detection using deep autoencoder and artificial neural networks

  • Deris Stiawan;Susanto ;Abdi Bimantara;Mohd Yazid Idris;Rahmat Budiarto
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1310-1338
    • /
    • 2023
  • As Internet of Things (IoT) applications and devices rapidly grow, cyber-attacks on IoT networks/systems also have an increasing trend, thus increasing the threat to security and privacy. Botnet is one of the threats that dominate the attacks as it can easily compromise devices attached to an IoT networks/systems. The compromised devices will behave like the normal ones, thus it is difficult to recognize them. Several intelligent approaches have been introduced to improve the detection accuracy of this type of cyber-attack, including deep learning and machine learning techniques. Moreover, dimensionality reduction methods are implemented during the preprocessing stage. This research work proposes deep Autoencoder dimensionality reduction method combined with Artificial Neural Network (ANN) classifier as botnet detection system for IoT networks/systems. Experiments were carried out using 3- layer, 4-layer and 5-layer pre-processing data from the MedBIoT dataset. Experimental results show that using a 5-layer Autoencoder has better results, with details of accuracy value of 99.72%, Precision of 99.82%, Sensitivity of 99.82%, Specificity of 99.31%, and F1-score value of 99.82%. On the other hand, the 5-layer Autoencoder model succeeded in reducing the dataset size from 152 MB to 12.6 MB (equivalent to a reduction of 91.2%). Besides that, experiments on the N_BaIoT dataset also have a very high level of accuracy, up to 99.99%.

유전자형별 상대 위험도를 이용한 유전자-유전자간 상호작용 탐색 (Exploration of the Gene-Gene Interactions Using the Relative Risks in Distinct Genotypes)

  • 정지원;이재용;이석훈;박미라
    • 응용통계연구
    • /
    • 제24권5호
    • /
    • pp.861-869
    • /
    • 2011
  • 최근 유전학에서 주요 목표중 하나는 복합질환에 영향을 미치는 유전적 요인을 찾아내는 것이다. 유전자좌간의 상호작용이 있을 때에는 단일 유전자좌 분석으로는 이러한 목표를 달성하기 어려우므로, 유전자-유전자간 상호작용이나 유전자-환경인자간 상호작용분석을 고려할 필요가 있다. 자주 사용되는 MDR(multifactor dimensionality reduction)방법은 데이터를 고위험군과 저위험군으로 각각 병합하여 사용하므로 특정 유전자형에서 차이가 나는 경우에는 이를 찾아내기 어렵다. 본 연구에서는 이러한 점을 보완하도록 유전자형 조합에서의 대조군과 질환군의 상대위험도를 이용하여 유전자-유전자간 상호작용을 탐색하는 방법을 제안하였다. MDR 공개데이터와 8가지 유전모형으로부터 생성한 모의자료의 분석을 통해 방법의 유용성을 확인하였다.

Network Graph Analysis of Gene-Gene Interactions in Genome-Wide Association Study Data

  • Lee, Sungyoung;Kwon, Min-Seok;Park, Taesung
    • Genomics & Informatics
    • /
    • 제10권4호
    • /
    • pp.256-262
    • /
    • 2012
  • Most common complex traits, such as obesity, hypertension, diabetes, and cancers, are known to be associated with multiple genes, environmental factors, and their epistasis. Recently, the development of advanced genotyping technologies has allowed us to perform genome-wide association studies (GWASs). For detecting the effects of multiple genes on complex traits, many approaches have been proposed for GWASs. Multifactor dimensionality reduction (MDR) is one of the powerful and efficient methods for detecting high-order gene-gene ($G{\times}G$) interactions. However, the biological interpretation of $G{\times}G$ interactions identified by MDR analysis is not easy. In order to aid the interpretation of MDR results, we propose a network graph analysis to elucidate the meaning of identified $G{\times}G$ interactions. The proposed network graph analysis consists of three steps. The first step is for performing $G{\times}G$ interaction analysis using MDR analysis. The second step is to draw the network graph using the MDR result. The third step is to provide biological evidence of the identified $G{\times}G$ interaction using external biological databases. The proposed method was applied to Korean Association Resource (KARE) data, containing 8838 individuals with 327,632 single-nucleotide polymorphisms, in order to perform $G{\times}G$ interaction analysis of body mass index (BMI). Our network graph analysis successfully showed that many identified $G{\times}G$ interactions have known biological evidence related to BMI. We expect that our network graph analysis will be helpful to interpret the biological meaning of $G{\times}G$ interactions.