• 응용통계연구
• /
• 제36권6호
• /
• pp.501-514
• /
• 2023

텍스트데이터는 일반적으로 많은 단어로 이루어져 있다. 텍스트데이터와 같이 많은 변수로 구성된 데이터의 경우 과적합 등의 문제로 분석에 있어서의 정확성이 떨어지고, 계산과정에서의 효율성에도 문제가 발생하는 경우를 흔히 볼 수 있다. 이렇게 변수가 많은 데이터를 분석하기 위해 특징선택, 특징추출 등의 차원 축소 기법이 자주 사용되고 있다. 희소주성분분석은 벌점이 부여된 최소제곱법 중 하나로 엘라스틱넷 형태의 목적함수를 사용하여 유용하지 않은 주성분을 제거하고 각 주성분에서도 중요도가 큰 변수만 식별해내기 위해 활용되고 있다. 이 연구에서는 희소주성분분석을 이용하여 많은 변수를 가진 텍스트데이터를 소수의 변수만으로 요약하는 절차를 제안한다. 이러한 절차를 실제 데이터에 적용한 결과, 희소주성분분석을 이용하여 단어를 선택하는 과정을 통해 목표변수에 대한 정보를 이용하지 않고도 유용성이 낮은 단어를 제거하여 텍스트데이터의 분류 정확성은 유지하면서 데이터의 차원을 축소할 수 있음을 확인하였다. 특히 차원축소를 통해 고차원 데이터 분석에서 분류 정확도가 저하되는 KNN 분류기 등의 분류 성능을 개선할 수 있음을 알 수 있었다.

• 반도체디스플레이기술학회지
• /
• 제22권4호
• /
• pp.113-118
• /
• 2023

Maintenance of semiconductor equipment processes is crucial for the continuous growth of the semiconductor market. The process must always be upheld in optimal condition to ensure a smooth supply of numerous parts. Additionally, it is imperative to monitor the status of the robots that play a central role in the process. Just as many senses of organs judge a person's body condition, robots also have numerous sensors that play a role, and like human joints, they can detect the condition first in the joints, which are the driving parts of the robot. Therefore, a normal state test bed and an abnormal state test bed using an aging reducer were constructed by simulating the joint, which is the driving part of the robot. Various sensors such as vibration, torque, encoder, and temperature were attached to accurately diagnose the robot's failure, and the test bed was built with an integrated system to collect and control data simultaneously in real-time. After configuring the user screen and building a database based on the collected data, the characteristic values of normal and abnormal data were analyzed, and machine learning was performed using the KNN (K-Nearest Neighbors) machine learning algorithm. This approach yielded an impressive 94% accuracy in failure diagnosis, underscoring the reliability of both the test bed and the data it produced.

• Steel and Composite Structures
• /
• 제49권3호
• /
• pp.337-348
• /
• 2023

Successive wetting and drying cycles of concrete due to weather changes can endanger the safety of engineering structures over time. Considering wetting and drying cycles in concrete tests can lead to a more correct and reliable design of engineering structures. This study aims to provide a model that can be used to estimate the resistance properties of concrete under different wetting and drying cycles. Complex sample preparation methods, the necessity for highly accurate and sensitive instruments, early sample failure, and brittle samples all contribute to the difficulty of measuring the strength of concrete in the laboratory. To address these problems, in this study, the potential ability of six machine learning techniques, including ANN, SVM, RF, KNN, XGBoost, and NB, to predict the concrete's tensile strength was investigated by applying 240 datasets obtained using the Brazilian test (80% for training and 20% for test). In conducting the test, the effect of additives such as glass and polypropylene, as well as the effect of wetting and drying cycles on the tensile strength of concrete, was investigated. Finally, the statistical analysis results revealed that the XGBoost model was the most robust one with R2 = 0.9155, mean absolute error (MAE) = 0.1080 Mpa, and variance accounted for (VAF) = 91.54% to predict the concrete tensile strength. This work's significance is that it allows civil engineers to accurately estimate the tensile strength of different types of concrete. In this way, the high time and cost required for the laboratory tests can be eliminated.

• Geomechanics and Engineering
• /
• 제37권1호
• /
• pp.65-72
• /
• 2024

Water ingress poses a common and intricate geological hazard with profound implications for tunnel construction's speed and safety. The project's success hinges significantly on the precision of estimating water inflow during excavation, a critical factor in early-stage decision-making during conception and design. This article introduces an optimized model employing the gene expression programming (GEP) approach to forecast tunnel water inflow. The GEP model was refined by developing an equation that best aligns with predictive outcomes. The equation's outputs were compared with measured data and assessed against practical scenarios to validate its potential applicability in calculating tunnel water input. The optimized GEP model excelled in forecasting tunnel water inflow, outperforming alternative machine learning algorithms like SVR, GPR, DT, and KNN. This positions the GEP model as a leading choice for accurate and superior predictions. A state-of-the-art machine learning-based graphical user interface (GUI) was innovatively crafted for predicting and visualizing tunnel water inflow. This cutting-edge tool leverages ML algorithms, marking a substantial advancement in tunneling prediction technologies, providing accuracy and accessibility in water inflow projections.

• International Journal of Computer Science & Network Security
• /
• 제24권7호
• /
• pp.108-117
• /
• 2024

The selection and recommendation of a suitable job applicant from the pool of thousands of applications are often daunting jobs for an employer. The recommendation and selection process significantly increases the workload of the concerned department of an employer. Thus, Resume Classification System using the Natural Language Processing (NLP) and Machine Learning (ML) techniques could automate this tedious process and ease the job of an employer. Moreover, the automation of this process can significantly expedite and transparent the applicants' selection process with mere human involvement. Nevertheless, various Machine Learning approaches have been proposed to develop Resume Classification Systems. However, this study presents an automated NLP and ML-based system that classifies the Resumes according to job categories with performance guarantees. This study employs various ML algorithms and NLP techniques to measure the accuracy of Resume Classification Systems and proposes a solution with better accuracy and reliability in different settings. To demonstrate the significance of NLP & ML techniques for processing & classification of Resumes, the extracted features were tested on nine machine learning models Support Vector Machine - SVM (Linear, SGD, SVC & NuSVC), Naïve Bayes (Bernoulli, Multinomial & Gaussian), K-Nearest Neighbor (KNN) and Logistic Regression (LR). The Term-Frequency Inverse Document (TF-IDF) feature representation scheme proven suitable for Resume Classification Task. The developed models were evaluated using F-Score_M, Recall_M, Precission_M, and overall Accuracy. The experimental results indicate that using the One-Vs-Rest-Classification strategy for this multi-class Resume Classification task, the SVM class of Machine Learning algorithms performed better on the study dataset with over 96% overall accuracy. The promising results suggest that NLP & ML techniques employed in this study could be used for the Resume Classification task.

• 아시아태평양코퍼스연구
• /
• 제5권1호
• /
• pp.23-36
• /
• 2024

This research centers on the Taiwan Eye-Movement Corpus of Spanish (TECS), a specially created corpus comprising eye-tracking data from Chinese-speaking learners of Spanish as a third language in Taiwan. Its primary purpose is to explore the broad utility of TECS in understanding language learning processes, particularly the initial stages of language learning. Constructing this corpus involves gathering data on eye-tracking, reading comprehension, and language proficiency to develop a machine-learning model that predicts learner behaviors, and subsequently undergoes a predictability test for validation. The focus is on examining attention in input processing and their relationship to language learning outcomes. The TECS eye-tracking data consists of indicators derived from eye movement recordings while reading Spanish sentences with temporal references. These indicators are obtained from eye movement experiments focusing on tense verbal inflections and temporal adverbs. Chinese expresses tense using aspect markers, lexical references, and contextual cues, differing significantly from inflectional languages like Spanish. Chinese-speaking learners of Spanish face particular challenges in learning verbal morphology and tenses. The data from eye movement experiments were structured into feature vectors, with learner behaviors serving as class labels. After categorizing the collected data, we used two types of machine learning methods for classification and regression: Random Forests and the k-nearest neighbors algorithm (KNN). By leveraging these algorithms, we predicted learner behaviors and conducted performance evaluations to enhance our understanding of the nexus between learner behaviors and language learning process. Future research may further enrich TECS by gathering data from subsequent eye-movement experiments, specifically targeting various Spanish tenses and temporal lexical references during text reading. These endeavors promise to broaden and refine the corpus, advancing our understanding of language processing.

• 응용통계연구
• /
• 제36권1호
• /
• pp.49-62
• /
• 2023

급속적으로 비중이 증가하고 있는 태양광 에너지는 지속적인 개발 및 투자가 이루어지고 있다. 신재생에너지 정책인 그린뉴딜과 가정용 태양광 패널의 설치가 증가함에 따라 국내 태양광 에너지 보급이 점차 확대되어 그에 맞추어 발전량의 정확한 수요 예측 연구가 활발하게 진행되고 있는 시점이다. 또한, 일사량 예측이 발전량 수요 예측에 가장 영향을 미치는 요소로 작용하고 있다는 점에서 일사량 예측의 중요성을 파악하였다. 덧붙여, 본 연구는 선행 연구들에서 사용되지 않은 중기예보 기상 데이터를 활용하여 일사량 예측을 하고자 하였다는 점에서 가장 큰 차이점을 확인할 수 있다. 본 논문에서는 서울, 인천, 수원, 춘천, 대구, 대전의 총 여섯 지역의 태양광 일사량 예측을 위하여 다중선형회귀모형, KNN, Random Forest 그리고 SVR 모형과 클러스터링 기법인 K-means 기법을 결합한 후, 클러스터별 확률밀도함수를 계산하여 시간별 일사량 예측을 진행하고자 하였다. 중기예보 데이터를 사용하기 전, 모형 예측 결과를 비교하기 위한 지표로서 MAE (mean absolute error)와 RMSE (root mean squared error)를 사용하였다. 데이터는 2017년 3월 1일부터 2022년 2월 28일까지의 시간별 원 관측 데이터를 중기예보 데이터 양식에 맞추어 일별 데이터로 변환하였다. 모형의 예측 성능 비교 결과, Random Forest로 일별 일사량을 예측한 후, K-means 클러스터링으로 기후요인이 유사한 날짜들을 분류한 뒤 클러스터별 일사량의 확률밀도함수를 계산하여 시간별 일사량 예측값을 나타낸 방법이 가장 우수한 성능을 보였다. 또한 이 방법론을 이용하여 중기예보 데이터에 모형 적합 후, 예측 결과를 확인하였을 때, 일자별로 예측 오류가 상승하는 것을 확인할 수 있었다. 이는 중기예보 기상데이터의 예측 오류로 인한 것으로 보인다. 향후 연구에서는 중기예보 데이터에서 활용할 수 있는 기상요인 중, 강수 여부와 같은 외생 변수를 추가하거나 시계열 클러스터링 기법을 적용한 연구가 이루어져야할 것으로 보인다.

• 인지과학
• /
• 제35권1호
• /
• pp.49-95
• /
• 2024

국내 형사소송절차에서 진술의 진위여부 확인을 위해 사용하는 도구는 폴리그래프검사, 진술타당도분석, P300 기반 숨김정보검사 등이 있고, 이 중에서 폴리그래프검사의 사용빈도가 다른 도구들에 비하여 높다. 하지만, 검사결과를 뒷받침해 줄 수 있는 근거의 부족으로 인하여 재판과정에서 증거채택 가능성이 낮다. 폴리그래프검사를 뒷받침해 줄 수 있는 방법으로, 사전연구가 풍부한 P300기반 숨김정보검사가 주목을 받아 왔지만, 기존의 검사기법은 두 가지 제한점이 있어 실제 사건에서의 활용도는 낮은 편이다. 첫째, 검사에 필요한 관련자극만 3개 또는 6개 등, 사전에 노출되지 않은 정보가 다수 필요하기 때문에 실제 사건에서 사용 가능성이 낮다. 둘째, 기존의 P300기반 숨김정보검사 프로토콜에서는 관련자극과 무관련자극에 대한 P300요소 전위값을 명확하게 구분하기 위하여 오드볼패러다임을 사용하기 때문에 무관련자극에 대한 P300요소 전위값이 과소 추정될 가능성이 있다. 본 연구에서는 검사의 사용 가능성을 높이기 위하여 사전에 노출되지 않은 정보가 단 하나만 있어도 검사가 가능한 단일 관련자극을 사용하는 수정된 P300기반 숨김정보검사 프로토콜을 탐색하였고, 오드볼패러다임 사용으로 인한 무관련자극에 대한 P300요소 전위값이 과소 추정되는 문제를 보완하기 위하여 다양한 기계학습의 분류 알고리즘을 비교하였다. 연구결과 단일 관련자극으로 여성과 남성의 얼굴자극을 사용할 경우, 자극은 400ms 지속시간으로 60회 제시하고, 절단값을 유죄집단은 90%로 무죄집단은 30%로 하여 정점-정점 방법으로 P300요소 전위값을 분석하는 것이 적합함을 확인하였다. 단어자극의 경우, 지속시간을 300ms로 60회 제시하고, P300요소 전위값 분석방법은 얼굴자극과 동일하게 시행하는 것이 적합하다는 것을 확인하였다. 또한 관련자극과 무관련자극에 대한 정점-정점 P300요소 전위값을 6가지 기계학습 분류 알고리즘을 사용하여 분석한 결과, 로지스틱 회귀(LR), 선형 판별 분석(LDA), K-최근접 이웃(KNN) 알고리즘이 관련자극과 무관련자극의 분류에 적합하다는 것을 확인하였다.

• 정보관리학회지
• /
• 제23권4호
• /
• pp.277-294
• /
• 2006

본 연구는 실재 시스템 환경에서 문헌 분류를 위해 범주화 기법을 적용할 경우, 범주화 성능이 어느 정도이며, 적정한 문헌범주화 성능의 달성을 위하여 분류기 학습에 필요한 범주당 가장 이상적인 학습문헌집합의 규모는 무엇인가를 파악하기 위하여 kNN 분류기를 사용하여 실험하였다. 실험문헌집단으로15만 여건의 실제 서비스되는 데이터베이스에서 2,556건 이상의 문헌을 가진 8개 범주를 선정하였다. 이들을 대상으로 범주당 학습문헌수 20개(Tr-20)에서 2,000개(Tr-2000)까지 단계별로 증가시키며 8개 학습문헌집합 규모를 갖도록 하위문헌집단을 구성한 후, 학습문헌집합 규모에 따른 하위문헌집단 간 범주화 성능을 비교하였다. 8개 하위문헌집단의 거시평균 성능은 $F_1$ 값 30%로 선행연구에서 발견된 kNN 분류기의 일반적인 성능에 미치지 못하는 낮은 성능을 보였다. 실험을 수행한 8개 대상문헌집단 중 학습문헌수가 100개인 Tr-100 문헌집단이 $F_1$값 31%로 비용대 효과면에서 분류기 학습에 필요한 최적정의 실험문헌집합수로 판단되었다. 또한, 실험문헌집단에 부여된 주제범주 정확도를 수작업 재분류를 통하여 확인한 후, 이들의 범주별 범주화 성능과 관련성을 기반으로 위 결론의 신빙성을 높였다.

• 대한토목학회논문집
• /
• 제38권1호
• /
• pp.73-80
• /
• 2018

고속도로 교통류 제어는 기존의 Reactive 방식(실시간 대응)에서 Proactive 방식(사전 대응)으로 발전하고 있다. 첨단 고속도로 교통류 제어의 핵심 입력자료 중 하나는 여러 시간대에 걸치는 장래 교통량 상태이다. 다중 시간대 교통량 예측을 위해서는 장래 상태의 불확실성을 극복해야 한다. 이는 예측 시간대의 확장에 따라 장래 상태의 불확실성은 증가하기 때문이다. 따라서 다중 시간대 교통량 예측을 위해서는 장래 상태의 불확실성을 효과적으로 극복할 수 있는 실행 가능한 방안이 필요하다. 본 연구에서는 대용량 이력자료에 내재된 교통류 상태의 시간적 진화 행태를 이용하여 장래 상태의 불확실성을 효과적으로 극복함으로써 다중 시간대 장래 교통량 상태를 예측하는 모형을 제시하도록 한다. 개발 모형은 현행 교통량의 상태 진화를 기반으로 대용량 자료에 내재된 과거 상태를 추출하고, 이를 이용하여 장래 상태를 예측한다. 추가로, 개발된 모형은 실제 적용을 고려하여 자료관리시스템에 적합하도록 설계되었다. 적용결과, 개발모형은 다중 시간대에 걸치는 불확실성을 효과적으로 극복함으로써 우수한 예측력을 보였으며, 첨단자료관리시스템에 실제 적용이 가능하다고 판단된다.