• 대한수학회지
• /
• 제59권2호
• /
• pp.217-233
• /
• 2022

Although machine learning shows state-of-the-art performance in a variety of fields, it is short a theoretical understanding of how machine learning works. Recently, theoretical approaches are actively being studied, and there are results for one of them, margin and its distribution. In this paper, especially we focused on the role of margin in the perturbations of inputs and parameters. We show a generalization bound for two cases, a linear model for binary classification and neural networks for multi-classification, when the inputs have normal distributed random noises. The additional generalization term caused by random noises is related to margin and exponentially inversely proportional to the noise level for binary classification. And in neural networks, the additional generalization term depends on (input dimension) × (norms of input and weights). For these results, we used the PAC-Bayesian framework. This paper is considering random noises and margin together, and it will be helpful to a better understanding of model sensitivity and the construction of robust generalization.

• 한국측량학회지
• /
• 제37권2호
• /
• pp.91-97
• /
• 2019

In automatic map generalization, the formalization of cartographic principles is important. This study proposes and evaluates the selection method for road network generalization that analyzes existing maps using reverse engineering and formalizes the selection rules for the road network. Existing maps with a 1:5,000 scale and a 1:25,000 scale are compared, and the criteria for selection of the road network data and the relative importance of each network object are determined and analyzed using $T{\ddot{o}}pfer^{\prime}s$ Radical Law as well as the logistic regression model. The selection model derived from the analysis result is applied to the test data, and road network data for the 1:25,000 scale map are generated from the digital topographic map on a 1:5,000 scale. The selected road network is compared with the existing road network data on the 1:25,000 scale for a qualitative and quantitative evaluation. The result indicates that more than 80% of road objects are matched to existing data.

• 지능정보연구
• /
• 제28권2호
• /
• pp.19-31
• /
• 2022

기계학습 모델 구축 간 트레이닝 데이터를 활용하며, 훈련 간 사용되지 않은 테스트 데이터를 활용하여 모델의 정확도와 일반화 성능을 판단한다. 일반화 성능이 낮은 모델의 경우 새롭게 받아들이게 되는 데이터에 대한 예측 정확도가 현저히 감소하게 되며 이러한 현상을 두고 모델이 과적합 되었다고 한다. 본 연구는 중심극한정리를 기반으로 데이터를 생성 및 기존의 훈련용 데이터와 결합하여 새로운 훈련용 데이터를 구성하고 데이터의 정규성을 증가시킴과 동시에 이를 활용하여 모델의 일반화 성능을 증가시키는 방법에 대한 것이다. 이를 위해 중심극한정리의 성질을 활용해 데이터의 각 특성별로 표본평균 및 표준편차를 활용하여 데이터를 생성하였고, 새로운 훈련용 데이터의 정규성 증가 정도를 파악하기 위하여 Kolmogorov-Smirnov 정규성 검정을 진행한 결과, 새로운 훈련용 데이터가 기존의 데이터에 비해 정규성이 증가하였음을 확인할 수 있었다. 일반화 성능은 훈련용 데이터와 테스트용 데이터에 대한 예측 정확도의 차이를 통해 측정하였다. 새롭게 생성된 데이터를 K-Nearest Neighbors(KNN), Logistic Regression, Linear Discriminant Analysis(LDA)에 적용하여 훈련시키고 일반화 성능 증가정도를 파악한 결과, 비모수(non-parametric) 기법인 KNN과 모델 구성 간 정규성을 가정으로 갖는 LDA의 경우에 대하여 일반화 성능이 향상되었음을 확인할 수 있었다.

• 한국지리정보학회지
• /
• 제18권2호
• /
• pp.1-15
• /
• 2015

인류의 문명의 시작된 이래 도시유역의 침수는 거주민과 해당지역의 시설에 화학적이고 물리적인 피해를 입혀왔다. 최근의 연구는 도시홍수와 침수를 해석을 위한 모델과 지형자료의 통합에 관한 연구가 주를 이뤄왔다. 그러나 2차원 모델의 구축과정에 많은 시간이 소요되고 높은 데이터 처리기술을 요구하는 경향이 있다. 게다가 건물의 격자화 과정에서 의도치 않는 격자가 발생하게 되어 해석결과의 신뢰도를 떨어뜨리기 때문에 고해상도의 데이터 구득과 모형을 구축하더라도 건물의 처리기법에 따라 해석결과가 달라진다. 따라서 2차원 침수해석모형의 건물의 자료를 입력 시에는 이러한 왜곡현상을 최소화 할 수 있도록 건물의 일반화 처리 혹은 건물의 직교성 확보 등의 전처리가 필요하다. 이에 본 연구의 목적은 2차원 침수해석결과의 신뢰도를 향상시킬 수 있는 건물의 일반화 기법을 개발하고 건물의 일반화에 따른 영향을 검토하는데 있다. 연구결과, 도시지역의 2차원 침수해석결과의 신뢰도를 향상시키기 위해서는 각종 수치지도로부터 DBM(Digital Building Model)을 생성하고 본 연구에서 제안한 방법 Aggregation-Simplification을 적용하여 건물의 일반화를 수행하는 것이 바람직하며 각 기법의 임계값은 대상지역의 건물의 공간적인 특성을 고려하여 설정하되 건물의 평균 간격과 건물 간격의 표준편차를 더한 값을 초과하지 않는 것이 바람직한 것으로 나타났다.

• 말소리와 음성과학
• /
• 제15권3호
• /
• pp.83-88
• /
• 2023

This study investigates the fine-tuning of large-scale Automatic Speech Recognition (ASR) models, specifically OpenAI's Whisper model, for domain-specific applications using the KsponSpeech dataset. The primary research questions address the effectiveness of targeted lexical item emphasis during fine-tuning, its impact on domain-specific performance, and whether the fine-tuned model can maintain generalization capabilities across different languages and environments. Experiments were conducted using two fine-tuning datasets: Set A, a small subset emphasizing specific lexical items, and Set B, consisting of the entire KsponSpeech dataset. Results showed that fine-tuning with targeted lexical items increased recognition accuracy and improved domain-specific performance, with generalization capabilities maintained when fine-tuned with a smaller dataset. For noisier environments, a trade-off between specificity and generalization capabilities was observed. This study highlights the potential of fine-tuning using minimal domain-specific data to achieve satisfactory results, emphasizing the importance of balancing specialization and generalization for ASR models. Future research could explore different fine-tuning strategies and novel technologies such as prompting to further enhance large-scale ASR models' domain-specific performance.

• 한국IT서비스학회지
• /
• 제15권1호
• /
• pp.153-166
• /
• 2016

Ensemble classification is an approach that combines individually trained classifiers in order to improve prediction accuracy over individual classifiers. Ensemble techniques have been shown to be very effective in improving the generalization ability of the classifier. But base classifiers need to be as accurate and diverse as possible in order to enhance the generalization abilities of an ensemble model. Bagging is one of the most popular ensemble methods. In bagging, the different training data subsets are randomly drawn with replacement from the original training dataset. Base classifiers are trained on the different bootstrap samples. In this study we proposed a new bagging variant ensemble model, Randomized Bagging (RBagging) for improving the standard bagging ensemble model. The proposed model was applied to the bankruptcy prediction problem using a real data set and the results were compared with those of the other models. The experimental results showed that the proposed model outperformed the standard bagging model.

• East Asian mathematical journal
• /
• 제40권2호
• /
• pp.209-229
• /
• 2024

In this study, we design a teaching unit that constructs Pascal graphs and extended Pascal triangles to explore number patterns inherent in them. This teaching unit is designed to consider the diachronic process of teaching-learning by combining Dörfler's theoretical generalization model with Wittmann's design science ideas, which are applied to the didactical practice of mathematization. In the teaching unit, considering the teaching-learning level of prospective teachers who studied discrete mathematics, we generalize the well-known Pascal triangle and its number patterns to extended Pascal triangles which have directed graphs(called Pascal graphs) as geometric models. In this process, the use of symbols and the introduction of variables are exhibited as important means of generalization. It provides practical experiences of mathematization to prospective teachers by going through various steps of the generalization process targeting symbols. This study reflects Wittmann's intention in that well-understood mathematics and the context of the first type of empirical research as structure-genetic didactical analysis are considered in the design of the learning environment.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.326-338
• /
• 2003

신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

• Communications for Statistical Applications and Methods
• /
• 제30권5호
• /
• pp.501-516
• /
• 2023

Knowledge distillation (KD) refers to extracting knowledge from a large and complex model (teacher) and transferring it to a relatively small model (student). This can be done by training the teacher model to obtain the activation function values of the hidden or the output layers and then retraining the student model using the same training data with the obtained values. Recently, relational KD (RKD) has been proposed to extract knowledge about relative differences in training data. This method improved the performance of the student model compared to conventional KDs. In this paper, we propose a new method for RKD by introducing a new loss function for RKD. The proposed loss function is defined using the area difference between the teacher model and the student model in a specific hidden layer, and it is shown that the model can be successfully compressed, and the generalization performance of the model can be improved. We demonstrate that the accuracy of the model applying the method proposed in the study of model compression of audio data is up to 1.8% higher than that of the existing method. For the study of model generalization, we demonstrate that the model has up to 0.5% better performance in accuracy when introducing the RKD method to self-KD using image data.

• 한국전자거래학회지
• /
• 제7권3호
• /
• pp.49-60
• /
• 2002

Many researchers have studied component technologies with concept, methodology and implementation for partial business domain, however there are rarely researches for component classification to manage these systematically. In this paper, we suggest a component classification model, which can make component reusability higher and can derive higher productivity of software development. We take four focuses generalization, abstraction, technology and size. The generalization means which category a component belongs to. The abstraction means how specific a component encapsulates its inside. The technology means which platform for hardware environment a component can be plugged in. The size means the physical component volume.