• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.517-519
• /
• 2022

뉴럴 네트워크는 학습에 사용하는 파라미터를 문제에 맞게 최적화하여 일반화 성능을 향상시키는 것이 목적이다. 선행 연구들은 다차원의 로스 랜드스케이프(loss landscape)를 시각화하는 방법을 탐구하며, 모델의 일반화 측면에서 어떤 영향을 주는지 탐구한다. 하지만 아직까지 로스 랜드스케이프가 근본적으로 일반화 성능에 어떠한 영향을 주는지 잘 알려져 있지 않으며, 평평하거나 경사진 로스 랜드스케이프 중 어떤 형태가 일반화 성능에 더 효과적인지 여러 의견이 나뉜다. 따라서 우리는 로스 랜드스케이프가 일반화 성능과 연관 있음을 실험을 통해 파악한다. 나아가 비전문제에서 MSA(multi-head self-attention) 레이어를 기반으로 구성된 트랜스포머 구조를 사용해 작은 유도 편향(inductive bias)을 가지며 소규모 데이터 셋 체제에서의 단점을 보완한다. 결론적으로 평평한 로스 랜드스케이프가 일반화 성능에 긍정적인 영향을 끼친다는 것을 관찰한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10a
• /
• pp.756-758
• /
• 1998

본 논문은 병렬 프로그램의 성능 분석을 위한 성능 감시기에 가시화층에 일반화된 뷰를 설계하고 구현하였다. 대부분의 성능 감시기는 하드웨어에 의존적인 특성화에 뷰를 제공함으로서 이식성이나 확장성이 부족하다. 일반화된 뷰를 제공하는 성능 감시기는 데이터 필터층에서 필터링된 성능 분석 데이터를 이용하여 프로그래머가 정의한 데이터의 범위에 따라 뷰를 스스로 확장할 수 있다. 또한 CallBack기능을 제공하여 관심 있는 데이터를 쉽게 볼 수 있다. 프로그래머는 성능 감시기의 일반화된 뷰를 이용하여 다양한 형태의 성능 분석 결과를 볼 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.213-218
• /
• 2019

기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

• Journal of Convergence for Information Technology
• /
• v.7 no.6
• /
• pp.143-151
• /
• 2017

The generalized Hough transform(GHough) can be used effectively for detecting and extracting an arbitrary-shaped 2-D model in an input image. However, the main drawbacks of the GHough are both heavy computation and an excessive storage requirement. Thus, most of the researches so far have focused on reducing both the time and space requirement of the GHough. But it is still not clear how well their improved algorithms will perform under various noise in an input image. Thus, this paper proposes a new framework that can measure the performance of the GHough quantitatively. For this purpose, we view the GHough as a detector in signal detection theory and the ROC curve will be used to specify the performance of the GHough. Finally, we show that we can evaluate the GHough under various noise conditions in an input image.

• The KIPS Transactions:PartD
• /
• v.9D no.4
• /
• pp.543-554
• /
• 2002

GIS (Geographic Information Systems) need faster access and better visualization. For faster access and better visualization in GIS, map generalization and levels of detail are needed. Existing spatial indexing methods do not support map generalization. Also, a few existing spatial indexing methods supporting map generalization do not support ail map generalization operations. We propose a new index structure, i.e. the LR-tree, supporting ail map generalization operations. This paper presents algorithms for the searching and updating the LR-tree and the results of performance evaluation. Our index structure works better than other spatial indexing methods for map generalization.

• Journal of Intelligence and Information Systems
• /
• v.28 no.2
• /
• pp.19-31
• /
• 2022

In Machine learning, we usually divide the entire data into training data and test data, train the model using training data, and use test data to determine the accuracy and generalization performance of the model. In the case of models with low generalization performance, the prediction accuracy of newly data is significantly reduced, and the model is said to be overfit. This study is about a method of generating training data based on central limit theorem and combining it with existed training data to increase normality and using this data to train models and increase generalization performance. To this, data were generated using sample mean and standard deviation for each feature of the data by utilizing the characteristic of central limit theorem, and new training data was constructed by combining them with existed training data. To determine the degree of increase in normality, the Kolmogorov-Smirnov normality test was conducted, and it was confirmed that the new training data showed increased normality compared to the existed data. Generalization performance was measured through differences in prediction accuracy for training data and test data. As a result of measuring the degree of increase in generalization performance by applying this to K-Nearest Neighbors (KNN), Logistic Regression, and Linear Discriminant Analysis (LDA), it was confirmed that generalization performance was improved for KNN, a non-parametric technique, and LDA, which assumes normality between model building.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.01a
• /
• pp.143-146
• /
• 2018

서명기반 악성코드 탐지는 악성 파일의 고유 해싱 값을 사용하거나 패턴화된 공격 규칙을 이용하므로, 변형된 악성코드 탐지에 취약한 단점이 있다. 기계 학습을 적용한 악성코드 탐지는 이러한 취약점을 극복할 수 있는 방안으로 인식되고 있다. 본 논문은 정적 분석으로 n-gram과 API 특징점을 추출해 특징 벡터로 구성하여 XGBoost, k-최근접 이웃 알고리즘, 지지 벡터 기기, 신경망 알고리즘, 심층 학습 알고리즘의 일반화 성능을 비교한다. 실험 결과로 XGBoost가 일반화 성능이 99%로 가장 우수했으며 k-최근접 이웃 알고리즘이 학습 시간이 가장 적게 소요됐다. 일반화 성능과 시간 복잡도 측면에서 XGBoost가 비교 대상 알고리즘에 비해 우수한 성능을 보였다.

• Proceedings of the Korean Institute of Electrical and Electronic Material Engineers Conference
• /
• 2004.07b
• /
• pp.1117-1120
• /
• 2004

경제적인 공정분석과 최적화를 위해서는 컴퓨터를 이용한 플라즈마 예측모델이 요구되고 있다. 본 연구에서는 일반화된 회귀 신경망 (GRNN)을 이용하여 플라즈마 증착공정 모델을 개발한다. GRNN의 예측성능은 패턴층 뉴런의 가우시안 함수를 구성하는 학습인자, 즉 spread에 의존한다. 종래의 모델에서는 모든 가우시안 함수의 spread가 동일한 값에서 최적화되었으며, 이로 인해 모델의 예측성능을 향상시키는 데에는 한계가 있었다. 본 연구에서는 유전자 알고리즘 (GA)를 이용하여 다변수 spread를 최적화하는 기법을 개발하였으며, 그 성능을 PECVD 공정에 의해 증착된 SiN 박막의 증착률에 적용하여 평가하였다. $2^{6-1}$ 부분인자 실험계획법에 의해 수집된 데이터를 이용하여 신경망을 학습하였고, 모델적합성 점검을 위해 별도의 12번의 실험을 수행하였다. 가우시안 함수의 spread는 0.2에서 2.0까지 0.2간격으로 증가시켰으며, 최적화한 GA-GRNN모델의 예측성능은 6.6 ${\AA}/min$이었다. 이는 종래의 방식으로 최적화한 모델의 예측성능 (13.5 ${\AA}/min$)과 비교하여 50.7% 향상된 예측성능이며, 이러한 향상은 제안한 GA-GRNN 모델이 플라즈마 공정 모델의 예측성능을 증진하는데 매우 효과적임을 보여준다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.336-338
• /
• 1999

본 논문에서는 사회 학습의 이론의 하나인 관찰 학습 이론에 기반한 네트웍 앙상블을 위한 관찰 학습 알고리즘을 제안한다. 하나의 네트웍이 학습할 대 함께 학습되는 다른 네트웍들을 이용하여 가상 데이터를 생성하여 학습에 이용하므로써 데이터가 부족한 경우 네트웍이 과학습 되는 것을 방지고 각 네트웍의 일반화 성능을 향상시키는 동시에 앙상블의 성능도 향상시킨다. 제안된 방법을 사인 함수의 근사 문제와 중첩된 두 정규 분포의 분류 문제에 적용하고 단일 네트웍, 네트웍 위원회, Bagging 알고리즘과 비교하여 제안된 방법의 일반화 성능의 우수성을 보였다.

• Proceedings of the KIEE Conference
• /
• 2002.07d
• /
• pp.2749-2751
• /
• 2002

일반화된 회귀 신경망 (GRNN)을 이용하여 플라즈마을 분류하는 새로운 알고리즘을 보고한다. 데이터분포를 통계적인 평균치와 표준편차를 이용하여 특징지었으며, 바이어스 인자을 이용하여 9 종류의 데이터을 발생하였다. 각 데이터에 대하여 GRNN의 학습인자를 최적화하였으며, 모델성능은 예측과 분류 정확도로 나누어 바이어스와 학습인자의 함수로 분석하였다. 바이어스는 모델성능에 상당한 영향을 주었으며, 학습인자와의 상호작용을 통하여 완전 분류를 이루었다.