• 한국멀티미디어학회논문지
• /
• 제25권1호
• /
• pp.52-60
• /
• 2022

Few-shot learning is a sub-area of machine learning problems, which aims to classify target images that only contain a few labeled samples for training. As a representative few-shot learning method, the Prototypical network has been received much attention due to its simplicity and promising results. However, the Prototypical network uses the sample mean of samples from the same class as the prototypes of that class, which easily results in learning uncharacteristic features in the low-data scenery. In this study, we propose to use local descriptors (i.e., patches along the channel within feature maps) from the same class to explicitly obtain more representative prototypes for Prototypical Network so that significant intra-class feature information can be maintained and thus improving the classification performance on few-shot learning tasks. Experimental results on various benchmark datasets including mini-ImageNet, CUB-200-2011, and tiered-ImageNet show that the proposed method can learn more discriminative intra-class features by the local descriptors and obtain more generic prototype representations under the few-shot setting.

• 스마트미디어저널
• /
• 제12권1호
• /
• pp.24-31
• /
• 2023

메타 학습(meta learning)이란 즉각적으로 아는 것과 모르는 것을 구별하는 메타 인지로 적은 양의 데이터로 스스로 학습하고, 학습한 정보와 알고리즘으로 새로운 문제에 적응하며 해결하는 학습 방식이다. 그 중, few-shot 학습 방법은 메타 학습 방법의 한 종류로 매우 적은 학습 데이터 (support set)으로도 질의 데이터(query set)를 올바르게 예측하도록 하는 학습 방법이다. 본 연구에서는 각 클래스의 mean-point vector로 생성한 프로토타입의 한계점인 높은 밀도값을 낮추면서 이상치(outlier)값을 극복하는 방법을 제안한다. 제안한 방법은 기존의 방법을 해결하기 위해, 딥러닝 모델에서 feature를 추출하고, 획득한 feature사이의 요소별로 중앙값 계산하여 프로토타입을 생성하는 방법을 사용한다. 그 후, 앞서 생성한 중앙값 프로토타입을 기반으로 few-shot 학습 방법에 사용한다. 제안한 방법의 정량적인 평가를 위해 필체 인식 데이터셋을 사용하여 기존의 방법과 비교하였다. 실험 결과를 통해 기존의 방법보다 향상된 성능을 내는 것을 확인할 수 있었다.

• 전기전자학회논문지
• /
• 제27권4호
• /
• pp.537-547
• /
• 2023

퓨삿학습(few-shot learning)은 사전에 확보한 관련 지식과 소규모의 학습데이터를 이용하여 학습데이터의 부족으로 인한 어려움을 해결할 수 있는 가능성을 제시해주어 최근 많은 주목을 받고 있다. 본 논문에서는 퓨삿학습의 개념과 주요 접근방법을 빠르게 파악할 수 있도록 데이터 증강, 임베딩과 측도학습, 메타학습의 세 관점에서 최신연구동향을 설명한다. 또한 퓨샷학습을 적용하려는 연구자들에게 도움을 제공할 수 있도록 주요 벤치마크 데이터셋에 대하여 간략하게 소개하였다. 퓨삿학습은 이미지 분석과 자연어 처리 등 다양한 분야에서 활용되고 있으나, 본 논문은 이미지 처리를 위한 퓨삿학습의 접근법에 집중하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.622-626
• /
• 2023

중첩 개체명 인식(Nested Named Entity Recognition)은 하나의 개체명 표현 안에 다른 개체명 표현이 들어 있는 중첩 구조의 개체명을 인식하는 작업으로, 중첩 개체명 인식을 위한 학습데이터 구축 작업은 일반 개체명 인식 학습데이터 구축보다 어렵다는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Few-shot Learning 환경에 강건한 중첩 개체명 인식 모델을 제안한다. 이를 위해, 기존의 Biaffine 중첩 개체명 인식 모델의 출력 레이어를 라벨 의미 정보를 활용하도록 변경하여 학습데이터가 적은 환경에서 중첩 개체명 인식의 성능을 향상시키도록 하였다. 실험 결과 GENIA 중첩 개체명 인식 데이터의 5-shot, 10-shot, 20-shot 환경에서 기존의 Biaffine 모델보다 평균 10%p이상의 높은 F1-measure 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.47-52
• /
• 2022

환자와 주변인들에게 다양한 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 치매와 조현병 진단을 위해 프로토콜에 따라 녹음한 의사와 내담자 음성 시료를 전사 작업하여 분류 태스크를 수행하였다. 사전 학습한 언어 모델의 MLM Head를 이용해 분류 태스크를 수행하는 Prompt 기반의 분류 모델을 제안하였다. 또한 많은 수의 데이터 수를 확보하기 어려운 의료 분야에 효율적인 Few-Shot 학습 방식을 이용하였다. CLS 토큰을 미세조정하는 일반적 학습 방식의 Baseline과 비교해 Full-Shot 실험에서 7개 태스크 중 1개 태스크에서 macro, micro-F1 점수 모두 향상되었고, 3개 태스크에서 하나의 F1 점수만 향샹된 것을 확인 하였다. 반면, Few-Shot 실험에서는 7개 태스크 중 2개 태스크에서 macro, micro-F1 점수가 모두 향상되었고, 2개 태스크에서 하나의 F1 점수만 향상되었다.

• Wind and Structures
• /
• 제36권6호
• /
• pp.367-377
• /
• 2023

This study proposes a few-shot learning model for extrapolating the wind pressure of scaled experiments to full-scale measurements. The proposed ML model can use scaled experimental data and a few full-scale tests to accurately predict the remaining full-scale data points (for new specimens). This model focuses on extrapolating the prediction to different scales while existing approaches are not capable of accurately extrapolating from scaled data to full-scale data in the wind engineering domain. Also, the scaling issue observed in wind tunnel tests can be partially resolved via the proposed approach. The proposed model obtained a low mean-squared error and a high coefficient of determination for the mean and standard deviation wind pressure coefficients of the full-scale dataset. A parametric study is carried out to investigate the influence of the number of selected shots. This technique is the first of its kind as it is the first time an ML model has been used in the wind engineering field to deal with extrapolation in wind performance prediction. With the advantages of the few-shot learning model, physical wind tunnel experiments can be reduced to a great extent. The few-shot learning model yields a robust, efficient, and accurate alternative to extrapolating the prediction performance of structures from various model scales to full-scale.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.681-682
• /
• 2021

본 논문에서는 소규모 데이터 셋의 이미지 분류 작업에서 모델 과적 합 및 비 수렴을 해결하고 분류의 정확도를 높이는 데 주로 사용되는 few-shot 학습을 기반으로 한 새로운 이미지 분류 방법을 제안합니다.

• International journal of advanced smart convergence
• /
• 제8권4호
• /
• pp.75-81
• /
• 2019

Though recent advancement of deep learning methods have provided satisfactory results from large data domain, somehow yield poor performance on few-shot classification tasks. In order to train a model with strong performance, i.e. deep convolutional neural network, it depends heavily on huge dataset and the labeled classes of the dataset can be extremely humongous. The cost of human annotation and scarcity of the data among the classes have drastically limited the capability of current image classification model. On the contrary, humans are excellent in terms of learning or recognizing new unseen classes with merely small set of labeled examples. Few-shot learning aims to train a classification model with limited labeled samples to recognize new classes that have neverseen during training process. In this paper, we increase the backbone depth of the embedding network in orderto learn the variation between the intra-class. By increasing the network depth of the embedding module, we are able to achieve competitive performance due to the minimized intra-class variation.

• 한국멀티미디어학회논문지
• /
• 제25권5호
• /
• pp.685-694
• /
• 2022

The goal of few-shot semantic segmentation is to build a network that quickly adapts to novel classes with extreme data shortage regimes. Most existing few-shot segmentation methods leverage single or multiple prototypes from extracted support features. Although there have been promising results for natural images, these methods are not directly applicable to the aerial image domain. A key factor in few-shot segmentation on aerial images is to effectively exploit information that is robust against extreme changes in background and object scales. In this paper, we propose a Mask-Guided Attention module to extract more comprehensive support features for few-shot segmentation in aerial images. Taking advantage of the support ground-truth masks, the area correlated to the foreground object is highlighted and enables the support encoder to extract comprehensive support features with contextual information. To facilitate reproducible studies of the task of few-shot semantic segmentation in aerial images, we further present the few-shot segmentation benchmark iSAID-, which is constructed from a large-scale iSAID dataset. Extensive experimental results including comparisons with the state-of-the-art methods and ablation studies demonstrate the effectiveness of the proposed method.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.617-620
• /
• 2018

딥러닝 기술에 있어서 대량의 학습 데이터가 필요하다는 한계점을 극복하기 위한 시도로서, 적은 데이터 만으로도 좋은 성능을 낼 수 있는 few-shot 학습 모델이 꾸준히 발전하고 있다. 하지만 few-shot 학습 모델의 가장 큰 단점인 적은 데이터로 인한 과적합 문제는 여전히 어려운 숙제로 남아있다. 본 논문에서는 모델 압축에 사용되는 distillation 기법을 사용하여 few-shot 학습 모델의 학습 문제를 개선하고자 한다. 이를 위해 대표적인 few-shot 모델인 Siamese Networks, Prototypical Networks, Matching Networks에 각각 distillation을 적용하였다. 본 논문의 실험결과로써 단순히 결과값에 대한 참/거짓 뿐만 아니라, 참/거짓에 대한 신뢰도까지 같이 학습함으로써 few-shot 모델의 학습 문제 개선에 도움이 된다는 것을 실험적으로 증명하였다.