• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.333-335
• /
• 1999

일반적으로 자기구성 지도에서는 구조가 초기에 결정되어 학습이 끝날때까지 변하기 않기 때문에 각 문제에 대한 구조를 반복된 실험을 통해서 최적화시켜야 한다. 그러나, 지도의 구조가 학습중에 적절하게 변경된다면, 해당 문제에 가장 알맞은 구조의 지도를 생성할 수 있을 것이다. 이 논문에서는 기존의 적응형 자기 구성 지도의 비교사 학습방법에 LVQ 알고리즘을 이용한 교사 학습방법을 결합한 구조 적응형 자기 구성 지도 모델을 제안한다. 이 방법은 일반적인 자기구성 지도 알고리즘보다 작은 수의 노드를 가지고 높은 성능을 보일 뿐만 아니라, 자기 구성 지도의 특성인 위상 보존도 잘 이루어진다. 오프라인 필기 숫자 데이터로 실험한 결과, 제안한 방법이 유용함을 알 수 있었다.

• The Korean Journal of Applied Statistics
• /
• v.15 no.2
• /
• pp.251-267
• /
• 2002

Self Organizing Maps(SOM) by Kohonen is very fast algorithm in neural networks. But it doesn't show sure rules of training results. In this paper, we introduce to Bayesian Learning for Self Organizing Maps(BLSOM) which combines self organizing maps with Bayesian learning. So it supports explanatory power of models and improves prediction. BLSOM has global optima anywhere but SOM has not. This is proved by experiment in this paper.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.89-93
• /
• 2000

구조 적응형 자기구성 지도는 일반적으로 자기구성 지도의 구조가 초기에 결정되어 학습이 끝날 때까지 변하지 않기 때문에 발생하는 문제를 해결하기 위해 지도의 구조를 학습 중에 적절하게 변경시킨다. 이때, 변화된 구조의 가중치를 어떻게 초기화시킬 것인가 하는 것이 중요한 문제이다. 이 논문에서는 기존의 비교사 학습방법에 LVQ 알고리즘을 이용한 교사 학습방법을 결합한 구조 적응형 자기구성 지도 모델에서 유전자 알고리즘을 이용하여 분화된 노드의 가중치를 결정하는 방법을 제안한다. 이 방법은 기존의 구조 적응형 자기구성 지도 알고리즘보다 빠르게 학습되었고, 인식률 면에서도 기존의 방법보다 높은 값을 나타내었으며, 자기구성 지도의 특성인 위상 보존도 잘 이루어졌다. 오프라인 필기 숫자 데이터로 실험한 결과, 제안한 방법이 유용함을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.32-36
• /
• 2020

문장의 의미를 잘 임베딩하는 문장 인코더를 만들기 위해 비지도 학습과 지도 학습 기반의 여러 방법이 연구되고 있다. 지도 학습 방식은 충분한 양의 정답을 구축하는데 어려움이 있다는 한계가 있다. 반면 지금까지의 비지도 학습은 단일 형식의 말뭉치에 한정해서 입력된 현재 문장의 다음 문장을 생성 또는 예측하는 형식으로 문제를 정의하였다. 본 논문에서는 위키피디아, 뉴스, 지식 백과 등 문서 형태의 말뭉치에 더해 지식인이나 검색 클릭 로그와 같은 구성이 다양한 이종의 대량 말뭉치를 활용하는 자기 지도 학습 방법을 제안한다. 각 형태의 말뭉치에 적합한 자기 지도 학습 문제를 설계하고 학습한 경우 KorSTS 데이셋의 비지도 모델 성능 평가에서 기준 모델 대비 7점 가량의 성능 향상이 있었다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.262-267
• /
• 2022

이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.798-800
• /
• 2024

현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.

• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.27-40
• /
• 2022

Medical AI, which has lately made significant advances, is playing a vital role, such as assisting clinicians with diagnosis and decision-making. The field of chest X-rays, in particular, is attracting a lot of attention since it is important for accessibility and identification of chest diseases, as well as the current COVID-19 pandemic. However, despite the vast amount of data, there remains a limit to developing an effective AI model due to a lack of labeled data. A research that used federated learning on chest X-ray data to lessen this difficulty has emerged, although it still has the following limitations. 1) It does not consider the problems that may occur in the Non-IID environment. 2) Even in the federated learning environment, there is still a shortage of labeled data of clients. We propose a method to solve the above problems by using the self-supervised learning model as a global model of federated learning. To that aim, we investigate a self-supervised learning methods suited for federated learning using chest X-ray data and demonstrate the benefits of adopting the self-supervised learning model for federated learning.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.724-726
• /
• 2020

본 논문에서는 GAN 과 자기 지도 학습(self-supervised learning)을 통해 입력 얼굴 영상의 공간 해상도를 4 배 증가시키는 기법을 제안한다. 제안하는 기법은 변형된 StarGAN v2 구조의 생성자와 구분자를 사용하여 저해상도의 입력 영상만을 가지고 학습 과정을 거쳐 고해상도 영상을 복원하도록 자기 지도 학습을 수행한다. 제안하는 기법은 복원된 영상과 고해상도 영상 간의 손실을 줄이는 지도 학습이 가지고 있는 단점을 극복하고 입력 영상만을 가지고 영상 내부에 존재하는 특징을 학습하여 얼굴 영상에 대한 고해상도 영상을 복원한다. 제안하는 기법과 Bicubic 보간법과의 비교를 통해 우수성을 검증한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.11 no.3
• /
• pp.223-230
• /
• 2001

Since self-organizing map (SOM) preserves the topology of ordering in input spaces and trains itself by unsupervised algorithm, it is Llsed in many areas. However, SOM has a shortcoming: structure cannot be easily detcrmined without many trials-and-errors. Structure-adaptive self-orgnizing map (SASOM) which can adapt its structure as well as its weights overcome the shortcoming of self-organizing map: SASOM makes use of structure adaptation capability to place the nodes of prototype vectors into the pattern space accurately so as to make the decision boundmies as close to the class boundaries as possible. In this scheme, the initialization of weights of newly adapted nodes is important. This paper proposes a method which optimizes SASOM with genetic algorithm (GA) to determines the weight vector of newly split node. The leanling algorithm is a hybrid of unsupervised learning method and supervised learning method using LVQ algorithm. This proposed method not only shows higher performance than SASOM in terms of recognition rate and variation, but also preserves the topological order of input patterns well. Experiments with 2D pattern space data and handwritten digit database show that the proposed method is promising.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.67-70
• /
• 2022

NLP 분야에서 적극 활용되기 시작한 Transformer 모델을 Vision 분야에서 적용하기 시작하면서 object detection과 segmentation 등 각종 분야에서 기존 CNN 기반 모델의 정체된 성능을 극복하며 향상되고 있다. 또한, label 데이터 없이 이미지들로만 자기지도학습을 한 ViT(Vision Transformer) 모델을 통해 이미지에 포함된 여러 중요한 객체의 영역을 검출하는 saliency map을 추출할 수 있게 되었으며, 이로 인해 ViT의 자기지도학습을 통한 object detection과 semantic segmentation 연구가 활발히 진행되고 있다. 본 논문에서는 ViT 모델 뒤에 classifier를 붙인 모델에 일반 학습한 모델과 자기지도학습의 pretrained weight을 사용해서 전이학습한 모델의 시각화를 통해 각 saliency map들을 비교 분석하였다. 이를 통해, 클래스 분류 학습 기반 전이학습이 transformer의 saliency map에 미치는 영향을 확인할 수 있었다.