• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.135-140
• /
• 2020

사전 학습된 Transformer 기반 언어 모델은 자연어처리 시스템에 적용되었을 시 광범위한 사례에서 큰 폭의 성능 향상을 보여준다. 여기서 사전 학습에 사용되는 언어 모델링 태스크는 비지도 학습에 속하는 기술이기 때문에 상대적으로 데이터의 확보가 쉬운 편이다. 하지만 몇 종의 주류 언어를 제외한 대부분 언어는 활용할 수 있는 언어 자원 자체가 희소하며, 따라서 이러한 사전 학습 기술의 혜택도 누리기 어렵다. 본 연구에서는 이와 같은 상황에서 발생할 수 있는 자원 희소성 문제를 극복하기 위해 이종 언어 간 전이 학습을 이용하는 방법을 제안한다. 본 방법은 언어 자원이 풍부한 언어에서 학습된 Transformer 기반 언어 모델에서 얻은 파라미터 중 재활용 가능한 부분을 이용하여 목표 언어의 모델을 초기화한 후 학습을 진행한다. 또한, 기존 언어와 목표 언어의 차이를 학습하는 역할을 하는 적응층들을 추가하여 이종 언어 간 전이 학습을 돕는다. 제안된 방법을 언어 자원이 희귀한 상황에 대하여 실험해본 결과, 전이 학습을 사용하지 않은 기준 모델 대비 perplexity와 단어 예측의 정확도가 큰 폭으로 향상됨을 확인하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.7-10
• /
• 2021

에스컬레이터의 고장 여부를 사전에 파악하는 것은 경제적 손실뿐만 아니라 인명 피해를 예방할 수 있어서 매우 중요하다. 실제 이러한 고장 예측을 위한 많은 딥러닝 알고리즘이 연구되고 있지만, 설비의 이상 데이터 확보가 어려워 모델 학습이 어렵다는 문제점이 있다. 본 연구에서는 이러한 문제의 해결 방안으로 비지도 학습 기반의 방법론 중 하나인 LSTM Autoencoder 알고리즘을 사용해 에스컬레이터의 이상을 탐지하는 모델을 생성했고, 최종 실험 결과 모델 성능 AUROC가 0.9966, 테스트 Accuracy가 0.97이라는 높은 정확도를 기록했다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.306-308
• /
• 2012

핸드폰 사용이 보편화되고 핸드폰의 문자 사용량이 늘어감에 따라 대량의 핸드폰 문자 메시지를 구축하는 건이 가능해졌다. 이러한 문자 데이터를 처리에 기반이 되는 대화 구분 방법을 제안하였다. 이 방법론은 기존 문서분류 방식을 적용하는데 발생하는 문제를 피하기 위해 시간정보를 사용하는 비지도학습 방법론이다. 해당 방법을 실제 핸드폰 메시지 데이터에 적용한 결과 정확율과 재현율에서 0.9를 넘는 높은 성능을 보였다.

• Journal of the Korea Computer Graphics Society
• /
• v.27 no.5
• /
• pp.45-54
• /
• 2021

Recently, deep learning-based denoising approaches have been actively studied. In particular, with the advances of blind denoising techniques, it become possible to train a deep learning-based denoising model only with noisy images in an image domain where it is impossible to obtain a clean image. We no longer require pairs of a clean image and a noisy image to obtain a restored clean image from the observation. However, it is difficult to recover the target using a deep learning-based denoising model trained by only noisy images if the distribution of the noisy image is far from the distribution of the clean image. To address this limitation, unpaired image denoising approaches have recently been studied that can learn the denoising model from unpaired data of the noisy image and the clean image. ISCL showed comparable performance close to that of supervised learning-based models based on pairs of clean and noisy images. In this study, we propose suitable normalization techniques for each purpose of architectures (e.g., generator, discriminator, and extractor) of ISCL. We demonstrate that the proposed method outperforms state-of-the-art unpaired image denoising approaches including ISCL.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.107-112
• /
• 2023

라벨 데이터 수집의 어려움에 따라 라벨이 없는 데이터로 학습하는 준지도학습, 비지도학습에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 그의 일환으로 Novel Intent Category Discovery(NICD) 문제를 제안하고 NICD 연구의 베이스라인이 될 모델을 소개한다. NICD 문제는 라벨이 있는 데이터와 라벨이 없는 데이터의 클래스 셋이 겹치지 않는다는 점에서 기존 준지도학습의 문제들과 차이가 있다. 제안 모델은 RoBERTa를 기반으로 두 개의 분류기를 추가하여 구성되며 라벨이 있는 데이터셋과 라벨이 없는 데이터셋에서 각각 다른 분류기를 사용하여 라벨을 예측한다. 학습방법은 2단계로 먼저 라벨이 있는 데이터셋으로 요인표현을 학습한다. 두 번째 단계에서는 교차 엔트로피, 이항교차 엔트로피, 평균제곱오차, 지도 대조 손실함수를 NICD 문제에 맞게 변형하여 학습에 사용한다. 논문에서 제안된 모델은 라벨이 없는 데이터셋에 대해 이미지 최고성능 모델보다 24.74 더 높은 정확도를 기록했다.

• Journal of Digital Contents Society
• /
• v.19 no.3
• /
• pp.435-443
• /
• 2018

Recently, with the explosive development of computing power, various methods such as RNN and CNN have been proposed under the name of Deep Learning, which solve many problems of Computer Vision have. The Generative Adversarial Network, released in 2014, showed that the problem of computer vision can be sufficiently solved in unsupervised learning, and the generation domain can also be studied using learned generators. GAN is being developed in various forms in combination with various models. Machine learning has difficulty in collecting data. If it is too large, it is difficult to refine the effective data set by removing the noise. If it is too small, the small difference becomes too big noise, and learning is not easy. In this paper, we apply a deep CNN model for extracting facial region in image frame to GAN model as a preprocessing filter, and propose a method to produce composite images of various facial expressions by stably learning with limited collection data of two persons.

• The Korean Journal of Applied Statistics
• /
• v.37 no.2
• /
• pp.191-207
• /
• 2024

Many studies have been conducted to quickly detect out-of-control situations in autocorrelated processes. The most traditionally used method is a residual control chart, which uses residuals calculated from a fitted time series model. However, many procedures for monitoring autocorrelated processes using statistical learning methods have recently been proposed. In this paper, we propose a monitoring procedure using the latent vector of LSTM Autoencoder, a deep learning-based unsupervised learning method. We compare the performance of this procedure with the LSTM Autoencoder procedure based on the reconstruction error, the RNN classification procedure, and the residual charting procedure through simulation studies. Simulation results show that the performance of the proposed procedure and the RNN classification procedure are similar, but the proposed procedure has the advantage of being useful in processes where sufficient out-of-control data cannot be obtained, because it does not require out-of-control data for training.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.416-419
• /
• 2008

모바일 상의 단문메시지 서비스는 등장한 이례 꾸준히 사용량이 증가하는 추세이며, 현재 세계적으로 가장 많이 사용되는 모바일 서비스이다. 모바일 기기에서 단문 메시지 작성의 불편함을 개선하기 위한 기술로 하드웨어적인 입력 방법 개선과 소프트웨어적인 입력보조 기능이 꾸준히 개발되었다. 소프트웨어적인 방법은 범용성이 넓고 적용이 쉽다는 장점이 있지만 제한된 자원에서 구현상의 어려움이 있어 연구가 미비한 분야이다. 본 논문은 소프트웨어적으로 단문 메시지의 작성을 보조하는 방법을 제시한다. 일상 생활의 반복성에 초점을 맞추어 반복 작성될 메시지에 대해 기존의 메시지를 제시해 자동적으로 응답하도록 하는 방법을 제안한다. 자동적으로 응답 메시지를 선택하기 위한 비교사 학습과 추론 기술로 "메시지 네트워크"를 제안하고, 실험을 통해 고안한 방법의 가능성을 보였다. 실험 결과로부터 반복적인 메시지의 작성에 제시한 방법이 유용함을 알 수 있었다.

• The Transactions of the Korea Information Processing Society
• /
• v.13 no.3
• /
• pp.130-139
• /
• 2024

Artificial intelligence models are being used to detect facility anomalies using physics data such as vibration, current, and temperature for predictive maintenance in the manufacturing industry. Since the types of facility anomalies, such as facility defects and failures, anomaly detection methods using autoencoder-based unsupervised learning models have been mainly applied. Normal or abnormal facility conditions can be effectively classified using the reconstruction error of the autoencoder, but there is a limit to identifying facility anomalies specifically. When facility anomalies such as unbalance, misalignment, and looseness occur, the facility vibration frequency shows a pattern different from the normal state in a specific frequency range. This paper presents an N-segmentation anomaly detection method that performs anomaly detection by dividing the entire vibration frequency range into N regions. Experiments on nine kinds of anomaly data with different frequencies and amplitudes using vibration data from a compressor showed better performance when N-segmentation was applied. The proposed method helps materialize them after detecting facility anomalies.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.232-237
• /
• 2022

본 논문에서는 미세 조정(fine-tuning) 및 비지도 학습 기법을 사용하여 경제 분야 텍스트인 금융 리포트에 대해 속성 기반 감성 분석(aspect-based sentiment analysis) 데이터셋을 반자동적으로 구축할 수 있는 방법론에 대한 연구를 수행하였다. 구축 시에는 속성기반 감성분석 주석 요소 중 극성, 속성 카테고리 정보를 부착하였으며, 미세조정과 비지도 학습 기법인 BERTopic을 통해 주석 요소를 자동적으로 부착하는 한편 이를 수동으로 검수하여 데이터셋의 완성도를 높이고자 하였다. 데이터셋에 대한 실험 결과, 극성 반자동 주석의 경우 기존에 구축된 데이터셋과 비슷한 수준의 성능을 보였다. 한편 정성적 분석을 통해 자동 구축을 동일하게 수행하였더라도 기술의 원리와 발달 정도에 따라 결과가 상이하게 달라짐을 관찰함으로써 경제 도메인의 ABSA 데이터셋 구축에 여전히 발전 여지가 있음을 확인할 수 있었다.