• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.285-292
• /
• 2023

With the wide spread of smart farms and the advancements in IoT technology, it is easy to obtain additional data in addition to crop images. Consequently, deep learning-based crop disease diagnosis research utilizing multimodal data has become important. This study proposes a crop disease diagnosis method using multimodal supervised contrastive learning by expanding upon the multimodal self-supervised learning. RandAugment method was used to augment crop image and time series of environment data. These augmented data passed through encoder and projection head for each modality, yielding low-dimensional features. Subsequently, the proposed multimodal supervised contrastive loss helped features from the same class get closer while pushing apart those from different classes. Following this, the pretrained model was fine-tuned for crop disease diagnosis. The visualization of t-SNE result and comparative assessments of crop disease diagnosis performance substantiate that the proposed method has superior performance than multimodal self-supervised learning.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.897-905
• /
• 2022

비디오 영상 내 주요 프레임(Key Frame) 검출은 컴퓨터 비전 분야에서 꾸준히 연구되고 있는 분야 중 하나이다. 최근 심층학습(Deep Learning) 기술의 발전으로 비디오 영상에서의 주요 프레임 검출 성능이 향상 되었으나, 다양한 종류의 영상 콘텐츠 및 복잡한 배경으로 인해 여전히 효과적인 학습이 어려운 문제점이 있다. 본 논문에서는 대조적 학습(Contrastive Learning)과 메모리 뱅크(Memory Bank)를 통해 영상의 주요 프레임을 검출하는 새로운 방법을 제안한다. 제안하는 방법은 입력 프레임과 같은 영상 내 이웃하는 프레임 간 차이와 다른 영상 내 프레임과의 차이를 기반으로 특징 추출 신경망을 학습한다. 이와 같은 대조적 학습을 통해 메모리 뱅크에 주요 프레임을 저장 및 갱신하여 영상의 중복성을 효과적으로 제거한다. 비디오 영상 데이터셋에서의 실험 결과를 통해 제안하는 방법의 성능을 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.171-174
• /
• 2022

Weakly-supervised learning is a widely adopted approach in video anomaly detection whereby only video labels are utilized instead of expensive frame-level annotations. Since the success of multi-instance learning (MIL), almost all recent approaches are based on maximizing the margin between the set of abnormal video snippets and those of normal video snippets. In this work, we present a simple contrastive approach for weakly supervised video anomaly detection (WS-VAD) with aims to enhance the performance of existing models. The method is generic in nature and introduces a loss function to encourage attraction of output features from the same video class and repel those from different video classes. Experimental results demonstrate our method can be applied to existing algorithms to improve detection accuracy in public video anomaly dataset.

• 한국ITS학회 논문지
• /
• 제23권1호
• /
• pp.182-196
• /
• 2024

자동차 보급과 교통 시설 발달로 인한 문제에 대응하여, ADAS와 같은 운전 보조 기술이 주목받고 있다. 최근에는 스마트폰 내장 센서를 사용한 운전패턴 분석 방법론이 개발되었다. 이 연구에서는 레이블 없이 대조학습을 통해 운전패턴의 특징을 학습하고 변화점을 감지하는 새로운 방법을 제안한다. 이 방법은 운전패턴 분류에도 확장 가능하여, 매우 적은 레이블링 데이터만으로 높은 분류 성능을 달성할 수 있음은 물론 적용 차량이 달라지는 도메인 변화 문제에 민감하게 반응하지 않아 일반화된 성능을 달성할 수 있다는 장점을 가지고 있다. 또한 본 연구에서는 추후 스마트폰 적용성을 고려하여 6가지 대표적인 경량화 딥러닝 모델에 대해 제안하는 방법을 적용하고 비교분석하여 추후 스마트폰 기반의 시스템 개발에 활용할 수 있도록 하였다.

• Journal of information and communication convergence engineering
• /
• 제22권2호
• /
• pp.165-171
• /
• 2024

In this study, we present a novel approach for enhancing chest X-ray image classification (normal, Covid-19, edema, mass nodules, and pneumothorax) by combining contrastive learning and machine learning algorithms. A vast amount of unlabeled data was leveraged to learn representations so that data efficiency is improved as a means of addressing the limited availability of labeled data in X-ray images. Our approach involves training classification algorithms using the extracted features from a linear fine-tuned Momentum Contrast (MoCo) model. The MoCo architecture with a Resnet34, Resnet50, or Resnet101 backbone is trained to learn features from unlabeled data. Instead of only fine-tuning the linear classifier layer on the MoCopretrained model, we propose training nonlinear classifiers as substitutes for softmax in deep networks. The empirical results show that while the linear fine-tuned ImageNet-pretrained models achieved the highest accuracy of only 82.9% and the linear fine-tuned MoCo-pretrained models an increased highest accuracy of 84.8%, our proposed method offered a significant improvement and achieved the highest accuracy of 87.9%.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.618-620
• /
• 2023

최근 자연어처리 분야에서 의미론적 유사성을 반영하기 위한 대조 학습 (contrastive learning) 관련 연구가 활발히 이뤄지고 있다. 이러한 대조 학습의 핵심은 의미론적으로 가까워져야 하는 쌍과 멀어져야 하는 쌍을 잘 구축하는 것이지만, 기존의 손실 함수는 문장의 상대적인 유사성을 풍부하게 반영하는데 한계가 있다. 이를 해결하기 위해, 이전 연구에서는 삼중 항 손실 함수 (triplet loss)를 도입하였으며, 본 논문에서는 이러한 삼중 항을 구성하기 위해 대조 학습에서의 효과적인 토큰 컷오프(cutoff) 데이터 증강 기법을 제안한다. BERT, RoBERTa 등 널리 활용되는 언어 모델을 이용한 실험을 통해 제안하는 방법의 우수한 성능을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.656-657
• /
• 2024

현대 의료 진단 분야 중 하나인 수면다원 검사에서 수면 단계 분류는 평가에 많은 시간이 소요되고 평가자 간 일관성 문제가 대두되고 있다. 이러한 평가 문제를 해결하기 위하여 최근 급격하게 발전하고 있는 딥러닝 기술을 이용하여 자동화하려는 연구가 활발히 진행되고 있다. 본 논문에서는 오토 인코더 (autoencoder)와 대조 학습 (contrastive learning)을 통해 수면 시 측정된 생체 신호에서 보다 중요한 특징을 추출하는 방법을 제안하고 제안된 방법의 딥러닝 모델을 구성 및 평가한다.

• 말소리와 음성과학
• /
• 제2권2호
• /
• pp.3-16
• /
• 2010

This study aims at setting the hierarchy of difficulty of the 7 Korean monophthongs for Mongolian learners of Korean according to Prator's theory based on the Contrastive Analysis Hypothesis. In addition to that, it will be shown that the difficulties and errors for Mongolian learners of Korean as a second or foreign language proceed directly from this hierarchy of difficulty. This study began by looking at the speeches of 60 Mongolians for Mongolian monophthongs; data were investigated and analyzed into formant frequencies F1 and F2 of each vowel. Then, the 7 Korean monophthongs were compared with the resultant Mongolian formant values and are assigned to 3 levels, 'same', 'similar' or 'different sound'. The findings in assessing the differences of the 8 nearest equivalents of Korean and Mongolian vowels are as follows: First, Korean /a/ and /$\wedge$/ turned out as a 'same sound' with their counterparts, Mongolian /a/ and /ɔ/. Second, Korean /i/, /e/, /o/, /u/ turned out as a 'similar sound' with each their Mongolian counterparts /i/, /e/, /o/, /u/. Third, Korean /ɨ/ which is nearest to Mongolian /i/ in terms of phonetic features seriously differs from it and is thus assigned to 'different sound'. And lastly, Mongolian /$\mho$/ turned out as a 'different sound' with its nearest counterpart, Korean /u/. Based on these findings the hierarchy of difficulty was constructed. Firstly, 4 Korean monophthongs /a/, /$\wedge$/, /i/, /e/ would be Level 0(Transfer); they would be transferred positively from their Mongolian counterparts when Mongolians learn Korean. Secondly, Korean /o/, /u/ would be Level 5(Split); they would require the Mongolian learner to make a new distinction and cause interference in learning the Korean language because Mongolian /o/, /u/ each have 2 similar counterpart sounds; Korean /o, u/, /u, o/. Thirdly, Korean /ɨ/ which is not in the Mongolian vowel system will be Level 4(Overdifferentiation); the new vowel /ɨ/ which bears little similarity to Mongolian /i/, must be learned entirely anew and will cause much difficulty for Mongolian learners in speaking and writing Korean. And lastly, Mongolian /$\mho$/ will be Level 2(Underdifferentiation); it is absent in the Korean language and doesn‘t cause interference in learning Korean as long as Mongolian learners avoid using it.

• 방송과미디어
• /
• 제27권2호
• /
• pp.19-25
• /
• 2022

본 고에서는 최근 컴퓨터 비전 분야에서 가장 활발히 연구되고 있는 분야 중에 하나인 자가 학습(Self-supervised Learning) 기술의 동향과 향후 방향성에 대해서 논의한다. 컴퓨터 비전 분야에서의 자가 학습 기술은 최근에 Contrastive Learning 기법을 활용하여 활발하게 연구되고 있는데, 이를 위한 좋은 Positive와 Negative를 어떻게 추출할까에 대한 고민으로 수많은 연구들이 진행되어 왔다. 본 고에서는 이러한 방향성에서 대표적인 몇 가지의 방법론에 대해서 논의하고 이의 한계점을 언급하며 컴퓨터 비전 분야에서 자가 학습 기법이 가야 할 방향성에 대해서 논의하고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.245-248
• /
• 2022

최근 자연어 처리 분야에서 문맥적 의미를 반영하기 위한 대조학습 (contrastive learning) 에 대한 연구가 활발히 이뤄지고 있다. 이 때 대조학습을 위한 양질의 학습 (training) 데이터와 검증 (validation) 데이터를 이용하는 것이 중요하다. 그러나 한국어의 경우 대다수의 데이터셋이 영어로 된 데이터를 한국어로 기계 번역하여 검토 후 제공되는 데이터셋 밖에 존재하지 않는다. 이는 기계번역의 성능에 의존하는 단점을 갖고 있다. 본 논문에서는 한국어 리뷰 데이터로 임베딩의 의미 반영 정도를 측정할 수 있는 간단한 검증 데이터셋 구축 방법을 제안하고, 이를 활용한 데이터셋인 SimKoR (Similarity Korean Review dataset) 을 제안한다. 제안하는 검증 데이터셋을 이용해서 대조학습을 수행하고 효과성을 보인다.