• Journal of Information Processing Systems
• /
• 제17권3호
• /
• pp.453-461
• /
• 2021

Many deep learning approaches have been studied for image classification in computer vision. However, there are not enough data to generate accurate models in medical fields, and many datasets are not annotated. This study presents a new method that can use both unlabeled and labeled data. The proposed method is applied to classify cervix images into normal versus cancerous, and we demonstrate the results. First, we use a patch self-supervised learning for training the global context of the image using an unlabeled image dataset. Second, we generate a classifier model by using the transferred knowledge from self-supervised learning. We also apply attention learning to capture the local features of the image. The combined method provides better performance than state-of-the-art approaches in accuracy and sensitivity.

• 한국인터넷방송통신학회논문지
• /
• 제19권3호
• /
• pp.127-133
• /
• 2019

소프트웨어 결함 예측 연구들의 대부분은 라벨 데이터를 훈련 데이터로 사용하는 감독형 모델에 관한 연구들이다. 감독형 모델은 높은 예측 성능을 지니지만 대부분 개발 집단들은 충분한 라벨 데이터를 보유하고 있지 않다. 언라벨 데이터만 훈련에 사용하는 비감독형 모델은 모델 구축이 어렵고 성능이 떨어진다. 훈련 데이터로 라벨 데이터와 언라벨 데이터를 모두 사용하는 세미 감독형 모델은 이들의 문제점을 해결한다. Self-training은 세미 감독형 기법들 중 여러 가정과 제약조건들이 가장 적은 기법이다. 본 논문은 Self-training 알고리즘들을 이용해 여러 모델들을 구현하였으며, Accuracy와 AUC를 이용하여 그들을 평가한 결과 YATSI 모델이 가장 좋은 성능을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.38-40
• /
• 2021

의료 데이터 분야는 레코드 수는 많지만 응답값이 없기 때문에 인공지능을 적극적으로 활용하지 못하고 있다. 이러한 문제점을 해결하기 위해 자기지도학습(Self-Supervised learning)을 의료 분야에 적용하는 연구가 등장하고 있다. 자기지도학습은 model이 레이블링이 없는 데이터의 semantic 표현을 이해할 수 있도록 pretext task와 supervision을 학습한다. 그러나, 자기지도학습의 성능은 pretext task로 학습한 표현에 의존하므로 데이터의 특성에 적합한 pretext task를 정의할 필요가 있다. 따라서 본 논문에서는 의학 데이터 중 활용도가 높은 x-ray 이미지에 적용할 수 있는 pretext task를 실험적으로 탐색하고 그 결과를 분석한다.

• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.285-292
• /
• 2023

With the wide spread of smart farms and the advancements in IoT technology, it is easy to obtain additional data in addition to crop images. Consequently, deep learning-based crop disease diagnosis research utilizing multimodal data has become important. This study proposes a crop disease diagnosis method using multimodal supervised contrastive learning by expanding upon the multimodal self-supervised learning. RandAugment method was used to augment crop image and time series of environment data. These augmented data passed through encoder and projection head for each modality, yielding low-dimensional features. Subsequently, the proposed multimodal supervised contrastive loss helped features from the same class get closer while pushing apart those from different classes. Following this, the pretrained model was fine-tuned for crop disease diagnosis. The visualization of t-SNE result and comparative assessments of crop disease diagnosis performance substantiate that the proposed method has superior performance than multimodal self-supervised learning.

• 지능정보연구
• /
• 제28권4호
• /
• pp.27-40
• /
• 2022

최근 많은 발전을 이룬 의료 인공지능은 의사가 진단과 결정을 내리는 데 도움을 주는 등 중요한 역할을 수행하고 있다. 특히, 흉부 엑스레이 분야는 접근성 및 흉부질환 탐지에 유용함과 최근 COVID-19 상황이 도래함에 따라 많은 관심을 받고 있다. 그러나, 데이터의 수가 많음에도 레이블이 있는 데이터의 수가 부족하므로 효과적인 인공지능 모델을 만드는데 한계가 있다. 이러한 문제를 완화하는 방안으로 연합학습을 흉부 엑스레이 데이터에 적용한 연구가 등장했지만, 여전히 다음과 같은 문제를 내포하고 있다. 1) Non-IID 환경에서 발생할 수 있는 문제를 고려하지 않았다. 2) 연합학습 환경에서도 여전히 클라이언트의 레이블이 있는 데이터가 부족하다. 우리는 자기지도학습 모델을 연합학습의 Global 모델로 사용함으로써 위와 같은 문제를 해결하는 방법을 제안한다. 이를 위해 흉부 엑스레이 데이터를 사용한 연합학습에 알맞은 자기지도학습 방법론을 실험적으로 탐색하며, 자기지도학습 모델을 연합학습에 사용함으로써 얻을 수 있는 장점을 검증한다.

• 한국컴퓨터정보학회논문지
• /
• 제27권9호
• /
• pp.41-47
• /
• 2022

본 논문에서는 자동표정인식을 위하여 얼굴 이미지 배열의 가운데 이미지를 예측하는 새롭고 간단한 자기주도학습 방법을 제안한다. 자동표정인식은 딥러닝 모델을 통해 높은 성능을 달성할 수 있으나 일반적으로 큰 비용과 시간이 투자된 대용량의 데이터 세트가 필요하고, 데이터 세트의 크기와 알고리즘의 성능이 비례한다. 제안하는 방법은 추가적인 데이터 세트 구축 없이 기존의 데이터 세트를 활용하여 자기주도학습을 통해 얼굴의 잠재적인 심층표현방법을 학습하고 학습된 파라미터를 전이시켜 자동표정인식의 성능을 향상한다. 제안한 방법은 CK+와 AFEW 8.0 두가지 데이터 세트에 대하여 높은 성능 향상을 보여주었고, 간단한 방법으로 큰 효과를 얻을 수 있음을 보여주었다.

• 정보학연구
• /
• 제5권2호
• /
• pp.17-26
• /
• 2002

본 연구에서는 자기조직화 교사학습 신경망인 SOSL(Self-Organized Superised Learning)과 이 신경망의 구조를 제안한다. SOSL신경망은 하이브리드 형태의 신경망으로써 다수 개의 컴포넌트 에러 역전파 신경망들과 수정된 PCA신경망으로 구성된다. CBP신경망은 군집화되고 복잡한 입력패턴에 대하여 교사학습을 병렬적으로 수행한다. 수정된 PCA신경망은 군집화 및 지역투영에 의하여 원 입력패턴을 보다 작은 차원으로 변환시키기 위하여 사용된다. 제안된 SOSL은 많은 입력패턴을 가짐으로써 큰 네트워크 크기를 가지게 되는 신경망에 효과적으로 적용이 가능하다.

• 한국통신학회논문지
• /
• 제30권2C호
• /
• pp.31-40
• /
• 2005

오류 역전파 알고리즘의 문제점과 ART 신경회로망의 문제점을 개선하기 위해 Jacobs가 제안한 delta-bar-delta 방법과 신경회로망을 결합한 자가 생성 지도 학습 알고리듬을 제안한다. 입력층과 은닉층에서는 ART-1과 ART-2 알고리듬을 이용하고, winner-take-all 방식은 완전 연결 구조이나 연결된 가중치만을 조정하도록 채택하였다. 실험을 위해 학생증, 주민등록증, 컨테이너의 영상으로 추출한 패턴을 신경회로망의 은닉층 노드에 대해 실험하였고, 실험결과 제안된 자기 생성 지도 학습알고리듬이 지역최소화, 학습 속도, 정체 현상이 기존의 방법보다 성능이 개선된 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제6권7호
• /
• pp.1312-1320
• /
• 2003

본 논문에서는 하나의 은닉층을 가지는 다층 구조 신경망이 고려되었다. 다층 구조 신경망에서 널리 사용되는 오루 역전파 학습 방법은 초기 가중치와 불충분한 은닉층 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 퍼지 단층 퍼셉트론에 ART1을 결합한 방법으로, 은닉층의 노드를 자가 생성(self-generation)하는 퍼지 지도 학습 알고리즘을 제안한다. 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART1을 수정하여 사용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 학생증 영상을 대상으로 실험한 결과. 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상이 개선되었다.

• 문화기술의 융합
• /
• 제8권1호
• /
• pp.545-550
• /
• 2022

딥러닝은 많은 데이터를 필요로 한다는 것은 이미 널리 알려져있다. 이를 통해, 딥러닝에 쓰이는 신경망의 수없이 많은 parameter들을 학습시킨다. 학습과정에는 데이터뿐 아니라, 각 데이터별로 전문가가 입력한 label이 필요한 경우가 대부분인데, 이 label을 얻는 과정은 시간과 자원 소비가 심하다. 이 문제를 완화하기 위해, few-shot learning, self-supervised learning, weak-supervised learning등이 연구되어오고 있다. 본 논문에서는, label을 상대적으로 적은 노력으로 수행하기 위한 연구들의 동향을 살펴보고, 앞으로의 개선 방향을 제시하도록 한다.