• 한국멀티미디어학회논문지
• /
• 제25권10호
• /
• pp.1375-1385
• /
• 2022

In this paper, we propose a semi-supervised domain adaptation solution to deal with practical face recognition (FR) scenarios where a single face image for each target identity (to be recognized) is only available in the training phase. Main goal of the proposed method is to reduce the discrepancy between the target and the source domain face images, which ultimately improves FR performances. The proposed method is based on the Domain Adatation network (DAN) using an MMD loss function to reduce the discrepancy between domains. In order to train more effectively, we develop a novel loss function learning strategy in which MMD loss and cross-entropy loss functions are adopted by using different weights according to the progress of each epoch during the learning. The proposed weight adoptation focuses on the training of the source domain in the initial learning phase to learn facial feature information such as eyes, nose, and mouth. After the initial learning is completed, the resulting feature information is used to training a deep network using the target domain images. To evaluate the effectiveness of the proposed method, FR performances were evaluated with pretrained model trained only with CASIA-webface (source images) and fine-tuned model trained only with FERET's gallery (target images) under the same FR scenarios. The experimental results showed that the proposed semi-supervised domain adaptation can be improved by 24.78% compared to the pre-trained model and 28.42% compared to the fine-tuned model. In addition, the proposed method outperformed other state-of-the-arts domain adaptation approaches by 9.41%.

• 한국음향학회지
• /
• 제40권6호
• /
• pp.578-586
• /
• 2021

종단간 음성인식기의 성능향상을 위한 변분 오토인코더(Variational AutoEncoder, VAE) 및 비교사 데이터 증강(Unsupervised Data Augmentation, UDA) 기반의 준지도 학습 방법을 제안한다. 제안된 방법에서는 먼저 원래의 음성데이터를 이용하여 VAE 기반 증강모델과 베이스라인 종단간 음성인식기를 학습한다. 그 다음, 학습된 증강모델로부터 증강된 데이터를 이용하여 베이스라인 종단간 음성인식기를 다시 학습한다. 마지막으로, 학습된 증강모델 및 종단간 음성인식기를 비교사 데이터 증강 기반의 준지도 학습 방법으로 다시 학습한다. 컴퓨터 모의실험 결과, 증강모델은 기존의 종단간 음성인식기의 단어오류율(Word Error Rate, WER)을 개선하였으며, 비교사 데이터 증강학습방법과 결합함으로써 성능을 더욱 개선하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권5호
• /
• pp.325-334
• /
• 2008

자동 문서 범주화란 문서의 내용에 기반하여 미리 정의되어 있는 범주에 문서를 자동으로 할당하는 작업이다. 자동 문서 범주화에 관한 기존의 연구들은 지도 학습 기반으로서, 보통 수작업에 의해 범주가 할당된 대량의 학습 문서를 이용하여 범주화 작업을 학습한다. 그러나, 이러한 방법의 문제점은 대량의 학습 문서를 구축하기가 어렵다는 것이다. 즉, 학습 문서 생성을 위해 문서를 수집하는 것은 쉬우나, 수집된 문서에 범주를 할당하는 것은 매우 어렵고 시간이 많이 소요되는 작업이라는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해서, 준지도 학습 기반의 자동 문서 범주화 기법을 제안한다. 제안된 기법은 범주가 할당되지 않은 말뭉치와 각 범주의 핵심어만을 사용한다. 각 범주의 핵심어로부터 문맥간의 유사도 측정 기법을 이용한 부스트래핑(bootstrapping) 기법을 통하여 범주가 할당된 학습 문서를 자동으로 생성하고, 이를 이용하여 학습하고 문서 범주화 작업을 수행한다. 제안된 기법은 학습 문서 생성 작업과 대량의 학습 문서 없이 적은 비용으로 문서 범주화를 수행하고자 하는 영역에서 유용하게 사용될 수 있을 것이다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제11권4호
• /
• pp.31-36
• /
• 2019

Unsupervised neural networks have not caught enough attention until Generative Adversarial Network (GAN) was proposed. By using both the generator and discriminator networks, GAN can extract the main characteristic of the original dataset and produce new data with similarlatent statistics. However, researchers understand fully that training GAN is not easy because of its unstable condition. The discriminator usually performs too good when helping the generator to learn statistics of the training datasets. Thus, the generated data is not compelling. Various research have focused on how to improve the stability and classification accuracy of GAN. However, few studies delve into how to improve the training efficiency and to save training time. In this paper, we propose a novel optimizer, named FAST-ADAM, which integrates the Lookahead to ADAM optimizer to train the generator of a semi-supervised generative adversarial network (SSGAN). We experiment to assess the feasibility and performance of our optimizer using Canadian Institute For Advanced Research - 10 (CIFAR-10) benchmark dataset. From the experiment results, we show that FAST-ADAM can help the generator to reach convergence faster than the original ADAM while maintaining comparable training accuracy results.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권8호
• /
• pp.3962-3980
• /
• 2019

To deal with single sample face recognition, this paper presents a patch based semi-supervised linear regression (PSLR) algorithm, which draws facial variation information from unlabeled samples. Each facial image is divided into overlapped patches, and a regression model with mapping matrix will be constructed on each patch. Then, we adjust these matrices by mapping unlabeled patches to $[1,1,{\cdots},1]^T$. The solutions of all the mapping matrices are integrated into an overall objective function, which uses ${\ell}_{2,1}$-norm minimization constraints to improve discrimination ability of mapping matrices and reduce the impact of noise. After mapping matrices are computed, we adopt majority-voting strategy to classify the probe samples. To further learn the discrimination information between probe samples and obtain more robust mapping matrices, we also propose a multistage PSLR (MPSLR) algorithm, which iteratively updates the training dataset by adding those reliably labeled probe samples into it. The effectiveness of our approaches is evaluated using three public facial databases. Experimental results prove that our approaches are robust to illumination, expression and occlusion.

• Journal of Information Processing Systems
• /
• 제15권4호
• /
• pp.986-1016
• /
• 2019

Mobile user interface pattern (MUIP) is a kind of structured representation of interaction design knowledge. Several studies have suggested that MUIPs are a proven solution for recurring mobile interface design problems. To facilitate MUIP selection, an effective clustering method is required to discover hidden knowledge of pattern data set. In this paper, we employ the semi-supervised kernel fuzzy c-means clustering (SSKFCM) method to cluster MUIP data. In order to improve the performance of clustering, clustering parameters are optimized by utilizing the global optimization capability of particle swarm optimization (PSO) algorithm. Since the PSO algorithm is easily trapped in local optima, a novel PSO algorithm is presented in this paper. It combines an improved intuitionistic fuzzy entropy measure and a new population search strategy to enhance the population search capability and accelerate the convergence speed. Experimental results show the effectiveness and superiority of the proposed clustering method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권12호
• /
• pp.4776-4794
• /
• 2020

We propose a rapid adaptive learning framework for streaming object detection, called EER-ASSL. The method combines the expected error reduction (EER) dependent rollback learning and the active semi-supervised learning (ASSL) for a rapid adaptive CNN detector. Most CNN object detectors are built on the assumption of static data distribution. However, images are often noisy and biased, and the data distribution is imbalanced in a real world environment. The proposed method consists of collaborative sampling and EER-ASSL. The EER-ASSL utilizes the active learning (AL) and rollback based semi-supervised learning (SSL). The AL allows us to select more informative and representative samples measuring uncertainty and diversity. The SSL divides the selected streaming image samples into the bins and each bin repeatedly transfers the discriminative knowledge of the EER and CNN models to the next bin until convergence and incorporation with the EER rollback learning algorithm is achieved. The EER models provide a rapid short-term myopic adaptation and the CNN models an incremental long-term performance improvement. EER-ASSL can overcome noisy and biased labels in varying data distribution. Extensive experiments shows that EER-ASSL obtained 70.9 mAP compared to state-of-the-art technology such as Faster RCNN, SSD300, and YOLOv2.

• ETRI Journal
• /
• 제45권6호
• /
• pp.963-973
• /
• 2023

Non-orthogonal multiple access (NOMA) is considered a key candidate technology for next-generation wireless communication systems due to its high spectral efficiency and massive connectivity. Incorporating the concepts of multiple-input-multiple-output (MIMO) into NOMA can further improve the system efficiency, but the hardware complexity increases. This study develops an energy-efficient (EE) subchannel assignment framework for MIMO-NOMA systems under the quality-of-service and interference constraints. This framework handles an energy-efficient co-training-based semi-supervised learning (EE-CSL) algorithm, which utilizes a small portion of existing labeled data generated by numerical iterative algorithms for training. To improve the learning performance of the proposed EE-CSL, initial assignment is performed by a many-to-one matching (MOM) algorithm. The MOM algorithm helps achieve a low complex solution. Simulation results illustrate that a lower computational complexity of the EE-CSL algorithm helps significantly minimize the energy consumption in a network. Furthermore, the sum rate of NOMA outperforms conventional orthogonal multiple access.

• 인터넷정보학회논문지
• /
• 제24권6호
• /
• pp.91-98
• /
• 2023

오늘날 인공지능 산업이 발전함에 따라 여러 분야에 걸쳐 인공지능을 통한 자동화 및 최적화가 이루어지고 있다. 국내의 철도 분야 또한 지도 학습을 이용한 레일의 결함을 검출하는 연구들을 확인할 수 있다. 그러나 철도에는 레일만이 아닌 다른 구조물들이 존재하며 그중 선로 체결 장치는 레일을 다른 구조물에 결합시켜주는 역할을 하는 장치로 안전사고의 예방을 위해서 주기적인 점검이 필요하다. 본 논문에는 선로 체결 장치의 데이터를 이용하여 준지도 학습(semi-supervised learning)과 전이 학습(transfer learning)을 이용한 분류기를 학습시켜 선로 안전 점검에 사용되는 비용을 줄이는 방안을 제안한다. 사용된 네트워크는 Resnet50이며 imagenet으로 선행 학습된 모델이다. 레이블이 없는 데이터에서 무작위로 데이터를 선정 후 레이블을 부여한 뒤 이를 통해 모델을 학습한다. 학습된 모델의 이용하여 남은 데이터를 예측 후 예측한 데이터 중 클래스 별 확률이 가장 높은 데이터를 정해진 크기만큼 훈련용 데이터에 추가하는 방식을 채택하였다. 추가적으로 초기의 레이블된 데이터의 크기가 끼치는 영향력을 확인해보기 위한 실험을 진행하였다. 실험 결과 최대 92%의 정확도를 얻을 수 있었으며 이는 지도 학습 대비 5% 내외의 성능 차이를 가진다. 이는 제안한 방안을 통해 추가적인 레이블링 과정 없이 비교적 적은 레이블을 이용하여 분류기의 성능을 기존보다 향상시킬 수 있을 것으로 예상된다.

• 한국빅데이터학회지
• /
• 제6권1호
• /
• pp.197-206
• /
• 2021

GPR(Ground Penetrating Radar)에서 수집된 데이터는 지하 탐사를 위해 사용된다. 이 때, 지반 아래의 시설물들이 GPR을 반사하는 경우가 종종 발생하여 수집된 데이터는 전문가에 경험에 의존하여 해석된다. 또한, GPR 데이터는 수집 장비, 환경 등에 따라 데이터의 노이즈, 특성 등이 다르게 나타난다. 이로 인해 정확한 레이블을 가지는 데이터가 충분히 확보되지 못하는 경우가 많다. 일반적으로 이미지 분류 문제에서 높은 성능을 보이는 인공신경망 모델을 적용하기 위해서는 많은 양의 학습 데이터가 확보되어야 한다. 그러나 GPR 데이터의 특성 상 데이터에 정확한 레이블을 붙이는 것은 많은 비용을 필요로 하여 충분한 데이터를 확보하기가 어렵다. 이는 결국 일반적으로 활용되는 지도학습 방법을 기반으로 인공신경망을 적절히 학습시킬 수 없게 한다. 본 논문에서는 각 레이블의 정확도가 유사한 수준을 갖도록 하는 것을 목표로 데이터 특성을 바탕으로 하는 이미지 분류 방법을 제안한다. 제안 방법은 준지도학습을 기반으로 하고 있으며, 인공신경망으로부터 이미지의 특징값을 추출한 후 클러스터링 기법을 활용하여 이미지를 분류한다. 이 방법은 라벨링 된 데이터가 충분하지 않은 경우 라벨링할 때 뿐 만 아니라 데이터에 달린 레이블의 신뢰도가 높지 않은 경우에도 활용할 수 있다.