• 제목/요약/키워드: Large Dataset

검색결과 541건 처리시간 0.031초

국방용 합성이미지 데이터셋 생성을 위한 대립훈련신경망 기술 적용 연구 (Synthetic Image Dataset Generation for Defense using Generative Adversarial Networks)

  • 양훈민
    • 한국군사과학기술학회지
    • /
    • 제22권1호
    • /
    • pp.49-59
    • /
    • 2019
  • Generative adversarial networks(GANs) have received great attention in the machine learning field for their capacity to model high-dimensional and complex data distribution implicitly and generate new data samples from the model distribution. This paper investigates the model training methodology, architecture, and various applications of generative adversarial networks. Experimental evaluation is also conducted for generating synthetic image dataset for defense using two types of GANs. The first one is for military image generation utilizing the deep convolutional generative adversarial networks(DCGAN). The other is for visible-to-infrared image translation utilizing the cycle-consistent generative adversarial networks(CycleGAN). Each model can yield a great diversity of high-fidelity synthetic images compared to training ones. This result opens up the possibility of using inexpensive synthetic images for training neural networks while avoiding the enormous expense of collecting large amounts of hand-annotated real dataset.

딥러닝 기반 상부위장관 내시경 이미지 자동분류의 데이터 구성별 성능 분석 연구 (Performance analysis of deep learning-based automatic classification of upper endoscopic images according to data construction)

  • 서정민;임상헌;김영재;정준원;김광기
    • 한국멀티미디어학회논문지
    • /
    • 제25권3호
    • /
    • pp.451-460
    • /
    • 2022
  • Recently, several deep learning studies have been reported to automatically identify the location of diagnostic devices using endoscopic data. In previous studies, there was no design to determine whether the configuration of the dataset resulted in differences in the accuracy in which artificial intelligence models perform image classification. Studies that are based on large amounts of data are likely to have different results depending on the composition of the dataset or its proportion. In this study, we intended to determine the existence and extent of accuracy according to the composition of the dataset by compiling it into three main types using larynx, esophagus, gastroscopy, and laryngeal endoscopy images.

Efficient Large Dataset Construction using Image Smoothing and Image Size Reduction

  • Jaemin HWANG;Sac LEE;Hyunwoo LEE;Seyun PARK;Jiyoung LIM
    • 한국인공지능학회지
    • /
    • 제11권1호
    • /
    • pp.17-24
    • /
    • 2023
  • With the continuous growth in the amount of data collected and analyzed, deep learning has become increasingly popular for extracting meaningful insights from various fields. However, hardware limitations pose a challenge for achieving meaningful results with limited data. To address this challenge, this paper proposes an algorithm that leverages the characteristics of convolutional neural networks (CNNs) to reduce the size of image datasets by 20% through smoothing and shrinking the size of images using color elements. The proposed algorithm reduces the learning time and, as a result, the computational load on hardware. The experiments conducted in this study show that the proposed method achieves effective learning with similar or slightly higher accuracy than the original dataset while reducing computational and time costs. This color-centric dataset construction method using image smoothing techniques can lead to more efficient learning on CNNs. This method can be applied in various applications, such as image classification and recognition, and can contribute to more efficient and cost-effective deep learning. This paper presents a promising approach to reducing the computational load and time costs associated with deep learning and provides meaningful results with limited data, enabling them to apply deep learning to a broader range of applications.

대형 데이터에서 VIF회귀를 이용한 신속 강건 변수선택법 (Fast robust variable selection using VIF regression in large datasets)

  • 서한손
    • 응용통계연구
    • /
    • 제31권4호
    • /
    • pp.463-473
    • /
    • 2018
  • 연구에서는 선형회귀모형을 가정한 대형 데이터에서의 변수선택 알고리즘을 다룬다. 방법의 속도와 강건성에 주안점을 둔 여러 알고리즘들이 제안되었다. 그 중에서 streamwise 회귀 접근법을 사용한 VIF회귀는 신속하고 정확하게 수행된다. 그러나 VIF회귀는 최소제곱방법에 의해 모형이 추정되므로 이상치에 민감하다. 변수선택방법의 강건성을 높이기 위해 가중 추정치를 사용한 강건측도가 제안되었으며 강건 VIF회귀도 제안되었다. 본 연구에서는 잠재적 이상치를 탐지하여 제거한 후 VIF회귀를 수행하는, 빠르고 강건한 변수선택 방법을 제안한다. 제안된 방법은 모의실험과 데이터 분석 통해 다른 방법들과 비교된다.

전이학습을 활용한 도시지역 건물객체의 변화탐지 (Change Detection of Building Objects in Urban Area by Using Transfer Learning)

  • 모준상;성선경;최재완
    • 대한원격탐사학회지
    • /
    • 제37권6_1호
    • /
    • pp.1685-1695
    • /
    • 2021
  • 우수한 성능을 가지는 딥러닝 모델을 생성하기 위해서는 충분한 양의 학습자료가 필요하다. 하지만, 원격탐사 분야에서 충분한 양의 학습자료를 구축하기 위해서는 많은 시간과 비용을 필요로 한다. 따라서 적은 수의 학습자료를 활용한 딥러닝 모델의 전이학습(transfer learning)의 중요성이 증대되고 있다. 본 연구에서는 사전에 제작된 공개데이터셋을 기반으로 국내 정사영상 및 수치지도를 활용한 전이학습을 통해 국내 다시기 정사영상 내 존재하는 건물객체의 변화에 대한 탐지를 수행하였다. 이를 위하여, 변화탐지를 위한 공개데이터셋을 HRNet-v2 모델을 통하여 선행학습을 수행하고, 국내 정사영상 및 수치지도를 이용한 학습자료에 전이학습을 수행하였다. 전이학습에 대한 영향을 분석하기 위하여 두 곳의 실험지역에 전이 학습된 모델을 포함한 다양한 딥러닝 모델의 결과를 평가한 결과, 전이학습을 활용한 연구가 가장 우수함을 확인하였다. 이를 통하여, 전이학습을 활용해 부족한 양의 학습자료 문제를 해결하고, 다양한 원격탐사 자료에 대하여 효과적으로 변화탐지 기법을 적용할 수 있음을 확인하였다.

대한민국 정부의 코로나 19 브리핑을 기반으로 구축된 수어 데이터셋 연구 (Sign Language Dataset Built from S. Korean Government Briefing on COVID-19)

  • 심호현;성호렬;이승재;조현중
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권8호
    • /
    • pp.325-330
    • /
    • 2022
  • 본 논문은 한국 수어에 대하여 수어 인식, 수어 번역, 수어 영상 시분할과 같은 수어에 관한 딥러닝 연구를 위한 데이터셋의 수집 및 실험을 진행하였다. 수어 연구를 위한 어려움은 2가지로 볼 수 있다. 첫째, 손의 움직임과 손의 방향, 표정 등의 종합적인 정보를 가지는 수어의 특성에 따른 인식의 어려움이 있다. 둘째, 딥러닝 연구를 진행하기 위한 학습데이터의 절대적 부재이다. 현재 알려진 문장 단위의 한국 수어 데이터셋은 KETI 데이터셋이 유일하다. 해외의 수어 딥러닝 연구를 위한 데이터셋은 Isolated 수어와 Continuous 수어 두 가지로 분류되어 수집되며 시간이 지날수록 더 많은 양의 수어 데이터가 수집되고 있다. 하지만 이러한 해외의 수어 데이터셋도 방대한 데이터셋을 필요로 하는 딥러닝 연구를 위해서는 부족한 상황이다. 본 연구에서는 한국 수어 딥러닝 연구를 진행하기 위한 대규모의 한국어-수어 데이터셋을 수집을 시도하였으며 베이스라인 모델을 이용하여 수어 번역 모델의 성능 평가 실험을 진행하였다. 본 논문을 위해 수집된 데이터셋은 총 11,402개의 영상과 텍스트로 구성되었다. 이를 이용하여 학습을 진행할 베이스라인 모델로는 수어 번역 분야에서 SOTA의 성능을 가지고 있는 TSPNet 모델을 이용하였다. 본 논문의 실험에서 수집된 데이터셋에 대한 특성을 정량적으로 보이고, 베이스라인 모델의 실험 결과로는 BLEU-4 score 3.63을 보였다. 또한, 향후 연구에서 보다 정확하게 데이터셋을 수집할 수 있도록, 한국어-수어 데이터셋 수집에 있어서 고려할 점을 평가 결과에 대한 고찰로 제시한다.

Remote Sensing Image Classification for Land Cover Mapping in Developing Countries: A Novel Deep Learning Approach

  • Lynda, Nzurumike Obianuju;Nnanna, Nwojo Agwu;Boukar, Moussa Mahamat
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.214-222
    • /
    • 2022
  • Convolutional Neural networks (CNNs) are a category of deep learning networks that have proven very effective in computer vision tasks such as image classification. Notwithstanding, not much has been seen in its use for remote sensing image classification in developing countries. This is majorly due to the scarcity of training data. Recently, transfer learning technique has successfully been used to develop state-of-the art models for remote sensing (RS) image classification tasks using training and testing data from well-known RS data repositories. However, the ability of such model to classify RS test data from a different dataset has not been sufficiently investigated. In this paper, we propose a deep CNN model that can classify RS test data from a dataset different from the training dataset. To achieve our objective, we first, re-trained a ResNet-50 model using EuroSAT, a large-scale RS dataset to develop a base model then we integrated Augmentation and Ensemble learning to improve its generalization ability. We further experimented on the ability of this model to classify a novel dataset (Nig_Images). The final classification results shows that our model achieves a 96% and 80% accuracy on EuroSAT and Nig_Images test data respectively. Adequate knowledge and usage of this framework is expected to encourage research and the usage of deep CNNs for land cover mapping in cases of lack of training data as obtainable in developing countries.

Dog-Species Classification through CycleGAN and Standard Data Augmentation

  • Chan, Park;Nammee, Moon
    • Journal of Information Processing Systems
    • /
    • 제19권1호
    • /
    • pp.67-79
    • /
    • 2023
  • In the image field, data augmentation refers to increasing the amount of data through an editing method such as rotating or cropping a photo. In this study, a generative adversarial network (GAN) image was created using CycleGAN, and various colors of dogs were reflected through data augmentation. In particular, dog data from the Stanford Dogs Dataset and Oxford-IIIT Pet Dataset were used, and 10 breeds of dog, corresponding to 300 images each, were selected. Subsequently, a GAN image was generated using CycleGAN, and four learning groups were established: 2,000 original photos (group I); 2,000 original photos + 1,000 GAN images (group II); 3,000 original photos (group III); and 3,000 original photos + 1,000 GAN images (group IV). The amount of data in each learning group was augmented using existing data augmentation methods such as rotating, cropping, erasing, and distorting. The augmented photo data were used to train the MobileNet_v3_Large, ResNet-152, InceptionResNet_v2, and NASNet_Large frameworks to evaluate the classification accuracy and loss. The top-3 accuracy for each deep neural network model was as follows: MobileNet_v3_Large of 86.4% (group I), 85.4% (group II), 90.4% (group III), and 89.2% (group IV); ResNet-152 of 82.4% (group I), 83.7% (group II), 84.7% (group III), and 84.9% (group IV); InceptionResNet_v2 of 90.7% (group I), 88.4% (group II), 93.3% (group III), and 93.1% (group IV); and NASNet_Large of 85% (group I), 88.1% (group II), 91.8% (group III), and 92% (group IV). The InceptionResNet_v2 model exhibited the highest image classification accuracy, and the NASNet_Large model exhibited the highest increase in the accuracy owing to data augmentation.

기대최대화 알고리즘을 활용한 도로노면 training 자료 자동추출에 관한 연구 - 감독분류를 통한 도로 네트워크의 자동추출을 위하여 (Automatic Extraction of Training Dataset Using Expectation Maximization Algorithm - for Automatic Supervised Classification of Road Networks)

  • 한유경;최재완;이재빈;유기윤;김용일
    • 한국측량학회지
    • /
    • 제27권2호
    • /
    • pp.289-297
    • /
    • 2009
  • 본 논문은 감독분류 기법을 활용한 도로 네트워크 추출의 기본 과정인 트레이닝 자료의 추출과정을 자동화함으로써 감독분류를 활용한 도로 네트워크 추출 과정의 자동화에 기여할 수 있는 방법론의 개발을 목적으로 한다. 이를 위해 본 연구에서는 상호 기하보정 된 항공사진과 LIDAR 자료로부터 정사영상과 LIDAR 반사강도 영상을 제작하고, 기 구축된 수치지도를 활용하여 초기 트레이닝 자료를 자동으로 추출하였다. 하지만 위의 과정을 통하여 추출된 초기 트레이닝 자료는 기하보정과정에서 수반되는 기하학적 오차 및 다양한 개체들로 구성된 도로의 특성에 영향을 받아 다양한 분광특성을 포함하게 된다. 따라서 본 연구에서는 추출된 초기 트레이닝 자료에서 도로 추출의 기본이 되는 도로노면의 분광특성을 통계학적 기법인 기대최대화 알고리즘에 기초하여 효과적으로 결정하기 위한 방법론을 제안하였다. 또한 개발된 방법론의 평가를 위하여 동일지역에 대해 수동으로 취득한 트레이닝 자료와 본 연구에서 자동으로 추출한 자료를 비교 평가하여 정확도를 분석하였다. 실험결과에 대한 통계검증결과 본 논문에서 제안한 도로노면 트레이닝 자료 자동추출기법의 효용성을 증명하였다.

An active learning method with difficulty learning mechanism for crack detection

  • Shu, Jiangpeng;Li, Jun;Zhang, Jiawei;Zhao, Weijian;Duan, Yuanfeng;Zhang, Zhicheng
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.195-206
    • /
    • 2022
  • Crack detection is essential for inspection of existing structures and crack segmentation based on deep learning is a significant solution. However, datasets are usually one of the key issues. When building a new dataset for deep learning, laborious and time-consuming annotation of a large number of crack images is an obstacle. The aim of this study is to develop an approach that can automatically select a small portion of the most informative crack images from a large pool in order to annotate them, not to label all crack images. An active learning method with difficulty learning mechanism for crack segmentation tasks is proposed. Experiments are carried out on a crack image dataset of a steel box girder, which contains 500 images of 320×320 size for training, 100 for validation, and 190 for testing. In active learning experiments, the 500 images for training are acted as unlabeled image. The acquisition function in our method is compared with traditional acquisition functions, i.e., Query-By-Committee (QBC), Entropy, and Core-set. Further, comparisons are made on four common segmentation networks: U-Net, DeepLabV3, Feature Pyramid Network (FPN), and PSPNet. The results show that when training occurs with 200 (40%) of the most informative crack images that are selected by our method, the four segmentation networks can achieve 92%-95% of the obtained performance when training takes place with 500 (100%) crack images. The acquisition function in our method shows more accurate measurements of informativeness for unlabeled crack images compared to the four traditional acquisition functions at most active learning stages. Our method can select the most informative images for annotation from many unlabeled crack images automatically and accurately. Additionally, the dataset built after selecting 40% of all crack images can support crack segmentation networks that perform more than 92% when all the images are used.