• 한국음향학회지
• /
• 제41권3호
• /
• pp.351-358
• /
• 2022

심층 생성 모델의 일종인 Generative Adversarial Network(GAN)과 Variational AutoEncoder(VAE)는 비병렬 학습 데이터를 사용한 음성 변환에 새로운 방법론을 제시하고 있다. 특히, Conditional Cycle-Consistent Generative Adversarial Network(CC-GAN)과 Cycle-Consistent Variational AutoEncoder(CycleVAE)는 다수 화자 사이의 음성 변환에 우수한 성능을 보이고 있다. 그러나, CC-GAN과 CycleVAE는 비교적 적은 수의 화자를 대상으로 연구가 진행되어왔다. 본 논문에서는 100 명의 한국어 화자 데이터를 사용하여 CC-GAN과 CycleVAE의 음성 변환 성능과 확장 가능성을 실험적으로 분석하였다. 실험 결과 소규모 화자의 경우 CC-GAN이 Mel-Cepstral Distortion(MCD) 기준으로 4.5 % 우수한 성능을 보이지만 대규모 화자의 경우 CycleVAE가 제한된 학습 시간 안에 12.7 % 우수한 성능을 보였다.

• 한국음향학회지
• /
• 제39권4호
• /
• pp.292-302
• /
• 2020

기계학습 알고리즘은 소나 및 레이더를 포함한 다양한 분야에서 사용되고 있다. 최근 개발된 GAN(Generative Adversarial Networks)의 변형인 Cycle-Consistency Generative Adversarial Network(CycleGAN)은 쌍을 이루지 않은 이미지-이미지 변환에 대해 검증된 네트워크이다. 본 논문에서는 높은 품질로 수중 선박 엔진음을 변환시킬 수 있는 변형된 CycleGAN을 제안한다. 제안된 네트워크는 수중 음향을 기존영역에서 목표영역으로 변환시키는 생성자 모델과 데이터를 참과 거짓으로 구분하는 개선된 식별자 그리고 변환된 수환 일관성(Cycle Consistency) 손실함수로 구성된다. 제안된 CycleGAN의 정량 및 정성분석은 공개적으로 사용 가능한 수중 데이터 ShipsEar을 사용하여 기존 알고리즘들과 Mel-cepstral분포, 구조적 유사 지수, 최소 거리 비교, 평균 의견 점수를 평가 및 비교함으로써 수행되었고, 분석결과는 제안된 네트워크의 유효성을 입증하였다.

• 대한원격탐사학회지
• /
• 제38권1호
• /
• pp.33-43
• /
• 2022

This study presents a method to restore an optical satellite image with distortion and occlusion due to fog, haze, and clouds to one that minimizes degradation factors by referring to the same type of peripheral image. Specifically, the time and cost of re-photographing were reduced by partially occluding a region. To maintain the original image's pixel value as much as possible and to maintain restored and unrestored area continuity, a simulation restoration technique modified with the Cycle Generative Adversarial Network (CycleGAN) method was developed. The accuracy of the simulated image was analyzed by comparing CycleGAN and histogram matching, as well as the pixel value distribution, with the original image. The results show that for Site 1 (out of three sites), the root mean square error and R² of CycleGAN were 169.36 and 0.9917, respectively, showing lower errors than those for histogram matching (170.43 and 0.9896, respectively). Further, comparison of the mean and standard deviation values of images simulated by CycleGAN and histogram matching with the ground truth pixel values confirmed the CycleGAN methodology as being closer to the ground truth value. Even for the histogram distribution of the simulated images, CycleGAN was closer to the ground truth than histogram matching.

• 한국측량학회지
• /
• 제38권6호
• /
• pp.499-509
• /
• 2020

본 연구에서는 최근 영상판독 분야에서 활발히 연구되고, 활용성이 발전하고 있는 인공지능 기반 객체분류 학습 데이터 구축에 관한 내용을 다룬다. 영상판독분야에서 인공지능을 활용하여 정확도 높은 객체를 인식, 추출하기 위해서는 알고리즘에 적용할 많은 양의 학습데이터가 필수적으로 요구된다. 하지만, 현재 공동활용 가능한 데이터 셋이 부족할 뿐만 아니라 데이터 생성을 위해서는 많은 시간과 인력 및 고비용을 필요로 하는 것이 현실이다. 따라서 본 연구에서는 소량의 초기 항공영상 학습데이터를 GAN (Generative Adversarial Network) 기반의 생성기 신경망을 활용하여 오버샘플 영상 학습데이터를 구축하고, 품질을 평가함으로써 추가적 학습 데이터 셋으로 활용하기 위한 실험을 진행하였다. GAN을 이용하여 오버샘플 학습데이터를 생성하는 기법은 딥러닝 성능에 매우 중요한 영향을 미치는 학습데이터의 양을 획기적으로 보완할 수 있으므로 초기 데이터가 부족한 경우에 효과적으로 활용될 수 있을 것으로 기대한다.

• 경영정보학연구
• /
• 제24권4호
• /
• pp.97-118
• /
• 2022

이미지와 같은 비정형 데이터의 불균형 클래스 문제 해결에 있어 생산적 적대 신경망(generative adversarial network)에 기반한 오버샘플링 기법의 우수성이 알려짐에 따라 다양한 연구들이 이를 정형 데이터의 불균형 문제 해결에도 적용하기 시작하였다. 그러나 이러한 연구들은 데이터의 형태를 비정형 데이터 구조로 변경함으로써 정형 데이터의 특징을 정확하게 반영하지 못한다는 점이 문제로 지적되고 있다. 본 연구에서는 이를 해결하기 위해 순환 생산적 적대 신경망(cycle GAN)을 정형 데이터의 구조에 맞게 재구성하고 이를 SMOTE(synthetic minority oversampling technique) 기법과 결합한 하이브리드 오버샘플링 기법을 제안하였다. 특히 기존 연구와 달리 생산적 적대 신경망을 구성함에 있어 1차원 합성곱 신경망(1D-convolutional neural network)을 사용함으로써 기존 연구의 한계를 극복하고자 하였다. 본 연구에서 제안한 기법의 성능 비교를 위해 불균형 정형 데이터를 기반으로 오버샘플링을 진행하고 그 결과를 SMOTE, ADASYN(adaptive synthetic sampling) 등과 같은 기존 기법과 비교하였다. 비교 결과 차원이 많을수록, 불균형 정도가 심할수록 제안된 모형이 우수한 성능을 보이는 것으로 나타났다. 본 연구는 기존 연구와 달리 정형 데이터의 구조를 유지하면서 소수 클래스의 특징을 반영한 오버샘플링을 통해 분류의 성능을 향상시켰다는 점에서 의의가 있다.

• 한국측량학회지
• /
• 제40권3호
• /
• pp.177-185
• /
• 2022

본 연구에서는 딥러닝을 통해 고해상도 광학 위성영상에 동종센서로 촬영한 영상을 참조하여 폐색 영역을 복원하는 방법을 제안하였다. 패치 단위로 분할된 영상에서 원본 영상의 화소 분포를 최대한 유지하며 폐색 영역을 모의한 영상과 주변 영상의 자연스러운 연속성을 위해 ConvNeXt 블록을 적용한 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 실험을 진행하였고 이를 3개의 실험지역에 대해 분석하였다. 또한, 학습패치 크기를 512*512화소로 하는 경우와 2배 확장한 1024*1024화소 크기의 적용 결과도 비교하였다. 서로 특징이 다른 3개의 지역에 대하여 실험한 결과, ConvNeXt CycleGAN 방법론이 기존의 CycleGAN을 적용한 영상, Histogram matching 영상과 비교하여 개선된 R² 값을 보여줌을 확인하였다. 학습에 사용되는 패치 크기별 실험의 경우 1024*1024화소의 패치를 사용한 결과, 약 0.98의 R²값이 산출되었으며 영상밴드별 화소 분포를 비교한 결과에서도 큰 패치 크기로 학습한 모의 결과가 원본 영상과 더 유사한 히스토그램 분포를 나타내었다. 이를 통해, 기존의 CycleGAN을 적용한 영상 및 Histogram matching 영상보다 발전된 ConvNeXt CycleGAN을 사용할 때 원본영상과 유사한 모의 결과를 도출할 수 있었고, 성공적인 모의를 수행할 수 있음을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제29권3호
• /
• pp.11-20
• /
• 2024

AI(Artificial Intelligence)의 다양한 모델 중 생성 모델, 특히 GAN(Generative Adversarial Network)은 이미지 처리, 밀도 추정, 스타일 전이 등 다양한 응용 분야에서 성공을 거두었다. 이러한 GAN은 CGAN(Conditional GAN), CycleGAN, BigGAN 등의 방식으로 확장 및 개선되었지만 재난 시뮬레이션, 의료 분야, 도시 계획 등 특정 분야에서는 데이터 부족과 불안정한 학습에 의한 이미지 왜곡 문제로 실제 시스템 적용에 문제가 되고 있다. 본 논문에서는 클래스 항목을 판별하는 ACGAN(Auxiliary Classifier GAN) 구조를 기반으로 기존 PGGAN(Progressive Growing of GAN)의 점진적 학습 방식을 활용한 새로운 점진적 단계의 학습 방법론 PST(Progressive Step Training)를 제안한다. PST 모델은 기존 방법 대비 70.82% 빠른 안정화, 51.3% 낮은 표준 편차, 후반 고해상도의 안정적 손실값 수렴 그리고 94.6% 빠른 손실 감소를 달성한다.

• 한국측량학회지
• /
• 제40권4호
• /
• pp.359-364
• /
• 2022

원격탐사 영상의 변화탐지는 카메라의 광학적 요인, 계절적 요인, 토지피복 특성에 의해 오류가 발생한다. 본 연구에서는 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 촬영 각도에 따른 영상 내 건물 기울기를 모의 조정하였고, 이렇게 모의한 영상을 변화탐지에 활용하여 탐지 정확도 향상에 기여하도록 하였다. CycleGAN 기반으로 두 개 시기 영상 중 한 시기 영상을 기준으로 건물의 기울기를 다른 한 영상 내 건물에 유사하게 모의하였고 원 영상과 건물 기울기에 대한 오류를 비교 분석하였다. 실험자료로는 서로 다른 시기에 다른 각도로 촬영되었고, 건물이 밀집한 도시지역을 포함한 Kompsat-3A 고해상도 위성영상을 사용하였다. 실험 결과, 영상 내 건물 영역에 대하여 두 영상의 건물에 의한 오탐지 화소 수가 원 영상에서는 12,632개, CycleGAN 기반 모의 영상에서는 1,730개로 약 7배 감소하는 것으로 나타났다. 따라서, 제안 방법이 건물 기울기로 인한 탐지오류를 감소시킬 수 있음을 확인하였다.

• 한국해양공학회지
• /
• 제34권6호
• /
• pp.442-453
• /
• 2020

Underwater color images suffer from low visibility and color cast effects caused by light attenuation by water and floating particles. This study applied single image enhancement techniques to enhance the quality of underwater images and compared their performance with real underwater images taken in Korean waters. Dark channel prior (DCP), gradient transform, image fusion, and generative adversarial networks (GAN), such as cycleGAN and underwater GAN (UGAN), were considered for single image enhancement. Their performance was evaluated in terms of underwater image quality measure, underwater color image quality evaluation, gray-world assumption, and blur metric. The DCP saturated the underwater images to a specific greenish or bluish color tone and reduced the brightness of the background signal. The gradient transform method with two transmission maps were sensitive to the light source and highlighted the region exposed to light. Although image fusion enabled reasonable color correction, the object details were lost due to the last fusion step. CycleGAN corrected overall color tone relatively well but generated artifacts in the background. UGAN showed good visual quality and obtained the highest scores against all figures of merit (FOMs) by compensating for the colors and visibility compared to the other single enhancement methods.

• Korean Journal of Radiology
• /
• 제22권6호
• /
• pp.983-993
• /
• 2021

Objective: To investigate the image quality of ultralow-dose CT (ULDCT) of the chest reconstructed using a cycle-consistent generative adversarial network (CycleGAN)-based deep learning method in the evaluation of pulmonary tuberculosis. Materials and Methods: Between June 2019 and November 2019, 103 patients (mean age, 40.8 ± 13.6 years; 61 men and 42 women) with pulmonary tuberculosis were prospectively enrolled to undergo standard-dose CT (120 kVp with automated exposure control), followed immediately by ULDCT (80 kVp and 10 mAs). The images of the two successive scans were used to train the CycleGAN framework for image-to-image translation. The denoising efficacy of the CycleGAN algorithm was compared with that of hybrid and model-based iterative reconstruction. Repeated-measures analysis of variance and Wilcoxon signed-rank test were performed to compare the objective measurements and the subjective image quality scores, respectively. Results: With the optimized CycleGAN denoising model, using the ULDCT images as input, the peak signal-to-noise ratio and structural similarity index improved by 2.0 dB and 0.21, respectively. The CycleGAN-generated denoised ULDCT images typically provided satisfactory image quality for optimal visibility of anatomic structures and pathological findings, with a lower level of image noise (mean ± standard deviation [SD], 19.5 ± 3.0 Hounsfield unit [HU]) than that of the hybrid (66.3 ± 10.5 HU, p < 0.001) and a similar noise level to model-based iterative reconstruction (19.6 ± 2.6 HU, p > 0.908). The CycleGAN-generated images showed the highest contrast-to-noise ratios for the pulmonary lesions, followed by the model-based and hybrid iterative reconstruction. The mean effective radiation dose of ULDCT was 0.12 mSv with a mean 93.9% reduction compared to standard-dose CT. Conclusion: The optimized CycleGAN technique may allow the synthesis of diagnostically acceptable images from ULDCT of the chest for the evaluation of pulmonary tuberculosis.