• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권3호
• /
• pp.109-114
• /
• 2021

GAN(Generative Adversarial Network, 생성적 적대 신경망)은 이미지 생성모델로서 생성기 네트워크와 판별기 네트워크로 구성되며 실제 같은 이미지를 생성한다. GAN에 의해 생성된 이미지는 실제 이미지와 유사해야 하므로 생성된 이미지와 실제 이미지의 손실 오차를 최소화하는 손실함수(loss function)를 사용한다. 그러나 GAN의 손실함수는 이미지를 생성하는 학습을 불안정하게 만들어 이미지의 품질을 떨어뜨린다는 문제점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 GAN 관련 연구를 분석하고 에지 검출(edge detection)을 이용한 eGAN(edge GAN)을 제안한다. 실험 결과 eGAN 모델이 기존의 GAN 모델보다 성능이 개선되었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.283-284
• /
• 2022

본 논문은 TTS를 사용해 사용자들에게 E-Book 및 뉴스를 보고 들을 수 있는 기능을 제공한다. 사용자 및 개발자가 직접 녹음한 TTS를 사용해 원하는 목소리, 배속과 같은 기능을 제공한다. 기존 TTS를 사용한 E-Book 사이트들은 광고가 많아 가독성의 문제와 유료 서비스인 반면에 본 논문에서 제안한 웹은 다양한 연령층의 사용자들이 사용하기 쉽게 메뉴의 간편화를 통해 다양한 E-Book 및 뉴스 기능을 제공함으로써 보다 직관적이고 쉽게 전자문서를 읽을 수 있도록 하였다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.143-150
• /
• 2020

최근 다양한 매체를 통해 폭발적인 양의 콘텐츠가 업로드 되고 있으며 그 가운데 게임과 스포츠 영상은 상당한 비율을 차지한다. 방송사에서는 시청자 편의를 위해 경기 영상 중 흥미를 끄는 장면을 모아 하이라이트 영상을 만들어 제공한다. 그러나 이는 시간과 비용이 많이 소요되는 문제가 있다. 본 논문에서는 게임과 스포츠 경기에서 자동으로 하이라이트를 예측하는 모델을 제안한다. 기존의 방법들이 이미지 정보만을 주로 이용하는데 반해 우리는 오디오와 이미지 정보를 함께 사용하며, 영상의 단기적 전후관계와 중장기적 흐름을 동시에 파악하는 방법을 제시한다. 또한 더 좋은 특징벡터를 찾아내기 위해 GAN을 결합한 모델을 설명한다. 제안하는 모델들은 e스포츠 경기 영상과 야구 경기 영상을 이용하여 평가한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권1호
• /
• pp.9-18
• /
• 2021

생성적 적대 신경망(Generative Adversarial Networks, GANs)은 컴퓨터 비전 분야와 관련 분야에서 큰 인기를 얻었으나, 아직까지는 오디오 신호를 직접적으로 생성하는 GAN이 제시되지 못했다. 오디오 신호는 이미지와 다르게 이산 값으로 구성된 생플링된 신호이므로, 이미지 생성에 널리 사용되는 CNN 구조로 학습하기 어렵다. 이러한 제약을 해결하고자, 최근 GAN 연구자들은 오디오 신호의 시간-주파수 표현을 기존 이미지 생성 GAN에 적용하는 전략을 제안했다. 본 논문은 이 전략을 따르면서 GAN을 사용해 생성된 오디오 신호의 충실도를 높이기 위한 개선된 방법을 제안한다. 본 방법은 공개된 스피치 데이터세트를 사용해 검증했으며, 프레쳇 인셉션 거리(Fréchet Inception Distance, FID)를 사용해 평가했다. 기존의 최신(state-of-the-art) 방법은 11.973의 FID를, 본 연구에서 제안하는 방법은 10.504의 FID를 보였다(FID가 낮을수록 충실도는 높다).

• 한국정보통신학회논문지
• /
• 제25권9호
• /
• pp.1271-1274
• /
• 2021

RF fingerprinting based on deep learning (DL) has gained interests as a means to improve the security of near field communication (NFC) by allowing identification of NFC tags based on unique physical characteristics. To achieve high accuracy in the identification of NFC tags, it is crucial to utilize a large number of training data, however it is hard to collect such dataset in practice. In this study, we have provided new methodology to generate RF waveform from NFC tags, i.e., data augmentation, based on a conditional generative adversarial network (CGAN). By using the RF waveform of NFC tags which is collected from the testbed with software defined radio (SDR), we have confirmed that the realistic RF waveform can be generated through our proposed scheme.

• 융합신호처리학회논문지
• /
• 제23권2호
• /
• pp.97-106
• /
• 2022

본 연구에서 세포를 분별하기 위해 H&E 염색이 필요하다. 그러나 직접 염색하면 많은 비용과 시간이 필요하다. H&E 염색되지 않은 세포의 Phase image에서 H&E 염색이 된 세포의 Amplitude image로 변환 하는 것이 목적이다. FPM으로 촬영한 Image data를 가지고 Matlab을 이용해 매개변수를 변경해 Phase image와 Amplitude image를 만들었다. 정규화를 통해 육안으로 식별이 가능한 이미지를 얻었다. GAN 알고리즘을 이용해 Phase image를 기반으로 Real Amplitude image와 비슷한 Fake Amplitude image를 만들고 Fake Amplitude image를 가지고 MASK R-CNN을 이용하여 세포를 분별하여 객체화를 통해 구분했다. 연구 결과 D loss의 max는 3.3e-1, min은 6.8e-2, G loss max는 6.9e-2, min은 2.9e-2, A loss는 max 5.8e-1, min은 1.2e-1, Mask R-CNN max는 1.9e0, min은 3.2e-1이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권7호
• /
• pp.2304-2320
• /
• 2021

Intelligently detecting anomalies in health sensor data streams (e.g., Electrocardiogram, ECG) can improve the development of E-health industry. The physiological signals of patients are collected through sensors. Timely diagnosis and treatment save medical resources, promote physical health, and reduce complications. However, it is difficult to automatically classify the ECG data, as the features of ECGs are difficult to extract. And the volume of labeled ECG data is limited, which affects the classification performance. In this paper, we propose a Generative Adversarial Network (GAN)-based deep learning framework (called CAB) for heart arrhythmia classification. CAB focuses on improving the detection accuracy based on a small number of labeled samples. It is trained based on the class-imbalance ECG data. Augmenting ECG data by a GAN model eliminates the impact of data scarcity. After data augmentation, CAB classifies the ECG data by using a Bidirectional Long Short Term Memory Recurrent Neural Network (Bi-LSTM). Experiment results show a better performance of CAB compared with state-of-the-art methods. The overall classification accuracy of CAB is 99.71%. The F1-scores of classifying Normal beats (N), Supraventricular ectopic beats (S), Ventricular ectopic beats (V), Fusion beats (F) and Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively. Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권7호
• /
• pp.2547-2567
• /
• 2021

It has been widely acknowledged that occlusion impairments adversely distress many face recognition algorithms' performance. Therefore, it is crucial to solving the problem of face image occlusion in face recognition. To solve the image occlusion problem in face recognition, this paper aims to automatically de-occlude the human face majority or discriminative regions to improve face recognition performance. To achieve this, we decompose the generative process into two key stages and employ a separate generative adversarial network (GAN)-based network in both stages. The first stage generates an initial coarse face image without an occlusion mask. The second stage refines the result from the first stage by forcing it closer to real face images or ground truth. To increase the performance and minimize the artifacts in the generated result, a new refine loss (e.g., reconstruction loss, perceptual loss, and adversarial loss) is used to determine all differences between the generated de-occluded face image and ground truth. Furthermore, we build occluded face images and corresponding occlusion-free face images dataset. We trained our model on this new dataset and later tested it on real-world face images. The experiment results (qualitative and quantitative) and the comparative study confirm the robustness and effectiveness of the proposed work in removing challenging occlusion masks with various structures, sizes, shapes, types, and positions.

• Journal of Information Processing Systems
• /
• 제18권4호
• /
• pp.575-586
• /
• 2022

Uneven light in real-world causes visual degradation for underexposed regions. For these regions, insufficient consideration during enhancement procedure will result in over-/under-exposure, loss of details and color distortion. Confronting such challenges, an unsupervised low-light image enhancement network is proposed in this paper based on the guidance of the unpaired low-/normal-light images. The key components in our network include super-resolution module (SRM), a GAN-based low-light image enhancement network (LLIEN), and denoising-scaling module (DSM). The SRM improves the resolution of the low-light input images before illumination enhancement. Such design philosophy improves the effectiveness of texture details preservation by operating in high-resolution space. Subsequently, local lightness attention module in LLIEN effectively distinguishes unevenly illuminated areas and puts emphasis on low-light areas, ensuring the spatial consistency of illumination for locally underexposed images. Then, multiple discriminators, i.e., global discriminator, local region discriminator, and color discriminator performs assessment from different perspectives to avoid over-/under-exposure and color distortion, which guides the network to generate images that in line with human aesthetic perception. Finally, the DSM performs noise removal and obtains high-quality enhanced images. Both qualitative and quantitative experiments demonstrate that our approach achieves favorable results, which indicates its superior capacity on illumination and texture details restoration.

• 정보보호학회논문지
• /
• 제30권5호
• /
• pp.945-956
• /
• 2020

많은 응용프로그램들로부터 양질의 서비스를 제공받기 위해서 데이터 공개는 필수적이다. 하지만 원본 데이터를 그대로 공개할 경우 개인의 민감한 정보(정치적 성향, 질병 등)가 드러날 위험이 있기 때문에 원본 데이터가 아닌 재현 데이터를 생성하여 공개함으로써 프라이버시를 보존하는 많은 연구들이 제안되어왔다. 그러나 단순히 재현 데이터를 생성하여 공개하는 것은 여러 공격들(연결공격, 추론공격 등)에 의해 여전히 프라이버시 유출 위험이 존재한다. 본 논문에서는 이러한 민감한 정보의 유출을 방지하기 위해, 재현 데이터 생성 모델로 주목받고 있는 GAN에 최신 프라이버시 보호 기술인 차분 프라이버시를 적용하여 프라이버시가 보존되는 재현 데이터 생성 알고리즘을 제안한다. 생성 모델은 레이블이 있는 데이터의 효율적인 학습을 위해 CGAN을 사용하였고, 데이터의 유용성 측면을 고려하여 기존 차분 프라이버시보다 프라이버시가 완화된 Rényi 차분 프라이버시를 적용하였다. 그리고 생성된 데이터의 유용성에 대한 검증을 다양한 분류기를 통해 실시하고 비교분석하였다.