• Journal of the Korean Recycled Construction Resources Institute
• /
• v.9 no.3
• /
• pp.303-310
• /
• 2021

Cracks in bridges are important factors that indicate the condition of bridges and should be monitored periodically. However, a visual inspection conducted by a human expert has problems in cost, time, and reliability. Therefore, in recent years, researches to apply a deep learning model are started to be conducted. Deep learning requires sufficient data on the situations to be predicted, but bridge crack data is relatively difficult to obtain. In particular, it is difficult to collect a large amount of crack data in a specific situation because the shape of bridge cracks may vary depending on the bridge's design, location, and construction method. This study developed a crack detection model that generates and trains insufficient crack data through a Generative Adversarial Network. GAN successfully generated data statistically similar to the given crack data, and accordingly, crack detection was possible with about 3% higher accuracy when using the generated image than when the generated image was not used. This approach is expected to effectively improve the performance of the detection model as it is applied when crack detection on bridges is required, though there is not enough data, also when there is relatively little or much data f or one class.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.11
• /
• pp.465-472
• /
• 2022

In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video's face.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.793-794
• /
• 2019

본 시스템은 기존 안저사진의 높은 해상도와 광각 안저사진의 촬영의 편의성과 넓은 시야 각의 장점을 둘 다 취하기 위해, 광각 안저사진을 원본으로 하여 기존 안저사진을 생성하는 작업을 제안한다. 안저사진의 생성 알고리즘은 이미지 생성에 특화된 생산적 적대 신경망(GANs)을 채택하였다. 신경망의 성능을 평가하기 위해, 생성된 안저사진과 직접 촬영한 기존 안저사진으로부터 특성을 추출을 하여 특이점 간의 거리를 측정하고, 이를 바탕으로 두 사진의 유사도를 판단한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.439-441
• /
• 2020

본 논문에서는 국가무형문화재 기록영상의 화질 개선에 관한 연구를 진행한다. 기록영상의 화질 개선을 위해 SRGAN 기반의 초해상화 복원영상 생성 프레임워크의 적용을 제안한다. Image aumentation과 median filter를 적용한 데이터셋과 적대적 신경망인 Generative Adversarial Network (GAN)을 기반으로 딥러닝 네트워크를 구축하여 입력된 Low-Resolution 이미지를 통해 High-Resolution의 복원 영상을 생성한다. 이 연구를 통해 국가무형문화재 기록영상 뿐만 아니라 문화재 전반의 사진 및 영상 기록 자료의 품질 개선 가능성을 제시하고, 영상 기록 자료의 아카이브 구축을 통해 지속적인 활용의 기초연구가 되는 것을 목표로 한다.

• Journal of Internet of Things and Convergence
• /
• v.9 no.1
• /
• pp.131-138
• /
• 2023

This paper is related to performance improvement of Image-to-Image translation using Relativistic Average Patch GAN and Residual in Residual Dense Block. The purpose of this paper is to improve performance through technical improvements in three aspects to compensate for the shortcomings of the previous pix2pix, a type of Image-to-Image translation. First, unlike the previous pix2pix constructor, it enables deeper learning by using Residual in Residual Block in the part of encoding the input image. Second, since we use a loss function based on Relativistic Average Patch GAN to predict how real the original image is compared to the generated image, both of these images affect adversarial generative learning. Finally, the generator is pre-trained to prevent the discriminator from being learned prematurely. According to the proposed method, it was possible to generate images superior to the previous pix2pix by more than 13% on average at the aspect of FID.

• Journal of Internet Computing and Services
• /
• v.23 no.4
• /
• pp.35-43
• /
• 2022

Makeup is the most common way to improve a person's appearance. However, since makeup styles are very diverse, there are many time and cost problems for an individual to apply makeup directly to himself/herself.. Accordingly, the need for makeup automation is increasing. Makeup transfer is being studied for makeup automation. Makeup transfer is a field of applying makeup style to a face image without makeup. Makeup transfer can be divided into a traditional image processing-based method and a deep learning-based method. In particular, in deep learning-based methods, many studies based on Generative Adversarial Networks have been performed. However, both methods have disadvantages in that the resulting image is unnatural, the result of makeup conversion is not clear, and it is smeared or heavily influenced by the makeup style face image. In order to express the clear boundary of makeup and to alleviate the influence of makeup style facial images, this study divides the makeup area and calculates the loss function using HoG (Histogram of Gradient). HoG is a method of extracting image features through the size and directionality of edges present in the image. Through this, we propose a makeup transfer network that performs robust learning on edges.By comparing the image generated through the proposed model with the image generated through BeautyGAN used as the base model, it was confirmed that the performance of the model proposed in this study was superior, and the method of using facial information that can be additionally presented as a future study.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.904-905
• /
• 2023

본 논문에서는 의료 영상 생성을 위한 Med-StyleGAN2를 제안한다. 생성적 적대 신경망은 이미지 생성에는 효과적이지만, 의료 영상 생성에는 한계점을 가지고 있다. 따라서 본 연구에서는 의료 영상 생성에 특화된 StyleGAN 기반 학습 모델을 제안한다. 이는 다양한 의료 영상 어플리케이션에 활용할 수 있으며, 생성된 의료 영상에 대한 정량적, 정성적 평가를 수행함으로써 의료 영상 생성 분야의 발전 가능성에 대해 연구한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.239-244
• /
• 2023

신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.50-53
• /
• 2019

본 논문에서는 도메인 어댑테이션을 이용하여 폰트 변화에 강인한 한글 분류기를 학습하는 방법을 제안한다. 제안하는 네트워크 모델은 총 7 개로 이루어져 있으며 각각 이미지로부터 폰트에 무관한 정보를 추출하는 인코더, 추출된 정보의 유효성을 판단하기 위해 이미지 재합성에 사용되는 디코더, 재합성된 이미지의 글자 분류기, 폰트 분류기, 재합성된 글자의 정교함을 판단하는 판별기(discriminator), 그리고 인코더에서 추출된 정보에 대한 글자 분류기, 폰트 분류기이다. 본 논문에서는 적대적 생성 신경망의 학습법을 따르는 도메인 어댑테이션 기법을 이용하여 인코더의 추출 정보가 폰트 정보는 속이면서 글자 분류의 정확성은 높이도록 학습하였다. 학습 결과 인코더로부터 추출되는 정보들은 폰트에 무관한 성질을 지니면서 글자 분류에 높은 정확성을 띄었으며, 추가로 디코더에서 나오는 이미지들도 원본 폰트와 같은 이미지를 생성해 낼 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.764-767
• /
• 2021

While Generative Adversarial Networks (GANs) have seen huge success in image synthesis tasks, synthesizing high-quality images from text descriptions is a challenging problem in computer vision. This paper proposes a method named Text-to-Face Generation Using Multi-Scale Gradients for Conditional Generative Adversarial Networks (T2F-MSGGANs) that combines GANs and a natural language processing model to create human faces has features found in the input text. The proposed method addresses two problems of GANs: model collapse and training instability by investigating how gradients at multiple scales can be used to generate high-resolution images. We show that T2F-MSGGANs converge stably and generate good-quality images.