• 한국정보통신학회논문지
• /
• 제23권11호
• /
• pp.1482-1484
• /
• 2019

We present a method for transmitting 3D object information in real time in a telepresence system. Three-dimensional object information consists of a large amount of point cloud data, which requires high performance computing power and ultra-wideband network transmission environment to process and transmit such a large amount of data in real time. In this paper, multiple users can transmit object motion and facial expression information in real time even in small network bands by using GANs (Generative Adversarial Networks), a non-supervised learning machine learning algorithm, for real-time transmission of 3D point cloud data. In particular, we propose the creation of an object similar to the original using only the feature information of 3D objects using conditional GANs.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.527-529
• /
• 2023

Generative Adversarial Networks (GANs) models have developed rapidly due to the emergence of various variation models and their wide applications. Despite many recent developments in GANs, mode collapse, and instability are still unresolved issues. To address these problems, we focused on the fact that a single GANs model itself cannot realize local failure during the training phase without external standards. This paper introduces a novel training process involving multiple GANs, inspired by auction mechanisms. During the training, auxiliary performance metrics for each GANs are determined by the others through the process of various auction methods.

• Wind and Structures
• /
• 제36권6호
• /
• pp.405-421
• /
• 2023

Strong wind is the main factors of wind-damage of high-rise buildings, which often creates largely economical losses and casualties. Wind pressure plays a critical role in wind effects on buildings. To obtain the high-resolution wind pressure field, it often requires massive pressure taps. In this study, two traditional methods, including bilinear and bicubic interpolation, and two deep learning techniques including Residual Networks (ResNet) and Generative Adversarial Networks (GANs), are employed to reconstruct wind pressure filed from limited pressure taps on the surface of an ideal building from TPU database. It was found that the GANs model exhibits the best performance in reconstructing the wind pressure field. Meanwhile, it was confirmed that k-means clustering based retained pressure taps as model input can significantly improve the reconstruction ability of GANs model. Finally, the generalization ability of k-means clustering based GANs model in reconstructing wind pressure field is verified by an actual engineering structure. Importantly, the k-means clustering based GANs model can achieve satisfactory reconstruction in wind pressure field under the inputs processing by k-means clustering, even the 20% of pressure taps. Therefore, it is expected to save a huge number of pressure taps under the field reconstruction and achieve timely and accurately reconstruction of wind pressure field under k-means clustering based GANs model.

• 전자통신동향분석
• /
• 제35권4호
• /
• pp.91-102
• /
• 2020

Recently, generative adversarial networks (GANs) is a field of research that has rapidly emerged wherein many studies conducted shows overwhelming results. Initially, this was at the level of imitating the training dataset. However, the GAN is currently useful in many fields, such as transformation of data categories, restoration of erased parts of images, copying facial expressions of humans, and creation of artworks depicting a dead painter's style. Although many outstanding research achievements have been attracting attention recently, GANs have encountered many challenges. First, they require a large memory facility for research. Second, there are still technical limitations in processing high-resolution images over 4K. Third, many GAN learning methods have a problem of instability in the training stage. However, recent research results show images that are difficult to distinguish whether they are real or fake, even with the naked eye, and the resolution of 4K and above is being developed. With the increase in image quality and resolution, many applications in the field of design and image and video editing are now available, including those that draw a photorealistic image as a simple sketch or easily modify unnecessary parts of an image or a video. In this paper, we discuss how GANs started, including the base architecture and latest technologies of GANs used in high-resolution, high-quality image creation, image and video editing, style translation, content transfer, and technology.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.160-161
• /
• 2019

3차원 객체를 모델링 하기 위한 방법으로 3D 스캐너를 이용하는 방법과 모션캡처 시스템을 이용하는 방법 그리고 키넥트(Kinect) 시스템을 이용하는 방법 등이 있다. 이러한 방법을 통해 3차원 객체를 생성하는 과정에서 가려짐에 의해 촬영되지 않는 부분이 발생한다. 완벽한 3차원 객체를 구현하기 위해서는 가려진 부분을 임의로 채워줘야 하는 상황이 발생한다. 다양한 영상처리 방법을 통해 가져져 촬영되지 않은 부분을 메우는 기법이 존재한다. 본 연구에서는 보다 자연스러운 hole filling을 위한 방법으로 비지도기계학습의 최신 트렌드인 GANs를 이용한 방법을 제안한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권1호
• /
• pp.9-18
• /
• 2021

생성적 적대 신경망(Generative Adversarial Networks, GANs)은 컴퓨터 비전 분야와 관련 분야에서 큰 인기를 얻었으나, 아직까지는 오디오 신호를 직접적으로 생성하는 GAN이 제시되지 못했다. 오디오 신호는 이미지와 다르게 이산 값으로 구성된 생플링된 신호이므로, 이미지 생성에 널리 사용되는 CNN 구조로 학습하기 어렵다. 이러한 제약을 해결하고자, 최근 GAN 연구자들은 오디오 신호의 시간-주파수 표현을 기존 이미지 생성 GAN에 적용하는 전략을 제안했다. 본 논문은 이 전략을 따르면서 GAN을 사용해 생성된 오디오 신호의 충실도를 높이기 위한 개선된 방법을 제안한다. 본 방법은 공개된 스피치 데이터세트를 사용해 검증했으며, 프레쳇 인셉션 거리(Fréchet Inception Distance, FID)를 사용해 평가했다. 기존의 최신(state-of-the-art) 방법은 11.973의 FID를, 본 연구에서 제안하는 방법은 10.504의 FID를 보였다(FID가 낮을수록 충실도는 높다).

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.764-767
• /
• 2021

While Generative Adversarial Networks (GANs) have seen huge success in image synthesis tasks, synthesizing high-quality images from text descriptions is a challenging problem in computer vision. This paper proposes a method named Text-to-Face Generation Using Multi-Scale Gradients for Conditional Generative Adversarial Networks (T2F-MSGGANs) that combines GANs and a natural language processing model to create human faces has features found in the input text. The proposed method addresses two problems of GANs: model collapse and training instability by investigating how gradients at multiple scales can be used to generate high-resolution images. We show that T2F-MSGGANs converge stably and generate good-quality images.

• 한국산학기술학회논문지
• /
• 제17권9호
• /
• pp.641-646
• /
• 2016

화석 연료의 연소 과정에서 발생하는 그을음 입자의 형상은 작은 구형입자들이 군집체를 이루고 있는 프랙탈 형상을 하고 있기에 기존 Rayleigh나 Mie 탄성 광 산란 이론으로 분석하는 것에는 한계가 있다. 본 논문에서는 Rayleigh-Debye Gans(RDG) 산란 이론을 적용하여 프랙탈 차원을 가지는 미세 입자의 형상을 효과적으로 해석할 수 있는 과정을 자세히 묘사하였다. 이소옥탄 확산 화염에서 발생하는 그을음 입자를 열 영동 채취법을 이용하여 채집한 후, 투과전자현미경을 이용하여 그을음 입자의 형상을 관찰하였다. RDG 산란 이론을 적용하여, 그을음 입자의 프랙탈 형상을 조사 하였고, 그을음 개별 입자의 직경, 입자 수밀도 및 부피 분율을 산출하였다. 이러한 결과들은 그을음의 성장 과정에서는 뚜렷한 증감 경향을 보이진 않았으나, 그을음 산화 과정에선 전부 뚜렷하게 감소하는 경향을 보였다. 본 연구에서 RDG 산란 이론을 이용하여 도출한 그을음 군칩체의 프랙탈 차원은 약 1.82로 이는 기존의 유사연구 결과와 동일하며, 화석연료의 종류에 상관없이 생성된 모든 그을음 입자에 동일한 값을 갖는 것으로 사료된다.

• Journal of Korean Neurosurgical Society
• /
• 제63권3호
• /
• pp.386-396
• /
• 2020

Objective : To generate synthetic spine magnetic resonance (MR) images from spine computed tomography (CT) using generative adversarial networks (GANs), as well as to determine the similarities between synthesized and real MR images. Methods : GANs were trained to transform spine CT image slices into spine magnetic resonance T2 weighted (MRT2) axial image slices by combining adversarial loss and voxel-wise loss. Experiments were performed using 280 pairs of lumbar spine CT scans and MRT2 images. The MRT2 images were then synthesized from 15 other spine CT scans. To evaluate whether the synthetic MR images were realistic, two radiologists, two spine surgeons, and two residents blindly classified the real and synthetic MRT2 images. Two experienced radiologists then evaluated the similarities between subdivisions of the real and synthetic MRT2 images. Quantitative analysis of the synthetic MRT2 images was performed using the mean absolute error (MAE) and peak signal-to-noise ratio (PSNR). Results : The mean overall similarity of the synthetic MRT2 images evaluated by radiologists was 80.2%. In the blind classification of the real MRT2 images, the failure rate ranged from 0% to 40%. The MAE value of each image ranged from 13.75 to 34.24 pixels (mean, 21.19 pixels), and the PSNR of each image ranged from 61.96 to 68.16 dB (mean, 64.92 dB). Conclusion : This was the first study to apply GANs to synthesize spine MR images from CT images. Despite the small dataset of 280 pairs, the synthetic MR images were relatively well implemented. Synthesis of medical images using GANs is a new paradigm of artificial intelligence application in medical imaging. We expect that synthesis of MR images from spine CT images using GANs will improve the diagnostic usefulness of CT. To better inform the clinical applications of this technique, further studies are needed involving a large dataset, a variety of pathologies, and other MR sequence of the lumbar spine.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1357-1369
• /
• 2022

구름 제거는 식생 모니터링, 변화 탐지 등과 같은 광학 영상이 필요한 모든 작업에서 필수적인 영상 처리 과정이다. 이 논문에서는 조건부 생성적 적대 신경망(conditional generative adversarial networks, cGANs)과 회귀 기반 보정을 결합하여 구름이 없는 시계열 광학 영상 세트를 구성하는 2단계의 구름 제거 기법을 제안하였다. 첫 번째 단계에서는 광학 영상과 synthetic aperture radar 영상 간 정량적 관계를 이용하는 cGANs을 이용하여 초기 예측 결과를 생성한다. 두 번째 단계에서는 구름이 아닌 영역에서 예측 결과와 실제 값과의 관계를 random forest 기반 회귀 모델링을 통해 정량화한 후에 cGANs 기반 예측 결과를 보정한다. 제안 기법은 김제의 벼 재배지에서 Sentinel-2 영상과 COSMO-SkyMed 영상을 이용한 구름 제거 실험을 통해 적용 가능성을 평가하였다. cGAN 모델은 구름 영역에서 지표면 상태의 급격한 변화가 발생하는 논 재배지를 대상으로 반사율 값을 효과적으로 예측할 수 있었다. 또한 두 번째 단계의 회귀 기반 보정은 예측 대상 영상에서 시간적으로 떨어진 보조 영상을 이용하는 회귀 기반 구름 제거 기법에 비해 예측 정확도를 향상시킬 수 있었다. 이러한 실험 결과는 구름이 없는 광학 영상을 환경 모니터링에 이용할 수 없는 경우 제안된 방법이 구름 오염 지역을 복원하는데 효과적으로 적용될 수 있음을 나타낸다.