• 제목/요약/키워드: 순환 적대적 생성 신경망

검색결과 8건 처리시간 0.023초

순환 적대적 생성 신경망을 이용한 안면 교체를 위한 새로운 이미지 처리 기법 (A New Image Processing Scheme For Face Swapping Using CycleGAN)

  • 반태원
    • 한국정보통신학회논문지
    • /
    • 제26권9호
    • /
    • pp.1305-1311
    • /
    • 2022
  • 최근 모바일 단말기 및 개인형 컴퓨터의 비약적인 발전과 신경망 기술의 등장으로 영상을 활용한 실시간 안면 교체가 가능해졌다. 특히, 순환 적대적 생성 신경망은 상호 연관성이 없는 이미지 데이터를 활용한 안면 교체가 가능하게 만들었다. 본 논문에서는 적은 학습 데이터와 시간으로 안면 교체의 품질을 높일 수 있는 입력 데이터 처리 기법을 제안한다. 제안 방식은 사전에 학습된 신경망을 통해서 추출된 안면의 특이점 정보와 안면의 구조와 표정에 영향을 미치는 주요 이미지 정보를 결합함으로써 안면 표정과 구조를 보존하면서 이미지 품질을 향상시킬 수 있다. 인공지능 기반의 무참조 품질 메트릭 중의 하나인 blind/referenceless image spatial quality evaluator (BRISQUE) 점수를 활용하여 제안 방식의 성능을 정량적으로 분석하고 기존 방식과 비교한다. 성능 분석 결과에 따르면 제안 방식은 기존 방식 대비 약 4.6%~14.6% 개선된 BRISQUE 점수를 나타내었다.

RNN-GAN을 이용한 코드 기반의 단계적 트로트 음악 생성 기법 (Chord-based stepwise Korean Trot music generation technique using RNN-GAN)

  • 황서림;박영철
    • 한국음향학회지
    • /
    • 제39권6호
    • /
    • pp.622-628
    • /
    • 2020
  • 본 논문은 순환 신경망(Recurrent Neural Network, RNN)으로 구성된 적대적 생성 신경망(Generative Adversarial Network, GAN) 모델을 사용하여 자동으로 트로트 음악을 생성하는 음악생성 기법을 제안한다. 제안된 방법은 음악의 뼈대를 담당하는 코드를 만들고, 만들어진 코드 열을 기반으로 멜로디와 베이스(bass)를 단계적으로 생성한 뒤, 해당 코드에 붙임으로써 구조화된 음악을 완성하는 방법을 사용한다. 또한 인트로나 벌스, 코러스 등과 같이 일정 구간으로 나뉘어 구조가 반복되는 트로트 가요의 특징을 적용하여 벌스의 코드 진행으로부터 새로운 코러스 코드 진행을 만들어내고, 다시 해당 코드로부터 멜로디와 베이스를 단계적으로 생성하여 초기에 만들어진 트로트의 길이를 확장한다. 주관적 평가와 객관적 평가방법을 사용하여 생성된 음악의 품질을 측정하였으며, 기존의 트로트가 갖고 있는 음악적 특성과 유사한 음악을 생성함으로 확인하였다.

생성적 적대 신경망(GAN)을 활용한 강우예측모델 개발 (Developing radar-based rainfall prediction model with GAN(Generative Adversarial Network))

  • 최수연;손소영;김연주
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.185-185
    • /
    • 2021
  • 기후변화로 인한 돌발 강우 등 이상 기후 현상이 증가함에 따라 정확한 강우예측의 중요성은 더 증가하는 추세이다. 전통적인 강우예측의 경우 기상수치모델 또는 외삽법을 이용한 레이더 기반 강우예측 기법을 이용하며, 최근 머신러닝 기술의 발달에 따라 이를 활용한 레이더 자료기반 강우예측기법이 개발되고 있다. 기존 머신러닝을 이용한 강우예측 모델의 경우 주로 시계열 이미지 예측에 적합한 2차원 순환 신경망 기반 기법(Convolutional Long Short-Term Memory, ConvLSTM) 또는 합성곱 신경망 기반 기법(Convolutional Neural Network(CNN) Encoder-Decoder) 등을 이용한다. 본 연구에서는 생성적 적대 신경망 기반 기법(Generative Adversarial Network, GAN)을 이용해 미래 강우예측을 수행하도록 하였다. GAN 방법론은 이미지를 생성하는 생성자와 이를 실제 이미지와 구분하는 구별자가 경쟁하며 학습되어 현재 이미지 생성 분야에서 높은 성능을 보여주고 있다. 본 연구에서 개발한 GAN 기반 모델은 기상청에서 제공된 2016년~2019년까지의 레이더 이미지 자료를 이용하여 초단기, 단기 강우예측을 수행하도록 학습시키고, 2020년 레이더 이미지 자료를 이용해 단기강우예측을 모의하였다. 또한, 기존 머신러닝 기법을 기반으로 한 모델들의 강우예측결과와 GAN 기반 모델의 강우예측결과를 비교분석한 결과, 본 연구를 통해 개발한 강우예측모델이 단기강우예측에 뛰어난 성능을 보이는 것을 확인할 수 있었다.

  • PDF

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구 (A Study on the Emotional Text Generation using Generative Adversarial Network)

  • 김우성;김현철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.380-382
    • /
    • 2019
  • GAN(Generative Adversarial Network)은 정해진 학습 데이터에서 정해진 생성자와 구분자가 서로 각각에게 적대적인 관계를 유지하며 동시에 서로에게 생산적인 관계를 유지하며 가능한 긍정적인 영향을 주며 학습하는 기계학습 분야이다. 전통적인 문장 생성은 단어의 통계적 분포를 기반으로 한 마르코프 결정 과정(Markov Decision Process)과 순환적 신경 모델(Recurrent Neural Network)을 사용하여 학습시킨다. 이러한 방법은 문장 생성과 같은 연속된 데이터를 기반으로 한 모델들의 표준 모델이 되었다. GAN은 표준모델이 존재하는 해당 분야에 새로운 모델로써 다양한 시도가 시도되고 있다. 하지만 이러한 모델의 시도에도 불구하고, 지금까지 해결하지 못하고 있는 다양한 문제점이 존재한다. 이 논문에서는 다음과 같은 두 가지 문제점에 집중하고자 한다. 첫째, Sequential 한 데이터 처리에 어려움을 겪는다. 둘째, 무작위로 생성하기 때문에 사용자가 원하는 데이터만 출력되지 않는다. 본 논문에서는 이러한 문제점을 해결하고자, 부분적인 정답 제공을 통한 조건별 생산적 적대 생성망을 설계하여 이 방법을 사용하여 해결하였다. 첫째, Sequence to Sequence 모델을 도입하여 Sequential한 데이터를 처리할 수 있도록 하여 원시적인 텍스트를 생성할 수 있게 하였다. 둘째, 부분적인 정답 제공을 통하여 문장의 생성 조건을 구분하였다. 결과적으로, 제안하는 기법들로 원시적인 감정 텍스트를 생성할 수 있었다.

적대적 생성 신경망과 딥러닝을 이용한 교량 상판의 균열 감지 (Crack Detection on Bridge Deck Using Generative Adversarial Networks and Deep Learning)

  • 지봉준
    • 한국건설순환자원학회논문집
    • /
    • 제9권3호
    • /
    • pp.303-310
    • /
    • 2021
  • 교량의 균열은 교량의 상태를 나타내는 중요한 요소이며 주기적인 모니터링 대상이다. 그러나 전문가가 육안으로 점검하는 것은 비용, 시간, 신뢰성 면에서 문제가 있다. 따라서 최근에는 이러한 문제를 극복하기 위해 자동화 가능한 딥러닝 모델을 적용하기 위한 연구가 시작되었다. 딥러닝 모델은 예측할 상황에 대한 충분한 데이터가 필요하지만 교량 균열 데이터는 상대적으로 얻기가 어렵다. 특히 교량의 설계, 위치, 공법에 따라 교량 균열의 형상이 달라질 수 있어 특정 상황에서 많은 양의 균열 데이터를 수집하기 어려움이 따른다. 본 연구에서는 적대적 생성 신경망(Generative Adversarial Network, GAN)을 통해 불충분한 균열 데이터를 생성하고 학습하는 균열 탐지 모델을 개발했다. 본 연구에서는 GAN을 이용하여 주어진 균열 데이터와 통계적으로 유사한 데이터를 성공적으로 생성했으며, 생성된 이미지를 사용하지 않을 때보다 생성된 이미지를 사용할 때 약 3% 더 높은 정확도로 균열 감지가 가능했다. 이러한 접근 방식은 교량의 균열 검출이 필요하지만 균열 데이터는 충분하지 않거나 하나의 클래스에 대한 데이터가 상대적으로 적을 때 감지 모델의 성능을 효과적으로 향상시킬 것으로 기대된다.

순차적 추천에서의 RNN, CNN 및 GAN 모델 비교 연구 (A Comparison Study of RNN, CNN, and GAN Models in Sequential Recommendation)

  • 윤지형;정재원;장백철
    • 인터넷정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.21-33
    • /
    • 2022
  • 최근 추천 시스템은 영화, 음악, 온라인 쇼핑 및 SNS 등 다양한 분야들에서 광범위하게 활용되고 있으며, 추천 시스템 분야에서 1세대 모델이라고 할수 있는 Apriori 모델을 통한 연관분석부터 최근 많은 주목을 받는 딥러닝 기반 모델들까지 많은 모델들이 제안되어왔다. 추천 시스템에서 기본 모델들은 협업 필터링(Collaborative filtering) 방법, 콘텐츠 기반 필터링(Content-based filtering) 방법, 그리고 이 두 방법을 통합적으로 사용하는 하이브리드 필터링(Hybrid filtering) 방법으로 분류될 수 있다. 하지만 이러한 모델들은 최근 점점 빠르게 변화하는 사용자-아이템 간의 상호관계와 빅데이터의 발전과 같은 내외 변화 요인들에 적응하지 못하면서 점점 분야 내 방법론으로써의 지위를 잃어가고 있다. 반면, 추천 시스템 내에서 딥러닝 기반 모델들은 비선형 변환, 표현학습, 순차적 모델링, 그리고 유연성과 같은 장점들 때문에 그 비중이 높아지고 있는 추세이다. 본 논문에서는 딥러닝 기반 추천 모델들 중에서도 사용자-아이템 간의 상호작용에 대해 보다 정확하고, 유연성 있게 분석이 가능한 순차적 모델링에 적합한 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망 중심 기반 모델로 분류하여 비교 및 분석한다.

데이터 증강을 위한 순환 생성적 적대 신경망 기반의 아스팔트와 콘크리트 균열 영상 간의 변환 기법 (CycleGAN Based Translation Method between Asphalt and Concrete Crack Images for Data Augmentation)

  • 심승보
    • 한국ITS학회 논문지
    • /
    • 제21권5호
    • /
    • pp.171-182
    • /
    • 2022
  • 구조물을 안전하게 관리하기 위해서는 우선적으로 건전한 유지가 전제되어야 한다. 이 같은 구조물의 건전성을 결정하는 요인 중에서 가장 대표적인 예로는 균열을 들 수 있다. 여러 가지 원인에 의해 발생하는 균열은 다양한 종류와 형태로 구조물에 손상을 입힌다. 무엇보다 이러한 균열이 방치될 경우 위험도가 증가하여 안전사고로 이어질 수 있다. 이러한 문제점을 경감하기 위하여 최근 들어 딥러닝과 컴퓨터 비전 기술을 활용하여 손상을 점검하는 방법들이 소개되고 있다. 이 같은 방법들은 대체로 충분한 양의 학습 데이터가 필요한 것이 사실이다. 하지만, 학습을 위한 영상 데이터의 충분한 확보가 어렵다는 점은 딥러닝 균열 탐지 알고리즘의 성능에 부정적인 영향을 미친다. 따라서 본 논문에서는 이에 대한 문제의식을 바탕으로 영상 변환 기법을 활용하여 균열 영상 데이터를 증강하는 방법을 제시했다. 이는 아스팔트 균열 영상을 콘크리트 균열 영상으로 변환하거나 혹은 이와 반대로 콘크리트 균열 영상을 아스팔트 균열 영상으로 변환하여 딥러닝 신경망 모델을 학습하기 위한 영상 데이터를 확보하는 방법이다. 이를 통해 학습 데이터의 다양성을 향상시켜 강건한 균열 탐지 알고리즘 개발에 기여할 수 있기를 기대한다.

그라운드-롤 제거를 위한 CNN과 GAN 기반 딥러닝 모델 비교 분석 (Comparison of CNN and GAN-based Deep Learning Models for Ground Roll Suppression)

  • 조상인;편석준
    • 지구물리와물리탐사
    • /
    • 제26권2호
    • /
    • pp.37-51
    • /
    • 2023
  • 그라운드-롤(ground roll)은 육상 탄성파 탐사 자료에서 가장 흔하게 나타나는 일관성 잡음(coherent noise)이며 탐사를 통해 얻고자 하는 반사 이벤트 신호보다 훨씬 큰 진폭을 가지고 있다. 따라서 탄성파 자료 처리에서 그라운드-롤 제거는 매우 중요하고 필수적인 과정이다. 그라운드-롤 제거를 위해 주파수-파수 필터링, 커브릿(curvelet) 변환 등 여러 제거 기술이 개발되어 왔으나 제거 성능과 효율성을 개선하기 위한 방법에 대한 수요는 여전히 존재한다. 최근에는 영상처리 분야에서 개발된 딥러닝 기법들을 활용하여 탄성파 자료의 그라운드-롤을 제거하고자 하는 연구도 다양하게 수행되고 있다. 이 논문에서는 그라운드-롤 제거를 위해 CNN (convolutional neural network) 또는 cGAN (conditional generative adversarial network)을 기반으로 하는 세가지 모델(DnCNN (De-noiseCNN), pix2pix, CycleGAN)을 적용한 연구들을 소개하고 수치 예제를 통해 상세히 설명하였다. 알고리듬 비교를 위해 동일한 현장에서 취득한 송신원 모음을 훈련 자료와 테스트 자료로 나누어 모델을 학습하고, 모델 성능을 평가하였다. 이러한 딥러닝 모델은 현장자료를 사용하여 훈련할 때, 그라운드-롤이 제거된 자료가 필요하므로 주파수-파수 필터링으로 그라운드-롤을 제거하여 정답자료로 사용하였다. 딥러닝 모델의 성능 평가 및 훈련 결과 비교는 정답 자료와의 유사성을 기본으로 상관계수와 SSIM (structural similarity index measure)과 같은 정량적 지표를 활용하였다. 결과적으로 DnCNN 모델이 가장 좋은 성능을 보였으며, 다른 모델들도 그라운드-롤 제거에 활용될 수 있음을 확인하였다.