• 제목/요약/키워드: Super resolution convolutional neural network

검색결과 47건 처리시간 0.025초

Super-resolution Convolutional Neural Network를 이용한 전산화단층상의 화질 평가 (Image Quality Evaluation in Computed Tomography Using Super-resolution Convolutional Neural Network)

  • 남기복;조정효;이승완;김번영;임도빈;이다혜
    • 한국방사선학회논문지
    • /
    • 제14권3호
    • /
    • pp.211-220
    • /
    • 2020
  • 고화질의 전산화단층촬영상을 통해 정확한 병변 검출과 진단을 할 수 있다. 이와 같은 장점 때문에 전산화단층촬영 시 방사선량을 줄이면서 영상 화질을 개선하기 위해 많은 연구가 수행되었다. 최근 전산화단층촬영상 화질을 향상시키기 위한 딥러닝 기반 기술이 개발되었고, 기존의 기술에 비해 우수한 성능을 보이고 있다. 본 연구에서는 전산화단층촬영상의 공간분해능을 향상시키기 위해 초고해상도 합성곱 신경망 모델을 사용하였으며, 초고해상도 합성곱 신경망 모델의 성능을 결정하는 초 매개 변수 변화에 따른 영상 화질을 평가하여 초고해상도 합성곱 신경망 모델에 대한 초 매개 변수의 효과를 검증하였다. Profile, 구조적 유사성 지수, 최대신호 대 잡음비 및 반치폭을 측정하여 초 매개 변수 변화에 따른 초고해상도 합성곱 신경망 모델의 성능을 평가하였다. 연구결과, 초고해상도 합성곱 신경망 모델의 성능은 epoch와 training set이 증가함에 따라 향상되었으며, 전산화단층촬영상 화질을 향상시키기 위해 learning rate 최적화가 필요하다는 사실을 확인하였다. 따라서 최적의 초 매개 변수와 함께 구현된 초고해상도 합성곱 신경망 모델은 전산화단층촬영상의 품질을 향상시킬 수 있다.

A Study on Applying the SRCNN Model and Bicubic Interpolation to Enhance Low-Resolution Weeds Images for Weeds Classification

  • Vo, Hoang Trong;Yu, Gwang-hyun;Dang, Thanh Vu;Lee, Ju-hwan;Nguyen, Huy Toan;Kim, Jin-young
    • 스마트미디어저널
    • /
    • 제9권4호
    • /
    • pp.17-25
    • /
    • 2020
  • In the image object classification problem, low-resolution images may have a negative impact on the classification result, especially when the classification method, such as a convolutional neural network (CNN) model, is trained on a high-resolution (HR) image dataset. In this paper, we analyze the behavior of applying a classical super-resolution (SR) method such as bicubic interpolation, and a deep CNN model such as SRCNN to enhance low-resolution (LR) weeds images used for classification. Using an HR dataset, we first train a CNN model for weeds image classification with a default input size of 128 × 128. Then, given an LR weeds image, we rescale to default input size by applying the bicubic interpolation or the SRCNN model. We analyze these two approaches on the Chonnam National University (CNU) weeds dataset and find that SRCNN is suitable for the image size is smaller than 80 × 80, while bicubic interpolation is convenient for a larger image.

질감 대조 가중치를 이용한 단일 영상의 초해상도 기법 (Single Image Super Resolution Method based on Texture Contrast Weighting)

  • 한현호
    • 디지털정책학회지
    • /
    • 제3권1호
    • /
    • pp.27-32
    • /
    • 2024
  • 본 논문은 초해상도 결과의 품질을 향상시키기 위해 질감 특징을 세분화하여 각각을 대조하고, 그 결과를 가중치로 이용하는 초해상도 방법을 제안하였다. 초해상도에서 중요한 평가 기준인 품질의 향상을 위해서는 경계 영역과 같은 세부사항에서의 정확하고 명확한 복원 결과가 필요하며, 인공물과 같은 불필요한 잡음을 최소화하는 것이 중요하다. 제안하는 방법은 품질 향상을 위해 기존 CNN(Convolutional Neural Network) 기반의 초해상도 방법에서 특징 추정을 위해 다중 경로의 잔차 블록 구조와 skip-connection을 구성하였다. 추가적인 질감 분석을 위한 선명 및 흐림 이미지 결과를 추가로 학습하였다. 이를 활용하여 초해상도 수행 결과 또한 각각을 대조하여 가중치를 할당하는 방법을 이용해 영상의 세부사항 영역과 평활화 영역에 대해 개선된 품질을 얻을 수 있도록 하였다. 제안하는 방법의 실험 결과 평가 기준으로 활용되는 PSNR과 SSIM 값이 기존 알고리즘 대비 높은 결과 값을 얻어 품질이 개선됨을 확인할 수 있었다.

Improvement of signal and noise performance using single image super-resolution based on deep learning in single photon-emission computed tomography imaging system

  • Kim, Kyuseok;Lee, Youngjin
    • Nuclear Engineering and Technology
    • /
    • 제53권7호
    • /
    • pp.2341-2347
    • /
    • 2021
  • Because single-photon emission computed tomography (SPECT) is one of the widely used nuclear medicine imaging systems, it is extremely important to acquire high-quality images for diagnosis. In this study, we designed a super-resolution (SR) technique using dense block-based deep convolutional neural network (CNN) and evaluated the algorithm on real SPECT phantom images. To acquire the phantom images, a real SPECT system using a99mTc source and two physical phantoms was used. To confirm the image quality, the noise properties and visual quality metric evaluation parameters were calculated. The results demonstrate that our proposed method delivers a more valid SR improvement by using dense block-based deep CNNs as compared to conventional reconstruction techniques. In particular, when the proposed method was used, the quantitative performance was improved from 1.2 to 5.0 times compared to the result of using the conventional iterative reconstruction. Here, we confirmed the effects on the image quality of the resulting SR image, and our proposed technique was shown to be effective for nuclear medicine imaging.

비지역 희소 어텐션 메커니즘을 활용한 초해상화 (Super-Resolution Using NLSA Mechanism)

  • 김소원;박한훈
    • 융합신호처리학회논문지
    • /
    • 제23권1호
    • /
    • pp.8-14
    • /
    • 2022
  • 딥러닝이 발전하면서 초해상화 기술은 단순 보간법(Interpolation)에서 벗어나 딥러닝을 활용해 발전하고 있다. 딥러닝을 사용한 초해상화 기술은 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 연구가 일반적이지만, 최근에는 어텐션(Attention) 메커니즘을 활용한 초해상화 연구가 활발히 진행되고 있다. 본 논문에서는 어텐션 메커니즘 중 하나인 비지역 희소 어텐션(Non-Local Sparse Attention, NLSA)을 활용한 초해상화 성능 향상 방법을 제안한다. 실험을 통해 NLSA를 함께 활용하면 기존 초해상화 신경망 모델인 IMDN, CARN, OISR-LF-s의 성능이 향상되는 것을 확인할 수 있었다.

Super-resolution of compressed image by deep residual network

  • Jin, Yan;Park, Bumjun;Jeong, Jechang
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.59-61
    • /
    • 2018
  • Highly compressed images typically not only have low resolution, but are also affected by compression artifacts. Performing image super-resolution (SR) directly on highly compressed image would simultaneously magnify the blocking artifacts. In this paper, a SR method based on deep learning is proposed. The method is an end-to-end trainable deep convolutional neural network which performs SR on compressed images so as to reduce compression artifacts and improve image resolution. The proposed network is divided into compression artifacts removal (CAR) part and SR reconstruction part, and the network is trained by three-step training method to optimize training procedure. Experiments on JPEG compressed images with quality factors of 10, 20, and 30 demonstrate the effectiveness of the proposed method on commonly used test images and image sets.

  • PDF

특징 추출기에 따른 SRGAN의 초해상 성능 분석 (Super Resolution Performance Analysis of GAN according to Feature Extractor)

  • 박성욱;김준영;박준;정세훈;심춘보
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.501-503
    • /
    • 2022
  • 초해상이란 해상도가 낮은 영상을 해상도가 높은 영상으로 합성하는 기술이다. 딥러닝은 영상의 해상도를 높이는 초해상 기술에도 응용되며 실현은 2아4년에 발표된 SRCNN(Super Resolution Convolutional Neural Network) 모델로부터 시작됐다. 이후 오토인코더 (Autoencoders) 구조로는 SRCAE(Super Resolution Convolutional Autoencoders), 합성된 영상을 실제 영상과 통계적으로 구분되지 않도록 강제하는 GAN (Generative Adversarial Networks) 구조로는 SRGAN(Super Resolution Generative Adversarial Networks) 모델이 발표됐다. 모두 SRCNN의 성능을 웃도는 모델들이나 그중 가장 높은 성능을 끌어내는 SRGAN 조차 아직 완벽한 성능을 내진 못한다. 본 논문에서는 SRGAN의 성능을 개선하기 위해 사전 훈련된 특징 추출기(Pre-trained Feature Extractor) VGG(Visual Geometry Group)-19 모델을 변경하고, 기존 모델과 성능을 비교한다. 실험 결과, VGG-19 모델보다 윤곽이 뚜렷하고, 실제 영상과 더 가까운 영상을 합성할 수 있는 모델을 발견할 수 있을 것으로 기대된다.

경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술 (Deep Learning-based Real-Time Super-Resolution Architecture Design)

  • 안세현;강석주
    • 방송공학회논문지
    • /
    • 제26권2호
    • /
    • pp.167-174
    • /
    • 2021
  • 초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

얼굴영상의 초해상도화 및 Tanh-polar 변환 기반의 인지나이 예측 (Perceived Age Prediction from Face Image Based on Super-resolution and Tanh-polar Transform)

  • 안일구 ;이시우
    • 대한의용생체공학회:의공학회지
    • /
    • 제44권5호
    • /
    • pp.329-335
    • /
    • 2023
  • Perceived age is defined as age estimated based on physical appearance. Perceived age is an important indicator of the overall health status of the elderly. This is because people who appear older tend to have higher rates of morbidity and mortality than people of the same chronological age. Although perceived age is an important indicator, there is a lack of objective methods to quantify perceived age. In this paper, we construct a quantified perceived age model from face images using a convolutional neural network. The face images are enlarged to super-resolution and the skin, an important feature in perceived age, is made clear. Moreover, through Tanh-polar transformation, the central area of the face occupies a relatively larger area than the boundary area, helping the neural network better recognize facial skin features. The experimental results show mean absolute error (MAE) of 6.59, showing that the proposed model is superior to existing method.

Multiple Binarization Quadtree Framework for Optimizing Deep Learning-Based Smoke Synthesis Method

  • Kim, Jong-Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권4호
    • /
    • pp.47-53
    • /
    • 2021
  • 본 논문에서는 초해상도(Super-Resolution, SR)을 계산하는데 필요한 물리 기반 시뮬레이션 데이터를 효율적으로 분류하고 분할하여 빠르게 SR연산을 가능하게 하는 쿼드트리 기반 최적화 기법을 제안한다. 제안하는 방법은 입력 데이터로 사용하는 연기 시뮬레이션 데이터를 다운스케일링(Downscaling)하여 쿼드트리 연산 소요 시간을 대폭 감소시킨다. 이 과정에서 연기의 밀도를 이진화함으로써, 다운스케일링 과정에서 밀도가 수치 손실되는 문제를 완화하며 쿼드트리를 구축한다. 학습에 사용된 데이터는 COCO 2017 데이터 셋이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual) 보완 방식과 유사하게 이전 계층의 출력 값을 더해주며 학습을 진행한다. 실험결과가 연기의 경우 제안된 방법은 이전 접근법에 비해 약 15~18배 정도의 속도향상을 얻었다.