• 한국재료학회지
• /
• 제32권8호
• /
• pp.345-353
• /
• 2022

In this study, using deep learning, super-resolution images of transmission electron microscope (TEM) images were generated for nanomaterial analysis. 1169 paired images with 256 × 256 pixels (high resolution: HR) from TEM measurements and 32 × 32 pixels (low resolution: LR) produced using the python module openCV were trained with deep learning models. The TEM images were related to DyVO₄ nanomaterials synthesized by hydrothermal methods. Mean-absolute-error (MAE), peak-signal-to-noise-ratio (PSNR), and structural similarity (SSIM) were used as metrics to evaluate the performance of the models. First, a super-resolution image (SR) was obtained using the traditional interpolation method used in computer vision. In the SR image at low magnification, the shape of the nanomaterial improved. However, the SR images at medium and high magnification failed to show the characteristics of the lattice of the nanomaterials. Second, to obtain a SR image, the deep learning model includes a residual network which reduces the loss of spatial information in the convolutional process of obtaining a feature map. In the process of optimizing the deep learning model, it was confirmed that the performance of the model improved as the number of data increased. In addition, by optimizing the deep learning model using the loss function, including MAE and SSIM at the same time, improved results of the nanomaterial lattice in SR images were achieved at medium and high magnifications. The final proposed deep learning model used four residual blocks to obtain the characteristic map of the low-resolution image, and the super-resolution image was completed using Upsampling2D and the residual block three times.

• International Journal of Computer Science & Network Security
• /
• 제21권12spc호
• /
• pp.463-468
• /
• 2021

Single image super-resolution (SISR) is an image processing technique, and its main target is to reconstruct the high-quality or high-resolution (HR) image from the low-quality or low-resolution (LR) image. Currently, deep learning-based convolutional neural network (CNN) image super-resolution approaches achieved remarkable improvement over the previous approaches. Furthermore, earlier approaches used hand designed filter to upscale the LR image into HR image. The design architecture of such approaches is easy, but it introduces the extra unwanted pixels in the reconstructed image. To resolve these issues, we propose novel deep learning-based approach known as Lightweight deep CNN-based approach for Single Image Super-Resolution (LDCSIR). In this paper, we propose a new architecture which is inspired by ResNet with Inception blocks, which significantly drop the computational cost of the model and increase the processing time for reconstructing the HR image. Compared with the other state of the art methods, LDCSIR achieves better performance in terms of quantitively (PSNR/SSIM) and qualitatively.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권2호
• /
• pp.11-19
• /
• 2024

최근 방위 산업에서는 전시상황에서 병사의 전투력 및 생존성 증대를 위하여 지하 공간, 좁은 통로등에서 적에게 노출되지 않으며 정찰임무를 수행할 수 있는 소형 생체 모방 로봇의 수요가 늘어나고 있다. 특히 소형생체 모방 로봇에 사용 가능한 생체모방 영상 센서에 대한 연구가 많이 진행되고 있다. 그중 복안영상센서는 작은 크기, 적은 수차, 넓은 화각 등의 장점을 갖으며, 복안영상센서를 통해 출력된 복안 영상을 이용해 깊이 추정, HDR 등을 구현 하여 다양한 임무에서 활용 가능하다. 다만 복안영상은 작은 렌즈 크기와 렌즈의 구조로 인하여 영상의 품질이 저하되는 현상이 발생한다. 특히 복안영상으로 출력된 각 Sub-Aperture 이미지를 융합 시 이미지 품질이 많이 저하된다. 본 논문은 이미지 융합 시 이미지의 품질이 저하되는 문제를 극복하기 위하여 여러 이미지 개선 기능과 생성 신경망의 한 종류인 ESRGAN를 사용하여 복안영상 품질 향상 알고리즘을 제안한다. 본 논문에서 제안한 알고리즘은 이미지 전처리부, 이미지 융합부, 이미지 개선 부로 구성된다. 제안한 알고리즘을 복안 영상에 적용하면 영상 품질을 높힐 수 있어, 복안 영상을 이용한 다양한 연구에 활용될 수 있다.

• 대한전자공학회논문지SP
• /
• 제45권6호
• /
• pp.117-124
• /
• 2008

이미지 센서의 물리적 한계 가운데 공간 해상도의 제약과 다이내믹 레인지의 제약을 극복하기 위한 방법 가운데 신호처리기법에 기반하여 여러 장의 저해상도 영상으로부터 고해상도 영상을 복원하는 것과, 다이내믹 레인지가 좁은 여러 장의 영상으로부터 넓은 다이내믹 레인지를 갖는 영상을 복원하는 방법이 있다. 하지만, 일반적으로 실제 영상을 획득하는 과정에서 공간 해상도와 다이내믹 레인지의 제약을 동시에 받게 되므로, 이 두 제약을 동시에 극복하는 연구가 필요하다. 본 논문에서는 영상 장치의 응답 함수의 추정과 함께 공간 해상도와 다이내믹 레이지를 동시에 향상시킬 수 있는 알고리즘을 제안한다. 이를 위해 영상의 공간 해상도 제한과, 다이내믹 레인지의 제약을 포함하는 영상 획득 과정을 모델링하고, 이 영상 획득 모델을 기반으로 하여 영상 입력 장치의 응답 함수를 추정하고, 영상의 공간 해상도와 다이내믹 레인지를 동시에 향상시킬 수 있는 알고리즘을 제안한다. 실험 결과를 통해 제안된 알고리즘이 기존의 고해상도 복읜 알고리즘과 와이드 다이내믹 레인지 영상 복원을 연속적으로 처리한 결과보다 시각적, 수치적으로 더 좋은 결과를 보여줌을 확인할 수 있다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2008년도 춘계학술대회 논문집
• /
• pp.137-139
• /
• 2008

본 연구에서는 고해상도의 panchromatic 영상을 이용하여 저해상도의 multispectral 영상을 고해상도로 재구축하는 방법을 제시하고 있다. 제안된 방법은 저해상도와 고해상도 간의 선형 모형 사용하여 실제의 spectral 값에 부합하는 고해상도 영상을 재구축하며 두 단계로 이루어 진다. 본 연구에서 제안 방법을 이용하여 IKONOS 1m RGB 영상 생성하였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제1권1호
• /
• pp.17-26
• /
• 2012

This paper presents an image processing-based validation method for unrecognizable numbers in severely distorted license plate images which have been degraded by various factors including low-resolution, low light-level, geometric distortion, and periodic noise. Existing vehicle license plate recognition (LPR) methods assume that most of the image degradation factors have been removed before performing the recognition of printed numbers and letters. If this is not the case, conventional LPR becomes impossible. The proposed method adopts a novel approach where a set of reference number images are intentionally degraded using the same factors estimated from the input image. After a series of image processing steps, including geometric transformation, super-resolution, and filtering, a comparison using cross-correlation between the intentionally degraded reference and the input images can provide a successful identification of the visually unrecognizable numbers. The proposed method makes it possible to validate numbers in a license plate image taken under low light-level conditions. In the experiment, using an extended set of test images that are unrecognizable to human vision, the proposed method provides a successful recognition rate of over 95%, whereas most existing LPR methods fail due to the severe distortion.

• ETRI Journal
• /
• 제32권3호
• /
• pp.390-394
• /
• 2010

In this paper, we propose a new super-resolution technique based on interpolation of the high-frequency subband images obtained by discrete wavelet transform (DWT) and the input image. The proposed technique uses DWT to decompose an image into different subband images. Then the high-frequency subband images and the input low-resolution image have been interpolated, followed by combining all these images to generate a new super-resolved image by using inverse DWT. The proposed technique has been tested on Lena, Elaine, Pepper, and Baboon. The quantitative peak signal-to-noise ratio (PSNR) and visual results show the superiority of the proposed technique over the conventional and state-of-art image resolution enhancement techniques. For Lena's image, the PSNR is 7.93 dB higher than the bicubic interpolation.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.109-117
• /
• 2014

본 논문에서는 저해상도 영상들 사이의 움직임 정보를 사용하지 않고 서로 다른 형태의 열화영상들로부터 초해상도 영상을 복원하는 기술을 제안한다. 초해상도 영상 복원을 위해서 직사각형 조리개 마스크를 90도 회전하여 두 장의 영상을 취득하기 위한 렌즈시스템을 제안한다. 제안한 기술은 저해상도 영상에서 발생한 초점열화를 프레임마다 추정할 필요가 없고, 조리개 마스크 형태에 해당하는 초점열화만 추정하면 된다. 취득한 영상 간에는 평행 이동이 없기 때문에 영상정합이 필요하지 않다. 직사각형 조리개 마스크를 직교하여 취득한 두 장만의 영상으로 충분히 배타적인 정보를 얻을 수 있다. 따라서 저해상도 영상들 사이의 정합오류와 정합을 위한 계산량을 감소시킬 수 있기 때문에 고해상도 영상을 추정하기에 용이하다. 또한 기존의 카메라 렌즈 시스템에 조리개 마스크를 추가하여 적용할 수 있기 때문에 새로운 형태의 렌즈 시스템을 제작할 필요 없이 초해상도 영상을 복원할 수 있는 카메라 시스템으로 확장 가능하다. 마지막으로 본 논문에서 제안한 방향성 직사각형 열화를 사용한 초해상도 영상복원 기술의 성능을 검증하기 위해서 기존의 초해상도 영상복원 기술과 비교하였으며, 그 결과 해상도가 상당히 개선되었음을 보였다.

• 대한전자공학회논문지SP
• /
• 제38권2호
• /
• pp.169-178
• /
• 2001

고해상도 영상에 대한 요구는 점점 더 증가되고 있지만, 기존의 영상 시스템들이 어느 정도의 엘리어싱을 발생하기 때문에 해상도의 저하가 생긴다. 따라서 엘리어싱이 발생한 다수의 저해상도 영상들을 사용하여 하나의 고해상도 영상을 재구성해 내는 디지털 영상 처리기법이 연구되어 왔다. 기존의 연구들은 저해상도 영상들간의 부화소 단위의 움직임 정보가 정확하다고 가정하였기 때문에, 움직임 정보가 정확하지 않은 경우에 대해서는 만족할 만한 고해상도 영상을 얻을 수 없었다. 따라서 본 논문에서는 부화소 단위의 움직임 정보가 정확하지 않기 때문에 생긴 고해상도 영상 내의 왜곡을 줄일 수 있는 알고리즘을 제안하고자 한다. 이를 위해 정확하지 않은 부화소 단위의 움직임 정보가 고해상도 영상 재구성에 미치는 영향을 분석하고, 이를 각각의 저해상도 영상에 대하여 가우시안 오류가 첨가된 것으로 모델링하였다. 그리고 고해상도 영상 내의 왜곡을 줄이기 위해서 다중채널 디컨벌루션 기법을 수정하여 적용하였다. 본 논문에서 제안된 알고리즘의 타당성은 이론 및 실험을 통하여 검증할 수 있었다.

• 대한원격탐사학회지
• /
• 제39권4호
• /
• pp.395-407
• /
• 2023

Super-resolution (SR) has great significance in image processing because it enables downstream vision tasks with high spatial resolution. Recently, SR studies have adopted deep learning networks and achieved remarkable SR performance compared to conventional example-based methods. Deep-learning-based SR models generally require low-resolution (LR) images and the corresponding high-resolution (HR) images as training dataset. Due to the difficulties in obtaining real-world LR-HR datasets, most SR models have used only HR images and generated LR images with predefined degradation such as bicubic downsampling. However, SR models trained on simple image degradation do not reflect the properties of the images and often result in deteriorated SR qualities when applied to real-world images. In this study, we propose an image degradation model for HR satellite images based on the modulation transfer function (MTF) of an imaging sensor. Because the proposed method determines the image degradation based on the sensor properties, it is more suitable for training SR models on remote sensing images. Experimental results on HR satellite image datasets demonstrated the effectiveness of applying MTF-based filters to construct a more realistic LR-HR training dataset.