• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.355-359
• /
• 2009

In this paper, we describe self-training super-resolution. Our approach is based on example based algorithms. Example based algorithms need training images, and selection of those changes the result of the algorithm. Consequently it is important to choose training images. We propose self-training based super-resolution algorithm which use an input image itself as a training image. It seems like other example based super-resolution methods, but we consider training phase as the step to collect primitive information of the input image. And some artifacts along the edge are visible in applying example based algorithms. We reduce those artifacts giving weights in consideration of the edge direction. We demonstrate the performance of our approach is reasonable several synthetic images and real images.

• International Journal of Computer Science & Network Security
• /
• 제21권12spc호
• /
• pp.463-468
• /
• 2021

Single image super-resolution (SISR) is an image processing technique, and its main target is to reconstruct the high-quality or high-resolution (HR) image from the low-quality or low-resolution (LR) image. Currently, deep learning-based convolutional neural network (CNN) image super-resolution approaches achieved remarkable improvement over the previous approaches. Furthermore, earlier approaches used hand designed filter to upscale the LR image into HR image. The design architecture of such approaches is easy, but it introduces the extra unwanted pixels in the reconstructed image. To resolve these issues, we propose novel deep learning-based approach known as Lightweight deep CNN-based approach for Single Image Super-Resolution (LDCSIR). In this paper, we propose a new architecture which is inspired by ResNet with Inception blocks, which significantly drop the computational cost of the model and increase the processing time for reconstructing the HR image. Compared with the other state of the art methods, LDCSIR achieves better performance in terms of quantitively (PSNR/SSIM) and qualitatively.

• 대한전자공학회논문지SD
• /
• 제46권5호
• /
• pp.39-48
• /
• 2009

1984년 처음 SR 알고리즘이 제안된 이후, 많은 SR 복원 알고리즘이 제안되었다 SR의 접근방법 중에서도 공간적 접근방법은 저해상도 이미지의 픽셀 값을 고해상도 이미지 격자에 매핑 함으로써 이루어진다. 이때, 저해상도 이미지들 간의 각각 다른 노이즈와 다른 PSF(Point Spread Function) 함수, 왜곡으로 인해 매핑 시 문제가 된다. 때문에 저해상도 이미지들의 노이즈 성분을 최소화하는 방법이 필요하다. 본 논문에서는 노이즈 성분을 최소화하는 방법으로 L1 norm의 방법을 사용하고 이와 동시에 이미지의 경계를 보완해주는 Huber norm을 사용하는 SR의 구조를 제안한다. 실험에서는 타 알고리즘과의 비교를 통해 제안한 알고리즘이 저해상도 이미지 상에 존재하는 노이즈를 줄이고 이미지 경계부분의 보완을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1242-1250
• /
• 2019

Super resolution technique aims to convert a low-resolution image with coarse details to a corresponding high-resolution image with refined details. In the past decades, the performance is greatly improved due to progress of deep learning models. However, universal solution for various objects is a still challenging issue. We observe that learning super resolution with a general dataset has poor performance on faces. In this paper, we propose a super resolution fusion scheme that works well for both general- and face datasets to achieve more universal solution. In addition, object-specific feature extractor is employed for better reconstruction performance. In our experiments, we compare our fusion image and super-resolved images from one- of the state-of-the-art deep learning models trained with DIV2K and FFHQ datasets. Quantitative and qualitative evaluates show that our fusion scheme successfully works well for both datasets. We expect our fusion scheme to be effective on other objects with poor performance and this will lead to universal solutions.

• 대한원격탐사학회지
• /
• 제39권4호
• /
• pp.395-407
• /
• 2023

Super-resolution (SR) has great significance in image processing because it enables downstream vision tasks with high spatial resolution. Recently, SR studies have adopted deep learning networks and achieved remarkable SR performance compared to conventional example-based methods. Deep-learning-based SR models generally require low-resolution (LR) images and the corresponding high-resolution (HR) images as training dataset. Due to the difficulties in obtaining real-world LR-HR datasets, most SR models have used only HR images and generated LR images with predefined degradation such as bicubic downsampling. However, SR models trained on simple image degradation do not reflect the properties of the images and often result in deteriorated SR qualities when applied to real-world images. In this study, we propose an image degradation model for HR satellite images based on the modulation transfer function (MTF) of an imaging sensor. Because the proposed method determines the image degradation based on the sensor properties, it is more suitable for training SR models on remote sensing images. Experimental results on HR satellite image datasets demonstrated the effectiveness of applying MTF-based filters to construct a more realistic LR-HR training dataset.

• Spatial Information Research
• /
• 제19권1호
• /
• pp.29-40
• /
• 2011

정지궤도 해색 센서(GOCI: Geostationary Ocean Color Imager) 는 세계 최초의 정지궤도 위성으로 매일 1 시간마다 8 장의 영상을 획득 할 수 있어 육상파 해양 모두 활용성이 높은 위성이다. 그러나 500m의 GSD(Ground Sample Distance)를 지니는 서해성도 영상은 육성 활용에 한계가 있다. 최근, 컴퓨터 비전분야에서 활발히 진행 중인 기술인 Super Resolution(이하 SR)는 유사 시간대에 촬영한 저해상도 영상으로부터 고해상도 영상을 제작하는 기술로, 이를 시간 해상도가 높은 시계열 위성인 GOCI에 적용한다면 해상도가 향상 된 영상을 제작하는 기술로, 이를 시간 해상도가 높은 시계열 위성인 GOCI에 적용한다면 해상도가 향상 된 영상의 취득이 가능하며, 또한 광학 위성 영상의 단점인 구름에 의해 손실된 지상 정보의 복원이 가능할 것이다. 본 연구에서는, GOCI 자료를 위한 효율적인 초해상도 영상 복원 알고리즘 개발을 위한 선행연구로써 위성 영상 취득과정과 유사한 환경의 시뮬레이션을 통해 시계열 자료를 제작하고, 제작된 자료를 제안한 알고리즘에 적용함으로서 0.1 단위의 픽셀 정합도를 확인하였고, 원본 영상과 RMSE 0.5763, PSNR 52.9183 db, SSIM Index 0.9486의 정확도를 나타낸 HR 영상을 복원하였다.

• 융합신호처리학회논문지
• /
• 제22권4호
• /
• pp.156-163
• /
• 2021

어텐션(Attention) 메커니즘은 딥러닝 기술을 활용한 다양한 컴퓨터 비전 시스템에서 활용되고 있으며, 초해상화(Super-resolution)를 위한 딥러닝 모델에도 어텐션 메커니즘을 적용하고 있다. 하지만 어텐션 메커니즘이 적용된 대부분의 초해상화 기법들은 Real 영상의 초해상화에만 초점을 맞추어서 연구되어, 어텐션 메커니즘을 적용한 초해상화가 CG나 VR 영상 초해상화에도 유효한지는 알기 어렵다. 본 논문에서는 최근에 제안된 어텐션 메커니즘 모듈인 BAM(Balanced Attention Mechanism) 모듈을 12개의 초해상화 딥러닝 모델에 적용한 후, CG나 VR 영상에서도 성능 향상 효과를 보이는지 확인하는 실험을 진행하였다. 실험 결과, BAM 모듈은 제한적으로 CG나 VR 영상의 초해상화 성능 향상에 기여하였으며, 데이터 특징과 크기, 그리고 네트워크 종류에 따라 성능 향상도가 달라진다는 것을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제49권4호
• /
• pp.23-31
• /
• 2012

본 논문은 움직임이 큰 저해상도 영상을 초고해상도 영상으로 복원하는 움직임 추정기반의 초고해상도 알고리즘을 제안한다. 일반적인 실험영상에 비해 실제 사용되는 움직임이 큰 영상은 부화소 움직임을 찾기가 어렵다. 또한 일반 움직임 추정기법을 이용한 참조이미지와 후보이미지를 찾기 위해서는 매우 높은 계산 복잡도를 가지는 단점이 있다. 이러한 문제점을 보완하기 위해 기존의 2차원적 움직임 추정기법을 이용하여 제안한 임계값을 기준으로 등록 조건을 만족하는 참조이미지를 결정하고, 후보 이미지들 사이의 최소 가중치를 가진 최적의 후보 이미지들을 찾아 초고해상도 복원과정을 진행하는 새로운 영상 등록 알고리즘을 제안하였다. 실험 결과에 따르면, 제안한 기법은 평균 PSNR이 31.89dB로 전통적인 초고해상도 기법보다 높은 PSNR을 보이며 계산 복잡도도 향상되는 결과가 나타났다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.703-712
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 그 대표적인 방법으로 영상의 특징 맵 기반 웨이블릿 계수 학습을 통해 고해상도 영상을 복원하는 WaveletSRNet이 있다. 하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 특징 맵을 효율적으로 활용하지 못 한다는 단점을 가지고 있다. 이를 개선하기 위해 본 논문에서는 단일 영상 초해상도 RDB-WaveletSRNet 기법을 제안한다. 제안된 기법은 잔여밀집블록(Residual Dense Block)을 사용하여 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률을 설정하여 복잡한 계산량 문제까지 해결하였다. 또한 웨이블릿 패킷 분해를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도를 얻게 하였다. 다양한 영상에 대한 실험을 통하여, 제안하는 기법이 기존 기법보다 수행시간이 빠르며 영상 품질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다.

• 한국융합학회논문지
• /
• 제11권3호
• /
• pp.19-26
• /
• 2020

본 논문에서는 학습된 사전 기반 초해상도 결과를 개선하기 위해 분석한 손실 영역을 기반으로 학습 데이터를 적용하는 방법을 제안하였다. 기존의 학습된 사전 기반 방법은 입력 영상의 특징을 고려하지 않는 학습된 영상의 형태로 출력할 수 있으며, 이 과정에서 인공물이 발생할 수 있다. 제안하는 방법은 입력 영상과 학습된 영상의 일치하지 않는 특징으로 인한 인공물 발생을 줄이기 위해 1차 복원 결과를 분석함으로써 손실 정보를 추정하였다. 추정된 결과의 잡음 및 화소 불균형을 가우시안 기반의 커널로 개선하여 생성된 특징 맵에 따라 학습 데이터를 매핑하였다. 결과 비교를 위해 기존의 초해상도 방법과 제안 방법의 결과를 고화질 영상과 PSNR(Peak Signal to Noise Ratio), SSIM(Structural SIMilarity Index) 으로 비교한 결과 각각 4%와 3%의 향상된 결과를 확인하였다.