• Journal of Multimedia Information System
• /
• 제8권4호
• /
• pp.203-210
• /
• 2021

Deep leaning convolutional neural networks (CNN) have successfully been applied to image super-resolution (SR). Despite their great performances, SR techniques tend to focus on a certain upscale factor when training a particular model. Algorithms for single model multi-scale networks can easily be constructed if images are upscaled prior to input, but sub-pixel convolution upsampling works differently for each scale factor. Recent SR methods employ multi-scale and multi-path learning as a solution. However, this causes unshared parameters and unbalanced parameter distribution across various scale factors. We present a multi-scale single-path upsample module as a solution by exploiting the advantages of sub-pixel convolution and interpolation algorithms. The proposed model employs sub-pixel convolution for the highest scale factor among the learning upscale factors, and then utilize 1-dimension interpolation, compressing the learned features on the channel axis to match the desired output image size. Experiments are performed for the single-path upsample module, and compared to the multi-path upsample module. Based on the experimental results, the proposed algorithm reduces the upsample module's parameters by 24% and presents slightly to better performance compared to the previous algorithm.

• 한국인터넷방송통신학회논문지
• /
• 제22권5호
• /
• pp.185-191
• /
• 2022

본 연구에서는 U-Net, 잔차 신경망, 서브 픽셀 컨볼루션을 기반으로 새로운 초해상도 신경망을 제안한다. U-Net의 최대 풀링으로 인해 세부적인 정보의 손실이 일어나는 것을 막기 위해 서브 픽셀 컨볼루션을 활용한 다운 샘플링 그리고 연결을 제안한다. 이는 필터 안의 최대 값만으로 새로운 피처맵을 만드는 최대 풀링과 다르게 필터 안의 모든 픽셀을 사용한다. 2×2 크기의 필터가 지나가면서 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래의 픽셀들로만 이루어진 피처맵을 만든다. 이를 통해 크기가 절반이 되고, 피처맵이 개수가 4배가 된다. 그리고 연산량을 줄이기 위해 두 가지 방법을 제안했다. 첫 번째는 U-Net의 업 컨볼루션 대신 연산량이 없고, 성능이 더 좋은 서브 픽셀 컨볼루션을 사용한다. 두 번째는 U-Net의 연결 층 대신 두 피처 맵을 더하는 층을 사용한다. 밴치 마크 데이터 세트로 실험한 결과 스케일 2의 set5 데이터를 제외하고 모든 스케일 및 벤치마크 데이터 세트에서 더 나은 PSNR 값을 보여주고, 국소부위의 패턴을 명확하게 표현할 수 있었다.

• 한국융합학회논문지
• /
• 제11권12호
• /
• pp.15-22
• /
• 2020

본 논문은 채널 강조(Channel Attentin)와 공간 강조(Spatial Attention) 방법을 결합한 딥 러닝 기반의 초해상도 방법을 제안하였다. 초해상도 과정에서 질감, 특징과 같은 주변 픽셀의 변화량이 큰 고주파 성분의 복원이 중요하다. 채널 강조와 공간 강조를 결합한 특징 강조를 이용한 초해상도 방법을 제안하였다. 기존의 CNN(Convolutional Neural Network) 기반의 초해상도 방법은 깊은 네트워크의 학습이 어려우며, 고주파 성분의 강조가 부족하여 윤곽선이 흐려지거나 왜곡이 발생한다. 문제를 해결하기 위해 스킵-커넥션(Skip Connection)을 적용한 채널 강조와 공간 강조를 결합한 강조 블록과 잔차 블록(Residual Block)을 사용하였다. 방법으로 추출한 강조된 특징 맵을 부-픽셀 컨볼루션(Sub-pixel Convolution)을 통해 특징맵을 확장하여 초해상도를 진행하였다. 이를 통해 기존의 SRCNN과 비교하여 약 PSNR는 5%, SSIM은 3% 향상되었으며 VDSR과 비교를 통해 약 PSNR는 2%, SSIM은 1% 향상된 결과를 보였다.

• 한국멀티미디어학회논문지
• /
• 제9권8호
• /
• pp.1000-1009
• /
• 2006

본 논문에서는 부화소 단위의 적응적인 선형 보간법을 제안한다. 보통의 선형 보간법에 화소 마다 매개변수가 도입되고 이 매개 변수를 최적으로 구하기 위해서 저역 필터와 MMSE (minimum mean square error) 방법을 이용한 일반적인 보간 구조를 제안한다. 또한 제안된 일반적인 적응 선형 보간 구조에서 복잡도를 최소화한 방법을 유도하여 간단한 닫힌 형태의 식으로 제시한다. 기존 방법인 보통의 선형 보간법, 3차 컨볼루션 보간법에 비교하여 주관적으로나 객관적으로 제안된 방법의 우수함을 실험 결과로 알 수 있을 뿐만 아니라 왜곡 거리 선형 보간법(warped distance linear interpolation), 이동 선형 보간법(shifted linear interpolation) 등의 최근 기술과 비교하여도 우수함을 실험결과는 보여준다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2002년도 하계학술대회 논문집 D
• /
• pp.2521-2524
• /
• 2002

In this paper, We propose an Image processing algorithm for a paper-cup inner defect inspection. First, we devide a cup image to four sections considering the characteristic of a cup and filter noises limit by using the flood-fill algorithm and median filter. Second, to obtain the clearer inspection result of the edge point inner cup, We apply the sharpening convolution filer to the objected inspect the edge points by using the LOG edge detector. Third, executing sub-pixel operation with the orignal image, we find the defect parts in the cup. Finally, denoting the inspected defect parts as rectangular, we recompose the images of the defected ones.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권5호
• /
• pp.1141-1162
• /
• 2024

Humidity is an important parameter in meteorology and is closely related to weather, human health, and the environment. Due to the limitations of the number of observation stations and other factors, humidity data are often not as good as expected, so high-resolution humidity fields are of great interest and have been the object of desire in the research field and industry. This study presents a novel super-resolution algorithm for humidity fields based on the Wasserstein generative adversarial network(WGAN) framework, with the objective of enhancing the resolution of low-resolution humidity field information. WGAN is a more stable generative adversarial networks(GANs) with Wasserstein metric, and to make the training more stable and simple, the gradient cropping is replaced with gradient penalty, and the network feature representation is improved by sub-pixel convolution, residual block combined with convolutional block attention module(CBAM) and other techniques. We evaluate the proposed algorithm using ERA5 relative humidity data with an hourly resolution of 0.25°×0.25°. Experimental results demonstrate that our approach outperforms not only conventional interpolation techniques, but also the super-resolution generative adversarial network(SRGAN) algorithm.