• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.691-694
• /
• 2022

최근 고해상도 영상이 필요하게 되었으며, 저해상도 영상을 고해상도 영상으로 변환하는 딥러닝 기반의 초해상도 알고리즘에 대한 연구가 활발히 진행되고 있다. 그럼에도 불구하고 딥러닝 기반의 초해상도 알고리즘은 하드웨어의 한계로 인해 임베디드 시스템에서 실행시간이 느린 단점이 있다. 본 논문에서는 심층신경망 기반의 초해상도 알고리즘의 네트워크 구조를 제시하고 다양한 활성화 함수에 따른 화질 및 실행시간 성능을 분석한다. 실험 결과, 젯슨 나노보드의 다양한 활성화 함수 중 화질과 실행 시간의 관계에서 도출한 최적의 활성화 함수가 PReLU 함수임을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.193-194
• /
• 2021

본 논문에서는 지식 증류 (knowledge distillation) 기법을 적용한 얼굴 초해상화 모델을 제안한다. 제안하는 기법은 최근 얼굴 복원 분야에서 좋은 성능을 보여준 얼굴 영역의 딕셔너리 (dictionary) 정보를 사용한 모델을 선생 모델로 선정하여 적대적 (adversarial) 지식 증류 기법을 통해 효율적인 학생 모델을 구축하였다. 본 논문은 테스트시 얼굴의 사전 정보가 초래하는 추가적인 비용이 필요 없는 얼굴 초해상화 방법을 제시하고, 제안하는 기법과 다양한 기존 초해상화 기법과의 정량적, 정성적 비교를 통해 우수성을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.540-543
• /
• 2020

기존의 초해상도 딥러닝 기법은 모델의 깊이가 깊어지면서, 좋은 성능을 내지만 점점 더 복잡해지고 있고, 실제로 사용하는데 있어 많은 시간을 요구한다. 이를 해결하기 위해, 우리는 딥러닝 모델의 가중치를 양자화 하여 추론시간을 줄이고자 한다. 초해상도 모델은 feature extraction, non-linear mapping, reconstruction 세 부분으로 나누어져 있으며, 레이어 사이에 많은 skip-connection 이 존재하는 특징이 있다. 따라서 양자화 시 최종 성능 하락에 미치는 영향력이 레이어 별로 다르며, 이를 감안하여 강화학습으로 레이어 별 최적 bit 를 찾아 성능 하락을 최소화한다. 본 논문에서는 Skip-connection 이 많이 존재하는 MSRN 을 사용하였으며, 결과에서 feature extraction, reconstruction 부분과 블록 내 특정 위치의 레이어가 항상 높은 bit 를 가짐을 알 수 있다. 기존에 영상 분류에 한정되어 사용되었던 혼합 bit 양자화를 사용하여 초해상도 딥러닝 기법의 모델 사이즈를 줄인 최초의 논문이며, 제안 방법은 모바일 등 제한된 환경에 적용 가능할 것으로 생각된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.221-223
• /
• 2022

최근 CNN(Convolutional Neural Network)은 초해상화(super-resolution)를 포함한 다양한 컴퓨터 비전 분야에서 우수한 성능을 보이며 널리 사용되고 있다. 그러나 CNN은 계산 집약적이고 많은 메모리가 요구되어 한정적인 하드웨어 자원인 모바일이나 IoT(Internet of Things) 기기에 적용하기 어렵다는 문제가 있다. 이런 한계를 해결하기 위해, 기 학습된 깊은 CNN 모델의 성능을 최대한 유지하며 네트워크의 깊이나 크기를 줄이는 경량화 연구가 활발히 진행되고 있다. 본 논문은 네트워크 경량화 기술인 지식증류(knowledge distillation) 중 자가증류(self-distillation)를 초해상화 CNN 모델에 적용하여 성능을 평가, 분석한다. 실험 결과, 정량적 평가지표를 통하여 자가증류를 통해서도 성능이 우수한 경량화된 초해상화 모델을 얻을 수 있음을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• Journal of the Korea Convergence Society
• /
• v.11 no.8
• /
• pp.7-13
• /
• 2020

Meteorology and climate are closely related to human life. By using high-resolution weather data, services that are useful for real-life are available, and the need to produce high-resolution weather data is increasing. We propose a method for super-resolution temperature data using SRCNN. To evaluate the super-resolution temperature data, the temperature for a non-observation point is obtained by using the inverse distance weighting method, and the super-resolution temperature data using interpolation is compared with the super-resolution temperature data using SRCNN. We construct an SRCNN model suitable for super-resolution of temperature data and perform super-resolution of temperature data. As a result, the prediction performance of the super-resolution temperature data using SRCNN was about 10.8% higher than that using interpolation.

• Journal of the Korea Convergence Society
• /
• v.9 no.6
• /
• pp.45-52
• /
• 2018

In this paper, we propose a linear interpolation method based on patch information generated from a low - resolution image for generating a super resolution image in a single image. Using the regression model of the global space, which is a conventional super resolution generation method, results in poor quality in general because of lack of information to be referred to a specific region. In order to compensate for these results, we propose a method to extract meaningful information by dividing the region into patches in the process of super resolution image generation, analyze the constituents of the image matrix region extended for super resolution image generation, We propose a method of linear interpolation based on optimal patch information that is searched by correlating patch information based on the information gathered before the interpolation process. For the experiment, the original image was compared with the reconstructed image with PSNR and SSIM.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.4
• /
• pp.53-60
• /
• 2011

This paper proposes fusion methods of license plate detection and super-resolution for improving license plate recognition in low-resolution images. In the proposed method, we apply the license plate detection based on local structure pattern feature and the sequential super-resolution based on Kalman filter. The proposed fusion methods are divided into two according to whether the license plate is detected or not in the input image : (i) performing license plate detection after restoring whole image through super resolution, and (ii) restoring only the detected region through super-resolution after detecting the license plate. We demonstrated effectiveness of the proposed methods in various environments.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.10B
• /
• pp.1124-1132
• /
• 2009

We proposed a new method to improve the resolution of elemental image set in the integral imaging system using super-resolution image reconstruction method. Adjacent elemental images have same image region which is projected from the common area of object. These projected images in the elemental image can be used for low resolution images of super-resolution method. Two methods for resolution improvement of elemental image set using super-resolution method are proposed. One is super-resolution among the elemental image sets and the other is among the elemental images. Simulation results are compared with resolution improved elemental image set using interpolated method.

• The Journal of the Acoustical Society of Korea
• /
• v.40 no.2
• /
• pp.121-129
• /
• 2021

This paper deals with a super-resolution that improves the resolution of side scan sonar images using learning-based compressive sensing. Learning-based compressive sensing combined with deep learning and compressive sensing takes a structure of a feed-forward network and parameters are set automatically through learning. In particular, we propose a method that can effectively extract additional information required in the super-resolution process through various initialization methods. Representative experimental results show that the proposed method provides improved performance in terms of Peak Signal-to-Noise Ratio (PSNR) and Structure Similarity Index Measure (SSIM) than conventional methods.