• 방송공학회논문지
• /
• 제24권4호
• /
• pp.633-642
• /
• 2019

최근, 단일 이미지 초해상도 복원 기법(super-resolution)에서 컨볼루션 신경망 모델은 매우 성공적이다. 잔여 학습 기법은 컨볼루션 신경망 훈련의 안전성과 성능을 향상시킬 수 있다. 본 논문은 저해상도 입력 이미지에서 고해상도 목표 이미지로 비선형 매핑 학습을 위해 고밀도 스킵 연결(dense skip-connection)을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 복원 기법을 제안한다. 제안하는 단일 이미지 초해상도 복원 기법은 고밀도 스킵 연결 방식을 통해 재귀 잔차 학습 방법을 채택해서 깊은 신경망에서 학습이 어려운 문제를 완화하고 더 쉽게 최적화하기 위해 신경망 안에 불필요한 레이어를 제거한다. 제안하는 방법은 매우 깊은 신경망의 사라지는 변화도(vanishing gradient) 문제를 완화할 뿐만 아니고 낮은 복잡성으로 뛰어난 성능을 얻음으로써 단일 이미지 초해상도 복원 기법의 성능을 향상시킨다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬 보다 결과가 더 우수함을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1246-1262
• /
• 2021

Recent studies have demonstrated the strong ability of deep convolutional neural networks (CNNs) to significantly boost the performance in single image super-resolution (SISR). The key concern is how to efficiently recover and utilize diverse information frequencies across multiple network layers, which is crucial to satisfying super-resolution image reconstructions. Hence, previous work made great efforts to potently incorporate hierarchical frequencies through various sophisticated architectures. Nevertheless, economical SISR also requires a capable structure design to balance between restoration accuracy and computational complexity, which is still a challenge for existing techniques. In this paper, we tackle this problem by proposing a competent architecture called Enhanced U-Net Network (EUN), which can yield ready-to-use features in miscellaneous frequencies and combine them comprehensively. In particular, the proposed building block for EUN is enhanced from U-Net, which can extract abundant information via multiple skip concatenations. The network configuration allows the pipeline to propagate information from lower layers to higher ones. Meanwhile, the block itself is committed to growing quite deep in layers, which empowers different types of information to spring from a single block. Furthermore, due to its strong advantage in distilling effective information, promising results are guaranteed with comparatively fewer filters. Comprehensive experiments manifest our model can achieve favorable performance over that of state-of-the-art methods, especially in terms of computational efficiency.

• 디지털콘텐츠학회 논문지
• /
• 제19권6호
• /
• pp.1197-1205
• /
• 2018

본 논문에서는 함정전투체계의 EOTS나 IRST에서 획득한 영상을 초고해상도 영상으로 복원한다. 저해상도에서 초고해상도의 영상을 생성하는 생성 모델과 이를 판별하는 판별 모델로 구성된 생성적 적대 신경망을 이용하고, 다양한 학습 파라미터의 변화를 통한 최적의 값을 제안한다. 실험에 사용되는 학습 파라미터는 crop size와 sub-pixel layer depth, 학습 이미지 종류로 구성되며, 평가는 일반적인 영상 품질 평가 지표에 추가적으로 특징점 추출 알고리즘을 함께 사용하였다. 그 결과, Crop size가 클수록, Sub-pixel layer depth가 깊을수록, 고해상도의 학습이미지를 사용할수록 더 좋은 품질의 영상을 생성한다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.703-712
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 그 대표적인 방법으로 영상의 특징 맵 기반 웨이블릿 계수 학습을 통해 고해상도 영상을 복원하는 WaveletSRNet이 있다. 하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 특징 맵을 효율적으로 활용하지 못 한다는 단점을 가지고 있다. 이를 개선하기 위해 본 논문에서는 단일 영상 초해상도 RDB-WaveletSRNet 기법을 제안한다. 제안된 기법은 잔여밀집블록(Residual Dense Block)을 사용하여 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률을 설정하여 복잡한 계산량 문제까지 해결하였다. 또한 웨이블릿 패킷 분해를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도를 얻게 하였다. 다양한 영상에 대한 실험을 통하여, 제안하는 기법이 기존 기법보다 수행시간이 빠르며 영상 품질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다.

• 융합신호처리학회논문지
• /
• 제22권4호
• /
• pp.156-163
• /
• 2021

어텐션(Attention) 메커니즘은 딥러닝 기술을 활용한 다양한 컴퓨터 비전 시스템에서 활용되고 있으며, 초해상화(Super-resolution)를 위한 딥러닝 모델에도 어텐션 메커니즘을 적용하고 있다. 하지만 어텐션 메커니즘이 적용된 대부분의 초해상화 기법들은 Real 영상의 초해상화에만 초점을 맞추어서 연구되어, 어텐션 메커니즘을 적용한 초해상화가 CG나 VR 영상 초해상화에도 유효한지는 알기 어렵다. 본 논문에서는 최근에 제안된 어텐션 메커니즘 모듈인 BAM(Balanced Attention Mechanism) 모듈을 12개의 초해상화 딥러닝 모델에 적용한 후, CG나 VR 영상에서도 성능 향상 효과를 보이는지 확인하는 실험을 진행하였다. 실험 결과, BAM 모듈은 제한적으로 CG나 VR 영상의 초해상화 성능 향상에 기여하였으며, 데이터 특징과 크기, 그리고 네트워크 종류에 따라 성능 향상도가 달라진다는 것을 확인할 수 있었다.

• International Journal of Computer Science & Network Security
• /
• 제21권11호
• /
• pp.17-22
• /
• 2021

Recently, image super-resolution techniques used in convolutional neural networks (CNN) have led to remarkable performance in the research area of digital image processing applications and computer vision tasks. Convolutional layers stacked on top of each other can design a more complex network architecture, but they also use more memory in terms of the number of parameters and introduce the vanishing gradient problem during training. Furthermore, earlier approaches of single image super-resolution used interpolation technique as a pre-processing stage to upscale the low-resolution image into HR image. The design of these approaches is simple, but not effective and insert the newer unwanted pixels (noises) in the reconstructed HR image. In this paper, authors are propose a novel single image super-resolution architecture based on synchronized depthwise separable convolution with Dense Skip Connection Block (DSCB). In addition, unlike existing SR methods that only rely on single path, but our proposed method used the synchronizes path for generating the SISR image. Extensive quantitative and qualitative experiments show that our method (SDCN) achieves promising improvements than other state-of-the-art methods.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.5-8
• /
• 2019

단일 영상 초해상도 (Single Image Super-Resolution - SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 본 논문은 단일 영상 초해상도 성능을 개선하기 위해 웨이블릿 예측 네트워크를 효율적으로 적용하는 방법에 대해 연구하였으며, 저해상도 입력 영상의 특징을 잘 추출해내기 위해 네트워크 내부에 RDB를 적용하여 기존 방식보다 효율적으로 고해상도 영상 복원하는 기법을 제안한다. 모의실험을 통해 제안하는 방법이 기존 방법보다 화질은 약 PSNR 0.18dB만큼 우수하며 속도는 1.17배 빠른 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.102-105
• /
• 2019

In the classical single-image super-resolution (SISR) reconstruction method using convolutional neural networks, the extracted features are not fully utilized, and the training time is too long. Aiming at the above problems, we proposed an improved SISR method based on a residual network. Our proposed method uses a feature fusion technology based on improved residual blocks. The advantage of this method is the ability to fully and effectively utilize the features extracted from the shallow layers. In addition, we can see that the feature fusion can adaptively preserve the information from current and previous residual blocks and stabilize the training for deeper network. And we use the global residual learning to make network training easier. The experimental results show that the proposed method gets better performance than classic reconstruction methods.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.935-943
• /
• 2020

본 논문에서는 위상 홀로그램의 고해상도 디스플레이를 위하여 딥러닝을 사용하는 방법을 제안한다. 일반적인 보간법을 사용하면 복원결과의 밝기가 낮아지고 노이즈와 잔상이 생기는 문제점이 발생한다. 이를 해결하고자 SISR(Single-Image Super Resolution) 분야에서 좋은 성능을 보였던 신경망 구조로 홀로그램을 학습시켰다. 그 결과로 복원결과에서 발생한 문제를 개선하며 해상도를 증가시킬 수 있었다. 또한 성능을 높이기 위해 채널 수를 조절하여 동일한 학습 시에 0.3dB 이상의 결과 상승을 보였다.

• 한국인공지능학회지
• /
• 제12권3호
• /
• pp.1-7
• /
• 2024

In this paper, we propose an innovative super-resolution technique to address the issue of reduced accuracy in license plate recognition caused by low-resolution images. Conventional vehicle license plate recognition systems have relied on images obtained from fixed surveillance cameras for traffic detection to perform vehicle detection, tracking, and license plate recognition. However, during this process, image quality degradation occurred due to the physical distance between the camera and the vehicle, vehicle movement, and external environmental factors such as weather and lighting conditions. In particular, the acquisition of low-resolution images due to camera performance limitations has been a major cause of significantly reduced accuracy in license plate recognition. To solve this problem, we propose a Single Image Super-Resolution (SISR) model with a parallel structure that combines Multi-Scale and Attention Mechanism. This model is capable of effectively extracting features at various scales and focusing on important areas. Specifically, it generates feature maps of various sizes through a multi-branch structure and emphasizes the key features of license plates using an Attention Mechanism. Experimental results show that the proposed model demonstrates significantly improved recognition accuracy compared to existing vehicle license plate super-resolution methods using Bicubic Interpolation.