• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1246-1262
• /
• 2021

Recent studies have demonstrated the strong ability of deep convolutional neural networks (CNNs) to significantly boost the performance in single image super-resolution (SISR). The key concern is how to efficiently recover and utilize diverse information frequencies across multiple network layers, which is crucial to satisfying super-resolution image reconstructions. Hence, previous work made great efforts to potently incorporate hierarchical frequencies through various sophisticated architectures. Nevertheless, economical SISR also requires a capable structure design to balance between restoration accuracy and computational complexity, which is still a challenge for existing techniques. In this paper, we tackle this problem by proposing a competent architecture called Enhanced U-Net Network (EUN), which can yield ready-to-use features in miscellaneous frequencies and combine them comprehensively. In particular, the proposed building block for EUN is enhanced from U-Net, which can extract abundant information via multiple skip concatenations. The network configuration allows the pipeline to propagate information from lower layers to higher ones. Meanwhile, the block itself is committed to growing quite deep in layers, which empowers different types of information to spring from a single block. Furthermore, due to its strong advantage in distilling effective information, promising results are guaranteed with comparatively fewer filters. Comprehensive experiments manifest our model can achieve favorable performance over that of state-of-the-art methods, especially in terms of computational efficiency.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권4호
• /
• pp.2012-2027
• /
• 2019

Nutritional disorders are one of the most common diseases of crops and they often result in significant loss of agricultural output. Moreover, the imbalance of nutrition element not only affects plant phenotype but also threaten to the health of consumers when the concentrations above the certain threshold. A number of disease identification systems have been proposed in recent years. Either the time consuming or accuracy is difficult to meet current production management requirements. Moreover, most of the systems are hard to be extended, only detect a few kinds of common diseases with great difference. In view of the limitation of current approaches, this paper studies the effects of different trace elements on crops and establishes identification system. Specifically, we analysis and acquire eleven types of tomato nutritional disorders images. After that, we explore training and prediction effects and significances of super resolution of identification model. Then, we use pre-trained enhanced deep super-resolution network (EDSR) model to pre-processing dataset. Finally, we design and implement of diagnosis system based on deep learning. And the final results show that the average accuracy is 81.11% and the predicted time less than 0.01 second. Compared to existing methods, our solution achieves a high accuracy with much less consuming time. At the same time, the diagnosis system has good performance in expansibility and portability.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.242-251
• /
• 2020

최근 단일 영상 초해상도에 깊은 합성 곱 신경망을 적용한 알고리듬이 많이 연구되었다. 현존하는 딥러닝 기반 초해상도 기법들은 네트워크의 후반부에 해상도를 업샘플링 하는 구조를 가진다. 이러한 구조는 저해상도에서 고해상도로 한 번에 매핑을 하기에 많은 정보를 예측하는 높은 확대율에서 비효율적인 구조를 가진다. 본 논문에서는 반복적인 업-다운 샘플링 구조를 기반으로 하여 채널 집중 잔여 밀집 블록을 이용한 단일 영상 초해상도 기법을 제안한다. 제안한 알고리듬은 저해상도와 고해상도의 매핑 관계를 효율적으로 예측하여 높은 확대율에서 기존의 알고리듬에 비해 최대 0.14dB 성능 향상과 개선된 주관적 화질을 보여준다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권11호
• /
• pp.4065-4083
• /
• 2021

Super-resolution can improve the clarity of low-resolution (LR) images, which can increase the accuracy of high-level compute vision tasks. Portable devices have low computing power and storage performance. Large-scale neural network super-resolution methods are not suitable for portable devices. In order to save the computational cost and the number of parameters, Lightweight image processing method can improve the processing speed of portable devices. Therefore, we propose the Enhanced Information Multiple Distillation Network (EIMDN) to adapt lower delay and cost. The EIMDN takes feedback mechanism as the framework and obtains low level features through high level features. Further, we replace the feature extraction convolution operation in Information Multiple Distillation Block (IMDB), with Ghost module, and propose the Enhanced Information Multiple Distillation Block (EIMDB) to reduce the amount of calculation and the number of parameters. Finally, coordinate attention (CA) is used at the end of IMDB and EIMDB to enhance the important information extraction from Spaces and channels. Experimental results show that our proposed can achieve convergence faster with fewer parameters and computation, compared with other lightweight super-resolution methods. Under the condition of higher peak signal-to-noise ratio (PSNR) and higher structural similarity (SSIM), the performance of network reconstruction image texture and target contour is significantly improved.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1814-1828
• /
• 2021

Low-light image enhancement is a key technique to overcome the quality degradation of photos taken under scotopic vision illumination conditions. The degradation includes low brightness, low contrast, and outstanding noise, which would seriously affect the vision of the human eye recognition ability and subsequent image processing. In this paper, we propose an approach based on deep learning and Retinex theory to enhance the low-light image, which includes image decomposition, illumination prediction, image reconstruction, and image optimization. The first three parts can reconstruct the enhanced image that suffers from low-resolution. To reduce the noise of the enhanced image and improve the image quality, a super-resolution algorithm based on the Laplacian pyramid network is introduced to optimize the image. The Laplacian pyramid network can improve the resolution of the enhanced image through multiple feature extraction and deconvolution operations. Furthermore, a combination loss function is explored in the network training stage to improve the efficiency of the algorithm. Extensive experiments and comprehensive evaluations demonstrate the strength of the proposed method, the result is closer to the real-world scene in lightness, color, and details. Besides, experiments also demonstrate that the proposed method with the single low-light image can achieve the same effect as multi-exposure image fusion algorithm and no ghost is introduced.

• 융합신호처리학회논문지
• /
• 제23권3호
• /
• pp.160-165
• /
• 2022

상호증류는 교사 네트워크 도움 없이 다수의 네트워크 사이에 지식을 전달함으로써 협력적으로 학습하도록 유도하는 지식증류 방법이다. 본 논문은 상호증류가 초해상화 네트워크에도 적용 가능한지 확인하는 것을 목표로 한다. 이를 위해 상호증류를 SRGAN의 판별자에 적용하는 실험을 수행하고, 상호증류가 SRGAN의 성능 향상에 미치는 영향을 분석한다. 실험 결과, 상호증류를 통해 판별자의 지식을 공유한 SRGAN은 정량적, 정성적 화질이 개선된 초해상화 영상을 생성하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권8호
• /
• pp.2068-2082
• /
• 2023

With the rapid development of deep learning, Depth Map Super-Resolution (DMSR) method has achieved more advanced performances. However, when the upsampling rate is very large, it is difficult to capture the structural consistency between color features and depth features by these DMSR methods. Therefore, we propose a color-image guided DMSR method based on iterative depth feature enhancement. Considering the feature difference between high-quality color features and low-quality depth features, we propose to decompose the depth features into High-Frequency (HF) and Low-Frequency (LF) components. Due to structural homogeneity of depth HF components and HF color features, only HF color features are used to enhance the depth HF features without using the LF color features. Before the HF and LF depth feature decomposition, the LF component of the previous depth decomposition and the updated HF component are combined together. After decomposing and reorganizing recursively-updated features, we combine all the depth LF features with the final updated depth HF features to obtain the enhanced-depth features. Next, the enhanced-depth features are input into the multistage depth map fusion reconstruction block, in which the cross enhancement module is introduced into the reconstruction block to fully mine the spatial correlation of depth map by interleaving various features between different convolution groups. Experimental results can show that the two objective assessments of root mean square error and mean absolute deviation of the proposed method are superior to those of many latest DMSR methods.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권10호
• /
• pp.303-308
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 인지하였다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델에 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR의 활성함수를 변경하면서 진행한 실험에서 해상도를 2배로 변환하는 경우, 기존 활성함수인 ReLU가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 해상도를 4배로 변환하는 경우에서는 Leaky ReLU와 Swish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Leaky ReLU를 사용했을 때 기존 ReLU보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 또한 해상도를 8배로 변환하는 경우에서는 Mish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Mish를 사용했을 때 기존 ReLU보다 PSNR과 SSIM 평가지표가 평균 0.06%, 0.02%의 성능 향상을 확인할 수 있었다. 결론적으로 해상도를 4배로 변환하는 초해상화의 경우는 Leaky ReLU와 Swish가, 해상도를 8배로 변환하는 초해상화의 경우는 Mish가 ReLU 대비 향상된 성능을 보였다. 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU, Swish, Mish로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.