• 스마트미디어저널
• /
• 제11권11호
• /
• pp.25-31
• /
• 2022

자율주행 자동차에서 딥러닝 기반 영상처리는 매우 중요하다. 자동차를 비롯한 SoC(System on Chip) 환경에서 실시간으로 도로 영상을 처리하기 위해서는 영상처리 모델을 딥러닝 연산에 특화된 NPU(Neural Processing Unit) 상에서 실행해야 한다. 본 연구에서는 GPU 서버 환경에서 개발된 7종의 오픈소스 딥러닝 영상처리 모델들을 TIDL (Texas Instrument Deep Learning) NPU 환경에 이식하였다. 성능 평가와 시각화를 통해 본 연구에서 이식한 모델들이 SoC 가상환경에서 정상 작동함을 확인하였다. 본 논문은 NPU 환경의 제약으로 인해 이식 과정에 발생한 문제들과 그 해결 방법을 소개함으로써 딥러닝 모델을 SoC 환경에 이식하려는 개발자 및 연구자가 참고할 만한 사례를 제시한다.

• 디지털콘텐츠학회 논문지
• /
• 제19권6호
• /
• pp.1197-1205
• /
• 2018

본 논문에서는 함정전투체계의 EOTS나 IRST에서 획득한 영상을 초고해상도 영상으로 복원한다. 저해상도에서 초고해상도의 영상을 생성하는 생성 모델과 이를 판별하는 판별 모델로 구성된 생성적 적대 신경망을 이용하고, 다양한 학습 파라미터의 변화를 통한 최적의 값을 제안한다. 실험에 사용되는 학습 파라미터는 crop size와 sub-pixel layer depth, 학습 이미지 종류로 구성되며, 평가는 일반적인 영상 품질 평가 지표에 추가적으로 특징점 추출 알고리즘을 함께 사용하였다. 그 결과, Crop size가 클수록, Sub-pixel layer depth가 깊을수록, 고해상도의 학습이미지를 사용할수록 더 좋은 품질의 영상을 생성한다.

• 천문학회보
• /
• 제44권1호
• /
• pp.52.1-52.1
• /
• 2019

The Helioseismic and Magnetic Imager (HMI) is the instrument of Solar Dynamics Observatory (SDO) to study the magnetic field and oscillation at the solar surface. The HMI image is not enough to analyze very small magnetic features on solar surface since it has a spatial resolution of one arcsec. Super resolution is a technique that enhances the resolution of a low resolution image. In this study, we use a method for enhancing the solar image resolution using a Deep-learning model which generates a high resolution HMI image from a low resolution HMI image (4 by 4 binning). Deep learning networks try to find the hidden equation between low resolution image and high resolution image from given input and the corresponding output image. In this study, we trained a model based on a very deep residual channel attention networks (RCAN) with HMI images in 2014 and test it with HMI images in 2015. We find that the model achieves high quality results in view of both visual and measures: 31.40 peak signal-to-noise ratio(PSNR), Correlation Coefficient (0.96), Root mean square error (RMSE) is 0.004. This result is much better than the conventional bi-cubic interpolation. We will apply this model to full-resolution SDO/HMI and GST magnetograms.

• Journal of Multimedia Information System
• /
• 제9권2호
• /
• pp.75-86
• /
• 2022

The existing image quality assessment (IQA) datasets have a small number of samples. Some methods based on transfer learning or data augmentation cannot make good use of image quality-related features. A No Reference (NR)-IQA method based on multi-task training and quality awareness is proposed. First, single or multiple distortion types and levels are imposed on the original image, and different strategies are used to augment different types of distortion datasets. With the idea of weak supervision, we use the Full Reference (FR)-IQA methods to obtain the pseudo-score label of the generated image. Then, we combine the classification information of the distortion type, level, and the information of the image quality score. The ResNet50 network is trained in the pre-train stage on the augmented dataset to obtain more quality-aware pre-training weights. Finally, the fine-tuning stage training is performed on the target IQA dataset using the quality-aware weights to predicate the final prediction score. Various experiments designed on the synthetic distortions and authentic distortions datasets (LIVE, CSIQ, TID2013, LIVEC, KonIQ-10K) prove that the proposed method can utilize the image quality-related features better than the method using only single-task training. The extracted quality-aware features improve the accuracy of the model.

• 한국컴퓨터정보학회논문지
• /
• 제27권12호
• /
• pp.59-68
• /
• 2022

본 논문은 주어진 현품 영상과 도면 영상의 유사도를 비교하여 1:1 검증을 위한 방법을 제시한 것으로, CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 두 개로 결합하여 Siamese Net을 구성하고 현품 영상과 도면 영상(정면도, 좌우 측면도, 평면도 등)을 같은 제품이면 1로 다른 제품이면 0으로 학습하며, 추론은 현품 영상과 도면 영상을 쌍으로 질의하여 해당 쌍이 같은 제품인지 아닌지를 판별하는 딥러닝 모델을 제안한다. 현품 영상과 도면 영상과의 유사도가 문턱 값(Threshold: 0.5) 이상이면 동일한 제품이고, 문턱 값 미만이면 다른 제품이라고 판별한다. 본 연구에서는 질의 쌍으로 동일제품의 현품 영상과 도면 영상이 주어졌을 때(긍정 : 긍정) "동일제품"으로 판별할 정확도는 약 71.8%로 나타났고, 질의 쌍으로 다른 현품 영상과 도면 영상이 주어졌을 때(긍정: 부정) "다른제품"으로 판별할 정확도는 약 83.1%를 나타내었다. 향후 제안한 모델에 파라미터 최적화 연구를 접목하고 데이터 정제 등의 과정을 추가하여 현품 영상과 도면 영상의 매칭 정확도를 높이는 연구를 진행할 예정이다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.285-286
• /
• 2021

본 논문에서는 변환 학습을 기반으로 한 다중 클래스 이미지 장면 분류 방법을 제안하도록 한다. ImageNet 대형 이미지 데이터 세트에서 사전 훈련 된 네트워크 모델을 사용하여 다중 클래스의 자연 장면 이미지를 분류하였다. 실험에서 최적화 된 ResNet 모델은 Kaggle의 Intel Image Classification 데이터 세트에 분류되어 우수한 결과를 얻었다.

• 한국컴퓨터산업학회논문지
• /
• 제4권10호
• /
• pp.673-684
• /
• 2003

영상처리에 관한 이론을 제공하고 있는 대부분의 서적들은 여러 가지 영상처리 과정은 프로그램 코드로, 영상처리 결과는 결과 영상만을 단순하게 제공하고 있기 때문에 학습자가 그 처리과정과 결과를 직접 확인하기 위해서는 별도의 컴파일러를 사용해야 하는 불편함이 있다. 따라서 이론 학습과 동시에 그 결과를 확인할 수 있도록 실습을 병행할 수 있는 학습 도구의 개발이 필요하다. 본 논문에서는 영상처리에 관한 이론을 단원 별로 체계적으로 학습할 수 있을 뿐만 아니라, 해당 단원에 관계되는 영상처리과정을 이해할 수 있도록 제공되는 실습 창을 통해 직접 프로그램을 작성하고 실행하여 그 결과를 확인할 수 있는 현장 실습이 가능한 영상처리 학습 시스템을 제시 한다. 제시하는 시스템은 플랫폼에 독립인 시스템이 되기 위해서 자바 언어로 구현하였으며, 학습 내용의 체계적인 관리와 제공을 위해서 단원 별 내용을 데이터베이스로 구성함으로써 사용자가 필요에 따라 단원 별로 재학습하기에 적합하도록 구성하였다.

• 전자공학회논문지
• /
• 제54권2호
• /
• pp.76-82
• /
• 2017

랜섬웨어를 포함한 악성코드를 빠르게 탐지하여 빅데이터를 보호하기 위해 본 연구에서는 인공지능의 딥러닝으로 학습된 이미지 분석을 통한 악성코드 분석 기법을 제안한다. 우선 악성코드들에서 일반적으로 사용하는 2,400여개 이상의 데이터를 분석하여 인공신경망 Convolutional neural network 으로 학습하고 데이터를 이미지화 하였다. 추상화된 이미지 그래프로 변환하고 부분 그래프를 추출하여 악성코드가 나타내는 집합을 정리하였다. 제안한 논문에서 추출된 부분 집합들 간의 비교 분석을 통해 해당 악성코드들이 얼마나 유사한지를 실험으로 분석하였으며 학습을 통한 방법을 이용하여 빠르게 추출하였다. 실험결과로부터 인공지능의 딥러닝을 이용한 정확한 악성코드 탐지 가능성과 악성코드를 이미지화하여 분류함으로써 더욱 빠르고 정확한 탐지 가능성을 보였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제14권4호
• /
• pp.58-63
• /
• 2022

Recently, the improvement of computational processing ability due to the rapid development of computing technology has greatly advanced the field of artificial intelligence, and research to apply it in various domains is active. In particular, in the national defense field, attention is paid to intelligent recognition among machine learning techniques, and efforts are being made to develop object identification and monitoring systems using artificial intelligence. To this end, various image processing technologies and object identification algorithms are applied to create a model that can identify friendly and enemy weapon systems and personnel in real-time. In this paper, we conducted image processing and object identification focused on tanks among various weapon systems. We initially conducted processing the tanks' image using a convolutional neural network, a deep learning technique. The feature map was examined and the important characteristics of the tanks crucial for learning were derived. Then, using YOLOv5 Network, a CNN-based object detection network, a model trained by labeling the entire tank and a model trained by labeling only the turret of the tank were created and the results were compared. The model and labeling technique we proposed in this paper can more accurately identify the type of tank and contribute to the intelligent recognition system to be developed in the future.

• 한국멀티미디어학회논문지
• /
• 제25권8호
• /
• pp.1233-1241
• /
• 2022

Tumors of the brain are the deadliest, with a life expectancy of only a few years for those with the most advanced forms. Diagnosing a brain tumor is critical to developing a treatment plan to help patients with the disease live longer. A misdiagnosis of brain tumors will lead to incorrect medical treatment, decreasing a patient's chance of survival. Radiologists classify brain tumors via biopsy, which takes a long time. As a result, the doctor will need an automatic classification system to identify brain tumors. Image classification is one application of the deep learning method in computer vision. One of the deep learning's most powerful algorithms is the convolutional neural network (CNN). This paper will introduce a novel deep learning structure and image gradient to classify brain tumors. Meningioma, glioma, and pituitary tumors are the three most popular forms of brain cancer represented in the Figshare dataset, which contains 3,064 T1-weighted brain images from 233 patients. According to the numerical results, our method is more accurate than other approaches.