• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.303-306
• /
• 2021

이미지 초해상도는 영상 취득 과정에서 센서와 렌즈의 물리적인 한계 등으로 인하여 의해 화질이 저하된 이미지를 더 높은 배율로 복원하는 문제이다. 이미지 초해상도는 딥러닝을 통해 놀라운 성능향상을 이루었지만, 카메라로 촬영된 실제 이미지에서는 좋은 성능을 내지 못하였다. 이는 딥러닝에서는 'bicubic' 커널로 down-sampling된 합성 이미지 데이터를 사용하였던 것과 달리 실제 이미지에서는 'bicubic' 커널을 통한 화질 저하와는 다른 화질 저하, 즉 다른 커널을 통한 화질 저하가 발생하기 때문이다. 따라서 실제 이미지에 대한 성능을 높이기 위해서는 이에 대한 정확한 커널 예측이 필요하다. 최근 주목받기 시작한 이미지 초해상도를 위한 커널 예측은 초해상도를 잘 시켜주는 커널을 직접 찾는 방법[10, 13]과 이미지의 분포와 커널을 통해 다운샘플된 이미지에 대한 분포를 일치시켜주면서 커널을 예측하는 방법[14]으로 나누어져 있다. 그러나 두 방법 모두 ill-posed problem 인 커널 예측 문제를 한 장의 이미지만으로 해결하려는 것이기 때문에 정확한 예측에는 어려움이 발생한다. 따라서 본 논문에서는 두 장의 이미지를 활용한 이미지 화질 저하 커널 예측 방법을 제안한다. 제안된 방법은 두 장의 이미지가 같은 카메라를 통해 촬영되었으며 이때 이미지 화질 저하는 카메라에 의해서만 영향을 받는다는 가정을 기반으로 한다. 즉, 두 장의 이미지는 같은 커널을 통해 저하된 이미지라는 가정을 한다. 제안된 방법은 [14]에서처럼 이미지 분포를 기반으로 한 커널 예측을 진행하며, 이미지 초해상도를 진행하고자 하는 이미지 외에 참고 이미지 또한 같은 커널에서 화질 저하를 시켰을 때 본래의 이미지와 같은 분포에 있도록 학습을 진행한다. 결과적으로 본 논문에서는 두 장의 이미지를 사용하였을 때 더욱 정확하게 커널을 찾을 수 있음을 보여준다. 두 장의 이미지를 활용하는 방식이 한 장의 이미지만을 활용하는 기존의 최고 수준의 방법에 비해 합성된 다양한 커널 데이터셋[14]에서 약 0.17dB 성능 향상이 있었다.

• Journal of KIISE
• /
• v.42 no.6
• /
• pp.764-768
• /
• 2015

Requirement of effective image handling methods such as image retrieval has been increasing with the rising production and consumption of multimedia data. In this paper, a method of constructing more effective descriptor is proposed for robust keypoint based image retrieval. The proposed method uses information embedded in the first order and second order derivative images, in addition to the scale space image, for the descriptor construction. The performance of multi-image descriptor is evaluated in terms of the similarities in keypoints with a public domain image database that contains various image transformations. The proposed descriptor shows significant improvement in keypoint matching with minor increase of the length.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.375-378
• /
• 2019

최근 딥러닝과 머신러닝 기법이 소프트웨어의 성능 향상에 도움이 되는 것이 입증됨에 따라, 의료 영상 진단 보조 소프트웨어를 개발하기 위한 시도가 활발해 지고 있다. 그 중 캡슐내시경은 소장 소화기관을 관찰할 수 있는 초소형 의료기기로, 기존의 내시경 검사와 다르게 이물감이 느껴지지 않고 의료보험 적용으로 최근 들어 널리 이용되고 있다. 일반적으로 캡슐 내시경은 8 시간 동안 소화기간을 촬영하며, 한 번의 검사 결과로 생성된 동영상 데이터 셋은 수 만장의 이미지를 포함하기 때문에, 방대한 양의 이미지들을 효율적으로 관리하기 위한 체계가 필요하다. 특히, 방대한 양의 캡슐내시경 이미지를 학습하는 경우, 수 만장의 이미지 속에서 유의미한 특징(촬영정보, 의사소견, 환자정보, 병변의 위치 및 크기 등)을 추출해내야 하므로 학습 데이터 레이블링을 위한 정보를 정확히 추출해야 하는 작업이 요구된다. 따라서 본 논문에서는 캡슐내시경 영상을 학습할 때, 학습 데이터 레이블 정보를 체계적으로 구축할 수 있게 하는 레이블 정보 추출 기법을 제안하고자 한다. 제안하는 기법은 병원에서 14년간 수집된 총 340명의 캡슐내시경 데이터(약 1,700 만장의 이미지)를 토대로 영상데이터를 구조적으로 분석하여 유의미한 정보를 추출하고 노이즈 데이터를 제거한 뒤, 빅데이터 저장소에 적재할 수 있음을 보였다.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.748-757
• /
• 2021

In this paper, we propose a gaze estimation network in which eye landmark position detection and gaze direction vector estimation are integrated into one deep learning network. The proposed network uses the Stacked Hourglass Network as a backbone structure and is largely composed of three parts: a landmark detector, a feature map extractor, and a gaze direction estimator. The landmark detector estimates the coordinates of 50 eye landmarks, and the feature map extractor generates a feature map of the eye image for estimating the gaze direction. And the gaze direction estimator estimates the final gaze direction vector by combining each output result. The proposed network was trained using virtual synthetic eye images and landmark coordinate data generated through the UnityEyes dataset, and the MPIIGaze dataset consisting of real human eye images was used for performance evaluation. Through the experiment, the gaze estimation error showed a performance of 3.9, and the estimation speed of the network was 42 FPS (Frames per second).

• The Journal of the Korea institute of electronic communication sciences
• /
• v.18 no.2
• /
• pp.329-335
• /
• 2023

Avocado, a superfood selected by Time magazine and one of the late ripening fruits, is one of the foods with a big difference between local prices and domestic distribution prices. If this sorting process of avocados is automated, it will be possible to lower prices by reducing labor costs in various fields. In this paper, we aim to create an optimal classification model by creating an avocado dataset through crawling and using a number of deep learning-based transfer learning models. Experiments were conducted by directly substituting a deep learning-based transfer learning model from a dataset separated from the produced dataset and fine-tuning the hyperparameters of the model. When an avocado image is input, the model classifies the ripeness of the avocado with an accuracy of over 99%, and proposes a dataset and algorithm that can reduce manpower and increase accuracy in avocado production and distribution households.

• Composites Research
• /
• v.37 no.1
• /
• pp.40-45
• /
• 2024

In this research, we introduce a novel approach that employs a 3D convolutional neural network (CNN) model to predict the permeability of Gas Diffusion Layers (GDLs). For training the model, we create an artificial dataset of GDL representative volume elements (RVEs) by extracting morphological characteristics from actual GDL images obtained through X-ray tomography. These morphological attributes involve statistical distributions of porosity, fiber orientation, and diameter. Subsequently, a permeability analysis using the Lattice Boltzmann Method (LBM) is conducted on a collection of 10,800 RVEs. The 3D CNN model, trained on this artificial dataset, well predicts the permeability of actual GDLs.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.519-521
• /
• 2019

자율주행 자동차에서의 보행자 인식 및 사람의 행동 인식과 같은 분야 등에 대한 연구들이 활발하게 진행되고 그에 기반을 둔 기술들이 많이 개발되고 있다. 그리고 대부분의 연구에서는 사람에 대한 경계 박스를 검출한다. 영상에서 사람의 유무 혹은 위치를 판단하는 문제에서는 경계 박스만을 검출하는 것이 효율적일 수 있으나 경계 박스는 행동 인식과 같은 분야에 사용하기에는 많은 정보의 손실이 발생할 수 있다. 본 논문에서는 U-NET 구조의 딥러닝 모델을 사용해 경계 박스로 인한 정보 손실을 줄일 수 있는 보행자 분할 방법을 제안한다. 모델의 학습을 위해 2017 COCO 데이터셋의 사람 카테고리를 사용하였으며 Penn-Fudan 보행자 데이터셋을 이용하여 제안 방법을 테스트하였으며 기존의 방법들과 비교하여 의미 있는 결과를 얻었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.88-90
• /
• 2022

Semi Supervised Learning 은 일부의 data 에는 labeling 을 하고 나머지 data 에는 labeling 을 안한채로 학습을 진행하는 방법이다. Object Detection 은 이미지에서 여러개의 객체들의 대한 위치를 여러개의 바운딩 박스로 지정해서 찾는 Computer Vision task 이다. 당연하게도, model training 단계에서 사용되는 data set 의 크기가 크고 객체가 많을 수록 일반적으로 model 의 성능이 좋아 질 것이다. 하지만 실험 환경에 따라 data set 을 잘 확보하지 못하던가, 실험 장치가 데이터 셋을 감당하지 못하는 등의 문제가 발생 할 수 있다. 그렇기에 본 논문에서는 semi supervised learning based object detection model 을 알아보고 data set 의 크기를 조절해가며 modle 을 training 시킨 뒤 data set 의 크기에 따라 성능이 어떻게 변화하는 지를 알아 볼 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.224-227
• /
• 2022

객체 분류는 입력으로 주어진 이미지에 포함된 객체의 종류를 판단하는 기술이다. 대표적인 딥러닝 기반의 객체 분류 방법으로서 Faster R-CNN[2], YOLO[3] 등의 모델이 개발되었으나, 여전히 성능 향상의 여지가 있다. 본 연구에서는 각도 마진 손실 함수를 기존의 몇 가지 객채 분류 모델에 적용하여 성능 향상을 유도한다. 각도 마진 손실 함수는 얼굴 인식 모델인 SphereFace [4]에서 제안한 방법으로, 얼굴 인식과 같이 단일 도메인의 데이터셋을 분류하는 문제를 풀기 위해 제안되었다. 이는 기존 소프트맥스 함수에서 클래스 결정 경계선에 마진을 주는 방식으로 클래스 간의 구분 능력을 향상시킨다. 본 논문은 각도 마진 손실 함수를 CIFAR10, CIFAR100 데이터셋의 분류 문제에 적용하였으며 ResNet, EfficientNet, MobileNet 등의 백본 네트워크로 실험하여 평균적으로 mAP 성능이 향상되는 것을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.426-428
• /
• 2022

화재 상황에서의 빠른 현장 파악은 인명피해를 줄이는데 중요한 요소이다. 기존 연구의 화재와 관련된 데이터셋들은 대부분 불과 연기를 라벨링하여 화재의 예방에 초점을 두고 있다. 본 연구에서는 화재 상황에서 사람과 소방관, 연기, 불을 탐지하는 Object detection 모델을 만들어 현장 파악에 더욱 도움을 주고자 하였다. 이를 위해 화재 상황 이미지 약 3000장을 수집하고 라벨링하여 데이터셋을 구성하였으며 이를 이용해 객체 검출 모델인 RetinaNet을 학습하였다. 또한, 화재 상황에서 Object Detection 모델의 성능을 향상시키기 위해 기존 모델인 RetinaNet에 Dehazing(FFA-Net), Smoke augmentation, semi-supervised(ISD) 방법을 적용하였고, semi-supervised 조건에서 mAP 63.7로 가장 높은 성능을 도출하였다.