• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.18 no.5
• /
• pp.171-177
• /
• 2018

Recently there are many image datasets which has variety of data class and point to extract general features. But in order to this variety data class and point, deep learning model trained this dataset has not good performance in heterogeneous data feature local area. In this paper, we propose the structure which use sub-category and openset object detection methods to train more robust model, named multi-branch tree using ASSL. By using this structure, we can have more robust object detection deep learning model in heterogeneous data feature environment.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.493-494
• /
• 2023

본 논문은 벚꽃나무 영상 데이터를 활용하여 벚꽃의 상태(개화, 만개, 낙화)를 실시간으로 분류하는 연구를 소개한다. 이 연구의 목적은, 실시간으로 취득되는 벚꽃나무의 영상 데이터를 사전에 학습된 CNN 기반 이미지 분류 모델을 통해 벚꽃의 상태에 따라 분류하는 것이다. 약 1,000장의 벚꽃나무 이미지를 활용하여 CNN 모델을 학습시키고, 모델이 새로운 이미지에 대해 얼마나 정확하게 벚꽃의 상태를 분류하는지를 평가하였다. 학습데이터는 훈련 데이터와 검증 데이터로 나누었으며, 개화, 만개, 낙화 등의 상태별로 폴더를 구분하여 관리하였다. 또한, ImageNet 데이터셋에서 사전 학습된 ResNet50 가중치를 사용하는 전이학습 방법을 적용하여 학습 과정을 더 효율적으로 수행하고, 모델의 성능을 향상시켰다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.642-643
• /
• 2023

피트니스 분야 인공지능 서비스의 성능 개선을 AI모델 개발이 아닌 데이터셋의 품질 개선을 통해 접근하는 방식을 제안하고, 데이터품질의 성능을 평가하는 것을 목적으로 한다. 데이터 설계는 각 분야 전문가 10명이 참여하였고, 단일 시점 영상을 이용한 운동동작 자동 분류에 사용된 모델은 Google의 MediaPipe 모델을 사용하였다. 팔굽혀펴기의 운동동작인식 정확도는 100%로 나타났으나 팔꿉치의 각도 15° 이하였을 때 동작의 횟수를 인식하지 않았고 이 결과 값에 대해 피트니스 전문가의 의견과 불일치하였다. 향후 연구에서는 동작인식의 분류뿐만 아니라 운동량을 연결하여 분석할 수 있는 시스템이 필요하다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.125-127
• /
• 2021

본 논문에서는 목조 문화재의 변위 현상 중 하나인 크랙 현상을 감지할 수 있는 EfficientNet 기반 모델을 제안한다. 우선 사전 학습된 EfficientNet모델을 통해 학습 이미지로부터 심층 특징을 추출하고 크랙이 존재하는지 아닌지에 대해 분류하기 위한 완전 연결 신경망을 학습한다. 그런 다음 새로운 목조 문화재 이미지가 들어왔을 때 학습한 모델을 통해서 크랙이 존재하는지에 대해 최종적으로 판별하게 된다. 데이터 셋으로는 충주시 근처의 문화재에 방문해서 수집한 목조 이미지를 가지고 정상 및 비정상으로 구분한 데이터 셋을 사용하였다. 실험 결과 EfficientNet을 사용한 딥 러닝 기반 모델이 다른 사전 학습된 합성 곱 신경망 모델보다 더 좋은 성능을 나타냄을 확인하였다. 이러한 결과로부터 우리가 제안한 방법이 목재 문화재에서의 크랙 검출에 있어서 적합함을 보여준다.

• Journal of Broadcast Engineering
• /
• v.24 no.6
• /
• pp.983-991
• /
• 2019

This study aims to analyze movies which contain various stories according to the size of their shots. To achieve this, it is needed to classify dataset according to the shot size, such as extreme close-up shots, close-up shots, medium shots, full shots, and long shots. However, a typical video storytelling is mainly composed of close-up shots, medium shots, full shots, and long shots, it is not an easy task to construct an appropriate dataset for extreme close-up shots. To solve this, we propose an image cropping method based on the region of interest (ROI) detection. In this paper, we use the face detection and saliency detection to estimate the ROI. By cropping the ROI of close-up images, we generate extreme close-up images. The dataset which is enriched by proposed method is utilized to construct a model for classifying shots based on its size. The study can help to analyze the emotional changes of characters in video stories and to predict how the composition of the story changes over time. If AI is used more actively in the future in entertainment fields, it is expected to affect the automatic adjustment and creation of characters, dialogue, and image editing.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.705-708
• /
• 2020

공공시설에 대한 안전점검은 공공시설의 노후화에 따라 정기적인 검사의 필요성이 요구되고 있다. 기존의 안전점검 방식은 대부분 육안으로 점검하는 것에 의존하는데 이는 점검자의 숙련도에 따라 결과의 품질이 달라지게 된다. 본 논문에서는 XAI 기반의 공공시설물 건전도 안전검사 평가시스템을 제안하며, 이는 점검자의 숙련도와 무관하게 항상 같은 결과를 도출해 내며 XAI 를 통해 사용자에게 안전점검에 대한 결과를 제시해준다. 공공시설물 중 터널 시설물의 안전검사 평가시스템을 기반으로 하는 연구를 진행하였으며 이는 수정없이 교량 시설물 등 다른 공공시설물에 적용이 가능하다. 본 논문은 5 가지로 구분된다. 1) 터널 이미지와 균열에 마스크를 적용한 이미지 두 가지의 데이터 셋을 448x448 로 생성한다. 2) UNet 과 Resnet152 의 두 모델을 적용한 혼합 모델을 이용하여 생성한 데이터 셋을 훈련시킨다. 3) 훈련된 혼합 모델에서 생성된 분할 이미지에 대해 노이즈 제거 과정을 진행한다. 4) 노이즈 제거가 끝난 이미지에 스켈레톤화(Skeletonization)를 적용시켜 균열 이미지의 뼈대를 구한다. 뼈대 이미지 기반으로 균열의 길이, 두께, 위치등의 정보를 얻는다. 5) XAI 부분에서는 뼈대 이미지의 정보를 토대로 균열의 위치, 두께, 길이 등에 대해 계산을 진행한 후 사용자에게 제시해준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.95-97
• /
• 2019

본 논문에서는 비디오 데이터를 이용한 감독 학습 프레임 워크를 제안한다. 최근 Deep Convolutional Neural Networks의 성공으로 많은 분야에서 사용되고 있다. DCNNs 모델 성능의 중요한 요소 중 하나는 Large-cale Dataset을 구축하는 것으로 Small-scale Dataset으로 모델을 학습한다면 과적합 및 일반화 오류를 해결하기 어렵다. 이러한 문제점을 해결하는 방법으로 이미지 왜곡을 통한 데이터 셋을 증가 또는 Dropout 기법 등을 사용하였지만 원본 데이터가 적은 경우에는 모델이 일반화 능력을 갖기 어렵다. 따라서 본 논문에서는 이러한 문제점을 보완하고자 Web으로부터 얻은 비디오에서 해당 Class와 관련된 프레임들을 추출하여 보다 쉽게 데이터 셋을 확장하고, 모델의 성능을 향상 시키는 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.18-20
• /
• 2020

본 연구에서는 고차원 데이터에 대한 차원축소 및 군집 분석과 같은 비지도 학습 알고리즘에 대해 알아보기 위해서 얼굴 이미지 데이터 셋을 사용한다. 얼굴 데이터 셋에 대하여 주요 비지도 학습 알고리즘을 이용하여 실시간으로 클러스터링하고, 그 성능을 비교한다. 비디오에서 추출된 영상 속의 7명의 인물에 대하여 Scikit-learning 라이브러리에서 제공하는 클러스터링 알고리즘과 더불어 주요 차원축소 알고리즘(Dimension Reduction Algorithm)을 사용하여 총 10개의 알고리즘에 대하여 분석한다. 또한, 클러스터링 성능 검사를 통해 알고리즘의 성능을 비교해보고, 이를 통하여 앞으로의 연구 방향에 대해 고찰한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.347-349
• /
• 2020

본 논문에서는 컴퓨팅 이미지 객체인식 시스템인 YOLO 성능 향상을 위한 효율적인 이미지 마킹 정책을 제안한다. 이 정책은 이미지 데이터를 통한 객체인식 학습 YOLO의 객체인식을 높이고 다른 객체와의 구분을 최대화하여 학습 모델의 성능을 높인다. YOLO의 성능을 최대화하기 위하여 YOLO의 학습을 몇 번 시킬 것인지 무엇을 객체로 인식시킬지 동적으로 할당한다. 이때 학습 싸이클에 따라 객체의 인식이 달라지며 어느 싸이클에서 가장 효율적인지, 왜 다른 객체를 같이 학습시켜야 하는지 중명한다. 본 논문에서는 YOLO의 싸이클과 다른 객체 학습에 있어서 최적의 객체인식 싸이클과 학습 성능 향상 면에서 우수함을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.124-127
• /
• 2019

본 논문에서는 단일 이미지의 관심 영역에 기반한 저심도 후처리 방법을 제안한다. 저심도 이미지란 사진에서 초점이 선명하게 포착되는 깊이의 범위가 좁은 이미지를 말한다. 기존의 광학적 특성을 이용한 저심도 이미지를 만드는 과정은 물리적인 구조 설계비용 문제가 존재한다. 또한, 이미지의 후처리 보정을 통한 방법은 이미지상의 사물 깊이 정보를 알기 어렵기 때문에 이미지의 심도를 후처리하기 어려웠다. 이에 따라 본 논문에서는 슈퍼 픽셀 군집화 방법을 통해 관심 영역을 찾고, 이에 기반하여 관심 영역이 부각될 수 있는 저심도 후처리 방법을 제안한다. 제안하는 후처리 방법은 슈퍼픽셀 군집화 방법을 통해 관심영역을 설정하여 배경 영역을 분리하고 블러 과정을 수행한다. 관심 영역을 제외한 부분을 확장 한 뒤 배경 블러를 거치기 때문에 후광효과가 현저히 줄어든 저심도 효과가 적용된 이미지를 얻을 수 있었고 MSRA-1000 데이터 셋 이미지에서 우수한 주관적 화질 결과를 보였다.