• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2021.05a
• /
• pp.120-122
• /
• 2021

Currently, as demand for cars at home and abroad increases, the number of vehicles is decreasing and the number of vehicles is increasing. This is the main cause of the traffic jam. To solve this problem, it operates a high-ocompancy vehicle (HOV) lane, a multi-passenger vehicle, but many people ignore the conditions of use and use it illegally. Since the police visually judge and crack down on such illegal activities, the accuracy of the crackdown is low and inefficient. In this paper, we propose a system design that enables more efficient detection using imaging techniques using computer vision to solve such problems. By improving the existing vehicle detection method that was studied, the trigger was set in the image so that the detection object can be selected and the image analysis can be conducted intensively on the target. Using the YOLO model, a deep learning object recognition model, we propose a method to utilize the shift amount of the center point rather than judging by the bounding box in the image to obtain real-time object detection and accurate signals.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2021.10a
• /
• pp.320-322
• /
• 2021

As the world's elderly population increases, the proportion of visually impaired is also increasing, and there are still many restrictions on the use of outside activities, such as safety problems and lack of guidance information. To solve this problem, research on smart devices such as smart glasses with optical character recognition (OCR) function is being actively conducted. In this paper, we propose a system that recognizes obstacles ahead and informs information by voice, and also guides the way to the destination. Using the deep learning object recognition model Yolo, it let them to recognize the risk factors as obstacles such as stairs and Larva cones. and it also deliver the information with a voice. so you can expect that the visually impaired can do a lot of different activity even more now that system takes the visually impaired to the destination by using the directions API, voice recognition, TTS library.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.4
• /
• pp.309-314
• /
• 2023

This study examines the development and limitations of current artificial intelligence (AI) music composition programs. AI music composition programs have progressed significantly owing to deep learning technology. However, they possess limitations pertaining to the creative aspects of music. In this study, we collect, compare, and analyze information on existing AI-based music composition programs and explore their technical orientation, musical concept, and drawbacks to delineate future directions for AI music composition programs. Furthermore, this study emphasizes the importance of developing AI music composition programs that create "personalized" music, aligning with the era of personalization. Ultimately, for AI-based composition programs, it is critical to extensively research how music, as an output, can touch the listeners and implement appropriate changes. By doing so, AI-based music composition programs are expected to form a new structure in and advance the music industry.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.39-42
• /
• 2023

최근 온라인 게임 산업이 급속도로 확장됨과 더불어 Gamebot과 같은 비정상적인 프로그램으로 인한 게임 서비스 피해사례가 급격하게 증가하고 있다. 특히, 대표적인 게임 장르 중 하나인 FPS(First-Person Shooter)에서 Aimbot의 사용은 정상적인 이용자들에게 재미 요소를 잃어버리게 하고 상대적 박탈감을 일으켜 게임의 수명을 줄이는 원인이 된다. 비정상 게임 이용자의 근절을 위해서 메모리 변조 및 불법 변조 프로그램 접근 차단 기법과 불법 프로그램 사용의 패턴 모니터링과 같은 기법들이 제안되었지만, 우회 프로그램 및 새로운 패턴을 이용한 비정상적인 프로그램의 개발에는 취약하다는 단점이 있다. 따라서, 본 논문에서는 정상적인 게임 이용자의 패턴만 학습함으로써 비정상 이용자 검출을 가능하게 하는 딥러닝 기반 단일 클래스 분류 기법을 제안하며, 가장 빈번하게 발생하는 치트(Cheat) 유형인 FPS 게임 내 Aimbot 사용 감지에 초점을 두었다. 제안된 비정상 게임 이용자 감지 시스템은 정상적인 사용자의 마우스 좌표를 데카르트 좌표계(Cartesian coordinates)와 극좌표계(Polar coordinates)의 형태로 패턴을 추출하는 과정과 정상적인 마우스 동작 기록으로 부터 학습된 LSTM 기반 Autoencoder의 복원 에러에 따른 검출 과정으로 구성된다. 실험에서 제안된 모델은 FPS 게임 내 마우스 동작을 기록한 공개 데이터셋인 CSGO 게임 데이터셋으로 부터 학습되었으며, 학습된 모델의 테스트 결과는 데카르트 좌표계로부터 훈련된 제안 모델이 비정상 게임 이용자를 분류하는데 적합함을 입증하였다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2023.05a
• /
• pp.104-105
• /
• 2023

해양 관측과 위성 원격탐사를 이용하여 시공간적으로 다양하게 변하는 생태 어장 환경 및 선박 관련 자료를 획득할 수 있다. 이번 연구의 주요 목적은 야간 불빛 위성 자료를 이용하여 광범위한 해역에 대한 어선의 위치 분포를 파악하는 딥러닝 기반 모델을 제안하는 것이다. 제안한 모델의 정확성을 평가하기 위해 야간 조업 어선의 위치를 포함하고 있는 AIS(Automatic Identification System) 정보와 상호 비교 평가 하였다. 이를 위해, 먼저 AIS 자료를 획득 및 분석하는 방법을 소개한다. 해양안전종합시스템(General Information Center on Maritime Safety & Security, GICOMS)으로부터 제공받은 AIS 자료는 동적정보와 정적정보로 나뉜다. 동적 정보는 일별 자료로 구분되어있으며, 이 정보에는 해상이동업무식별번호(Maritime Mobile Service Identity, MMSI), 선박의 시간, 위도, 경도, 속력(Speed over Ground, SOG), 실침로(Course over Ground, COG), 선수방향(Heading) 등이 포함되어 있다. 정적정보는 1개의 파일로 구성되어 있으며, 선박명, 선종 코드, IMO Number, 호출부호, 제원(DimA, DimB, DimC, Dim D), 홀수, 추정 톤수 등이 포함되어 있다. 이번 연구에서는 선박의 정보에서 어선의 정보를 추출하여 비교 자료로 사용하였으며, 위성 자료는 구름의 영향이 없는 깨끗한 날짜의 영상 자료를 선별하여 사용하였다. 야간 불빛 위성 자료, 구름 정보 등을 이용하여 야간 조업 어선의 불빛을 감지하는 심층신경망(Deep Neural Network; DNN) 기반 모델을 제안하였다. 본 연구의결과는 야간 어선의 분포를 감시하고 한반도 인근 어장을 보호하는데 기여할 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.603-608
• /
• 2023

본 연구는 한국어 Vision-Language Pre-training 모델 학습을 위한 대규모 시각-언어 멀티모달 데이터셋 구축에 대한 필요성을 연구한다. 현재, 한국어 시각-언어 멀티모달 데이터셋은 부족하며, 양질의 데이터 획득이 어려운 상황이다. 따라서, 본 연구에서는 기계 번역을 활용하여 외국어(영문) 시각-언어 데이터를 한국어로 번역하고 이를 기반으로 생성형 AI를 활용한 데이터셋 구축 방법론을 제안한다. 우리는 다양한 캡션 생성 방법 중, ChatGPT를 활용하여 자연스럽고 고품질의 한국어 캡션을 자동으로 생성하기 위한 새로운 방법을 제안한다. 이를 통해 기존의 기계 번역 방법보다 더 나은 캡션 품질을 보장할 수 있으며, 여러가지 번역 결과를 앙상블하여 멀티모달 데이터셋을 효과적으로 구축하는데 활용한다. 뿐만 아니라, 본 연구에서는 의미론적 유사도 기반 평가 방식인 캡션 투영 일치도(Caption Projection Consistency) 소개하고, 다양한 번역 시스템 간의 영-한 캡션 투영 성능을 비교하며 이를 평가하는 기준을 제시한다. 최종적으로, 본 연구는 ChatGPT를 이용한 한국어 멀티모달 이미지-텍스트 멀티모달 데이터셋 구축을 위한 새로운 방법론을 제시하며, 대표적인 기계 번역기들보다 우수한 영한 캡션 투영 성능을 증명한다. 이를 통해, 우리의 연구는 부족한 High-Quality 한국어 데이터 셋을 자동으로 대량 구축할 수 있는 방향을 보여주며, 이 방법을 통해 딥러닝 기반 한국어 Vision-Language Pre-training 모델의 성능 향상에 기여할 것으로 기대한다.

• Journal of Biomedical Engineering Research
• /
• v.44 no.5
• /
• pp.346-353
• /
• 2023

In this paper, we propose an innovative approach that leverages deep learning to find optimal reference points for achieving precise tooth segmentation in three-dimensional tooth point cloud data. A dataset consisting of 350 aligned maxillary and mandibular cloud data was used as input, and both end coordinates of individual teeth were used as correct answers. A two-dimensional image was created by projecting the rendered point cloud data along the Z-axis, where an image of individual teeth was created using an object detection algorithm. The proposed algorithm is designed by adding various modules to the Unet model that allow effective learning of a narrow range, and detects both end points of the tooth using the generated tooth image. In the evaluation using DSC, Euclid distance, and MAE as indicators, we achieved superior performance compared to other Unet-based models. In future research, we will develop an algorithm to find the reference point of the point cloud by back-projecting the reference point detected in the image in three dimensions, and based on this, we will develop an algorithm to divide the teeth individually in the point cloud through image processing techniques.

• Korean Journal of Remote Sensing
• /
• v.39 no.5_3
• /
• pp.967-978
• /
• 2023

This study proposed and validated a combined segmentation network (CSN) designed to effectively train on multiple drone image datasets and enhance the accuracy of semantic segmentation. CSN shares the entire encoding domain to accommodate the diversity of three drone datasets, while the decoding domains are trained independently. During training, the segmentation accuracy of CSN was lower compared to U-Net and the pyramid scene parsing network (PSPNet) on single datasets because it considers loss values for all dataset simultaneously. However, when applied to domestic autonomous drone images, CSN demonstrated the ability to classify pixels into appropriate classes without requiring additional training, outperforming PSPNet. This research suggests that CSN can serve as a valuable tool for effectively training on diverse drone image datasets and improving object recognition accuracy in new regions.

• Journal of Intelligence and Information Systems
• /
• v.29 no.4
• /
• pp.257-269
• /
• 2023

There is currently a burgeoning demand for image synthesis from photos and videos using deep learning models. Existing video synthesis models solely extract motion information from the provided video to generate animation effects on photos. However, these synthesis models encounter challenges in achieving accurate lip synchronization with the audio and maintaining the image quality of the synthesized output. To tackle these issues, this paper introduces a novel framework based on an image animation approach. Within this framework, upon receiving a photo, a video, and audio input, it produces an output that not only retains the unique characteristics of the individuals in the photo but also synchronizes their movements with the provided video, achieving lip synchronization with the audio. Furthermore, a super-resolution model is employed to enhance the quality and resolution of the synthesized output.

• Journal of Biomedical Engineering Research
• /
• v.45 no.2
• /
• pp.95-100
• /
• 2024

Vitiligo is a condition characterized by the destruction or dysfunction of melanin-producing cells in the skin, resulting in a loss of skin pigmentation. Facial vitiligo, specifically affecting the face, significantly impacts patients' appearance, thereby diminishing their quality of life. Evaluating the efficacy of facial vitiligo treatment typically relies on subjective assessments, such as the Facial Vitiligo Area Scoring Index (F-VASI), which can be time-consuming and subjective due to its reliance on clinical observations like lesion shape and distribution. Various machine learning and deep learning methods have been proposed for segmenting vitiligo areas in facial images, showing promising results. However, these methods often struggle to accurately segment vitiligo lesions irregularly distributed across the face. Therefore, our study introduces a framework aimed at improving the segmentation of vitiligo lesions on the face and providing an evaluation of vitiligo lesions. Our framework for facial vitiligo segmentation and lesion evaluation consists of three main steps. Firstly, we perform face detection to minimize background areas and identify the face area of interest using high-quality ultraviolet photographs. Secondly, we extract facial area masks and vitiligo lesion masks using a semantic segmentation network-based approach with the generated dataset. Thirdly, we automatically calculate the vitiligo area relative to the facial area. We evaluated the performance of facial and vitiligo lesion segmentation using an independent test dataset that was not included in the training and validation, showing excellent results. The framework proposed in this study can serve as a useful tool for evaluating the diagnosis and treatment efficacy of vitiligo.