• 제목/요약/키워드: Technology Learning

검색결과 8,116건 처리시간 0.034초

한강 수위 예측을 위한 데이터 품질 진단 및 개선 (Data Quality Assessment and Improvement for Water Level Prediction of the Han River)

  • 최지현;강진엽;안현
    • 한국항행학회논문지
    • /
    • 제27권1호
    • /
    • pp.133-138
    • /
    • 2023
  • 최근 급격한 기후 변화 및 온난화로 인한 부작용으로 전 세계적으로 홍수 재해의 빈도 및 피해 규모가 증가하고 있다. 국내의 경우, 한강 수위는 대한민국 수도인 서울의 홍수 재해를 예방하기 위한 주요 관리 대상이다. 본 논문에서는 기계학습 기반의 한강 수위 예측을 개선하기 위해 관련 데이터 품질을 종합적으로 진단하고 이를 개선하기 위한 전처리 방안을 제안한다. 구체적으로는 결측치 처리와 교차 상관 분석을 통해 데이터를 완전성, 유효성, 그리고 정확성 측면에서 개선한다. 또한, 제안한 데이터 개선 방법이 한강 수위 예측 성능에 미치는 영향을 분석하기 위해 랜덤 포레스트와 LightGBM을 이용하여 성능 평가를 수행한다.

LSTM-GAN 기반 이상탐지 모델을 활용한 시계열 데이터의 동적 보정기법 (A Dynamic Correction Technique of Time-Series Data using Anomaly Detection Model based on LSTM-GAN)

  • 정한석;김한준
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권2호
    • /
    • pp.103-111
    • /
    • 2023
  • 본 논문은 시계열 데이터에 존재하는 이상값을 정상값으로 변환하는 새로운 데이터 보정기법을 제안한다. 최근 IT기술의 발전으로 센서를 통해 방대한 시계열 데이터가 수집되고 있다. 하지만 센서의 고장, 비정상적 환경으로 인해, 대부분의 시계열 데이터는 다수의 이상값을 포함할 수 있다. 이상값이 포함된 원천 데이터를 그대로 사용하여 예측모델을 구축하는 경우, 고신뢰도의 예측 서비스가 실현되기 어렵다. 이에 본 논문은 LSTM-GAN 모델을 활용하여 원천 시계열 데이터에 존재하는 이상값을 탐지하고, DTW(Dynamic Time Warping) 및 GAN 기법을 결합하여 분할된 윈도우 단위로 이상값을 정상값으로 보정하는 기법을 제안한다. 기본 아이디어는 탐지된 이상값이 포함된 윈도우에 인접한 정상 분포 데이터의 통계정보를 DTW에 적용하여 연쇄적으로 GAN 모델을 구축하여 정상적 시계열 데이터를 생성하는 것이다. 오픈 NAB 데이터를 활용한 실험을 통해, 우리는 제안 기법이 기존 2개의 보정기법보다 성능이 우수함을 보인다.

Prediction of pollution loads in agricultural reservoirs using LSTM algorithm: case study of reservoirs in Nonsan City

  • Heesung Lim;Hyunuk An;Gyeongsuk Choi;Jaenam Lee;Jongwon Do
    • 농업과학연구
    • /
    • 제49권2호
    • /
    • pp.193-202
    • /
    • 2022
  • The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [TP]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R2 that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

Ensemble-based deep learning for autonomous bridge component and damage segmentation leveraging Nested Reg-UNet

  • Abhishek Subedi;Wen Tang;Tarutal Ghosh Mondal;Rih-Teng Wu;Mohammad R. Jahanshahi
    • Smart Structures and Systems
    • /
    • 제31권4호
    • /
    • pp.335-349
    • /
    • 2023
  • Bridges constantly undergo deterioration and damage, the most common ones being concrete damage and exposed rebar. Periodic inspection of bridges to identify damages can aid in their quick remediation. Likewise, identifying components can provide context for damage assessment and help gauge a bridge's state of interaction with its surroundings. Current inspection techniques rely on manual site visits, which can be time-consuming and costly. More recently, robotic inspection assisted by autonomous data analytics based on Computer Vision (CV) and Artificial Intelligence (AI) has been viewed as a suitable alternative to manual inspection because of its efficiency and accuracy. To aid research in this avenue, this study performs a comparative assessment of different architectures, loss functions, and ensembling strategies for the autonomous segmentation of bridge components and damages. The experiments lead to several interesting discoveries. Nested Reg-UNet architecture is found to outperform five other state-of-the-art architectures in both damage and component segmentation tasks. The architecture is built by combining a Nested UNet style dense configuration with a pretrained RegNet encoder. In terms of the mean Intersection over Union (mIoU) metric, the Nested Reg-UNet architecture provides an improvement of 2.86% on the damage segmentation task and 1.66% on the component segmentation task compared to the state-of-the-art UNet architecture. Furthermore, it is demonstrated that incorporating the Lovasz-Softmax loss function to counter class imbalance can boost performance by 3.44% in the component segmentation task over the most employed alternative, weighted Cross Entropy (wCE). Finally, weighted softmax ensembling is found to be quite effective when used synchronously with the Nested Reg-UNet architecture by providing mIoU improvement of 0.74% in the component segmentation task and 1.14% in the damage segmentation task over a single-architecture baseline. Overall, the best mIoU of 92.50% for the component segmentation task and 84.19% for the damage segmentation task validate the feasibility of these techniques for autonomous bridge component and damage segmentation using RGB images.

인공지능 학습용 데이터의 개인정보 비식별화 자동화 도구 개발 연구 - 영상데이터기반 - (Research on the development of automated tools to de-identify personal information of data for AI learning - Based on video data -)

  • 이현주;이승엽;전병훈
    • Journal of Platform Technology
    • /
    • 제11권3호
    • /
    • pp.56-67
    • /
    • 2023
  • 최근 데이터 기반 산업계의 오랜 숙원이었던 개인정보 비식별화가 2020년 8월 데이터3법[1]이 개정되어 명시화 되었다. 4차 산업시대의 원유[2]라 불리는 데이터를 산업 분야에서 활성화할 수 있는 기틀이 되었다. 하지만, 일각에서는 비식별개인정보(personally non-identifiable information)가 정보주체의 기본권 침해를 우려하고 있는 실정이다[3]. 이에 개인정보 비식별화 자동화 도구인 Batch De-Identification Tool을 개발 연구를 수행하였다. 본 연구에서는 첫 번째로, 학습용 데이터 구축을 위해 사람 얼굴(눈, 코, 입) 및 다양한 해상도의 자동차 번호판 등을 라벨링하는 이미지 라벨링 도구를 개발하였다. 두 번째로, 객체 인식 모델을 학습하여 객체 인식 모듈을 실행함으로써 개인정보 비식별화를 수행할 수 있도록 하였다. 본 연구의 결과로 개발된 개인정보 비식별화 자동화 도구는 온라인 서비스를 통해 개인정보 침해 요소를 사전에 제거할 수 있는 가능성을 보여주었다. 이러한 결과는 데이터 기반 산업계에서 개인정보 보호와 활용의 균형을 유지하면서도 데이터의 가치를 극대화할 수 있는 가능성을 제시하고 있다

  • PDF

흉부 X선 영상을 이용한 작은 층수 ResNet 기반 폐렴 진단 모델의 성능 평가 (Performance Evaluation of ResNet-based Pneumonia Detection Model with the Small Number of Layers Using Chest X-ray Images)

  • 최용은;이승완
    • 대한방사선기술학회지:방사선기술과학
    • /
    • 제46권4호
    • /
    • pp.277-285
    • /
    • 2023
  • In this study, pneumonia identification networks with the small number of layers were constructed by using chest X-ray images. The networks had similar trainable-parameters, and the performance of the trained models was quantitatively evaluated with the modification of the network architectures. A total of 6 networks were constructed: convolutional neural network (CNN), VGGNet, GoogleNet, residual network with identity blocks, ResNet with bottleneck blocks and ResNet with identity and bottleneck blocks. Trainable parameters for the 6 networks were set in a range of 273,921-294,817 by adjusting the output channels of convolution layers. The network training was implemented with binary cross entropy (BCE) loss function, sigmoid activation function, adaptive moment estimation (Adam) optimizer and 100 epochs. The performance of the trained models was evaluated in terms of training time, accuracy, precision, recall, specificity and F1-score. The results showed that the trained models with the small number of layers precisely detect pneumonia from chest X-ray images. In particular, the overall quantitative performance of the trained models based on the ResNets was above 0.9, and the performance levels were similar or superior to those based on the CNN, VGGNet and GoogleNet. Also, the residual blocks affected the performance of the trained models based on the ResNets. Therefore, in this study, we demonstrated that the object detection networks with the small number of layers are suitable for detecting pneumonia using chest X-ray images. And, the trained models based on the ResNets can be optimized by applying appropriate residual-blocks.

XAI 기반 기업부도예측 분류모델 연구 (A Study on Classification Models for Predicting Bankruptcy Based on XAI)

  • 김지홍;문남미
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.333-340
    • /
    • 2023
  • 기업 부도의 효율적인 예측은 금융기관의 적절한 대출 결정과 여신 부실률 감소 측면에서 중요한 부분이다. 많은 연구에서 인공지능 기술을 활용한 분류모델 연구를 진행하였다. 금융 산업 특성상 새로운 예측 모델의 성능이 우수하더라도 어떤 근거로 결과를 출력했는지 직관적인 설명이 수반되어야 한다. 최근 미국, EU, 한국 등 에서는 공통적으로 알고리즘의 설명요구권을 제시하고 있어 금융권 AI 활용에 투명성을 확보하여야 한다. 본 논문에서는 외부에 오픈된 기업부도 데이터를 활용하여 인공지능 기반의 해석 가능한 분류 예측 모델을 제안하였다. 먼저 데이터 전처리 작업, 5겹 교차검증 등을 수행하고 로지스틱 회귀, SVM, XGBoost, LightGBM 등 10가지 지도학습 분류모델 최적화를 통해 분류 성능을 비교하였다. 그 결과 LightGBM이 가장 우수한 모델로 확인되었고, 설명 가능한 인공지능 기법인 SHAP을 적용하여 부도예측 과정에 대한 사후 설명을 제공하였다.

Document Classification Methodology Using Autoencoder-based Keywords Embedding

  • Seobin Yoon;Namgyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권9호
    • /
    • pp.35-46
    • /
    • 2023
  • 본 연구에서는 문서 분류기의 정확도를 높이기 위해 문맥 정보와 키워드 정보를 모두 사용하는 이중 접근(Dual Approach) 방법론을 제안한다. 우선 문맥 정보는 다양한 자연어 이해 작업(Task)에서 뛰어난 성능을 나타내고 있는 사전학습언어모델인 Google의 BERT를 사용하여 추출한다. 구체적으로 한국어 말뭉치를 사전학습한 KoBERT를 사용하여 문맥 정보를 CLS 토큰 형태로 추출한다. 다음으로 키워드 정보는 문서별 키워드 집합을 Autoencoder의 잠재 벡터를 통해 하나의 벡터 값으로 생성하여 사용한다. 제안 방법을 국가과학기술정보서비스(NTIS)의 국가 R&D 과제 문서 중 보건 의료에 해당하는 40,130건의 문서에 적용하여 실험을 수행한 결과, 제안 방법이 문서 정보 또는 단어 정보만을 활용하여 문서 분류를 진행하는 기존 방법들에 비해 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.

Shoe Recommendation System by Measurement of Foot Shape Imag

  • Chang Bae Moon;Byeong Man Kim;Young-Jin Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권9호
    • /
    • pp.93-104
    • /
    • 2023
  • 현대 사회의 서비스 방식은 대면 방식보다 비대면 방식을 선호하는 추세이다. 하지만 신발과 같이 상품을 추천하는 서비스는 대면 방식의 서비스가 불가피하다. 본 논문에서는 비대면 서비스를 목적으로 자동으로 발의 사이즈를 측정하고, 측정 결과를 기반으로 신발을 추천하는 시스템을 제안한다. 제안방법의 성능을 분석하기 위해 사이즈 측정 오차율과 추천성능을 분석하였다. 추천성능 실험에 사용한 방법은 총 10가지이고, 이의 방법 중 가장 좋은 성능을 보이는 추천 방법을 시스템에 적용하였다. 오차율에 대한 실험결과, 사이즈 관련 오차가 작음을 알 수 있었고, 추천성능에 대한 실험결과, 추천에 대한 유의한 결과를 도출할 수 있었다. 본 논문에서의 제안방법은 실험실 수준으로 향후 실제 환경으로 확대 적용할 필요가 있다.

유럽연합의 개방형 정책조정 (Open Method of Coordination)에 대한 이론적 기대와 현실: 빈곤정책의 사례 (Evaluation of the Open Method of Coordination in Social Inclusion: Theoretical Expectations and Reality)

  • 김승현
    • 국제지역연구
    • /
    • 제14권3호
    • /
    • pp.57-80
    • /
    • 2010
  • 이 연구에서는 개방형 정책조정방법이 사회적 포용의 영역에 도입된 이후, 과정의 변화와 정책효과에 대한 평가를 시도한다. 2000년 리스본이사회에서 결정된 개방형 정책조정방법의 정책도구들은 결과지향적인 신공공관리론과 과정지향적인 숙의적 다중질서라는 거버넌스이론을 배경으로 한다고 볼 수 있다. 역사적 변화과정을 살펴볼 때 결과지향적인 신공공관리론의 정책도구인 목표설정, 수범사례의 벤치마킹, 분권적 의사결정의 경우 애매하거나 아예 거부되었고, 제도적 틀을 넘지 못함으로써 효율성을 추구할 수 없었다. 아울러 규범적인 숙의적 다중질서이론이 제시하는 것처럼 학습을 위해 숙의와 상호검토를 추구하고 있으나, 실제 운영은 성찰적인 숙의과정에 미치지 못하고, 상호검토도 제도적 한계를 보임으로써 원활한 학습이 이루어지지 않는다. 10여 년간 개방형 정책조정방법이 집행되었지만 정책효과의 측면에서도 유의미한 결과를 찾을 수 없다. 그렇지만 빈곤문제에 대한 인식이 변하고 시민사회가 활발하게 조직되어 참여가 확대되고 있는 점은 긍정적인 효과이다.