• Title/Summary/Keyword: 데이터예측

Search Result 6,818, Processing Time 0.047 seconds

Multi-model Typhoon Simulation for Big Data Analysis and Prediction (빅데이터 분석 및 예측을 위한 멀티모델 태풍 시뮬레이션)

  • Kang, Ji-Sun;Yuk, Jin-Hee;Joh, Minsu
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.291-292
    • /
    • 2017
  • 한국과학기술정보연구원 융합기술연구본부 재난대응HPC연구센터에서는 초고성능컴퓨팅 기반의 풍수해 예측 및 피해 정보 생산기술을 연구개발하여 재난 재해에 대한 국가현안 대응 의사결정지원 시스템을 구축 중에 있다. HPC 기반의 풍수해 예측 시스템과 빅데이터 분석 기반의 피해 예측 시스템에 대한 연구를 독자적으로 진행하는 가운데, 최근 여러 분야에 적용되고 있는 빅데이터 분석 기술을 HPC 기반의 풍수해 예측 시스템에 적목시켜 더 정확하고 신속한 풍수해 예측 정보 생산에 기여하고자 한다. 본 연구는 빅데이터 분석을 위한 학습 데이터 생산을 목적으로 HPC 기반 태풍 예측의 주요 기상 인자들을 조정하여 서로 다른 성능의 예측 모델을 구축하고, 각 모델 별 태풍 시뮬레이션의 성능을 진단하였다. 향후 빅데이터 분석을 통한 예측 성능의 검증을 위해 HPC 기반 풍수해 예측 및 검증 데이터를 최대한 생산하고자 한다.

  • PDF

The Development of Prediction Models for the Number of People for Meal at University Cafeteria (대학교 교내식당을 위한 식사 인원 예측 모델 개발)

  • Kwangwon Jung;Taegeun Jo;Keewon Kim
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.535-536
    • /
    • 2023
  • 본 논문에서는 대학교 교내 식당의 실제 데이터를 사용해 식사 인원 예측 모델을 개발하여 교내식당에서 발생하는 적자, 음식 품절, 대량 잔반 발생을 경감 시키고자 한다. 모델 개발에 사용되는 데이터는 2018년도, 2019년도 학기 중 식당 데이터와 기상청 날씨 데이터를 사용하였다. 2018년도, 2019년도 데이터를 이용해 EDA 분석 및 전처리를 통해 필요한 변수를 추출하였다. 전체 데이터의 70%를 기반으로 GridSearch와 XGBoostRegressor를 사용해 평일과 주말에 대한 식사 인원 예측 모델을 생성하였다. 그리고 나머지 데이터의 30%를 사용해 생성한 두 모델의 성능을 평가한다. 평일 식사 인원 예측 모델에 대한 MAE값이 조식 16명, 중식 23명, 석식 25명으로 준수한 결과를 보였고 주말 식사 인원 예측 모델에 대한 MAE값은 조식 16명, 중식 23명, 석식 25명으로 좋은 성능을 보였다.

  • PDF

Data mining analysis for short-term water demand forecasting (물 수요예측을 위한 데이터 마이닝 기법 분석)

  • Shin, Gang-Wook;Hong, Sung-Taek
    • Proceedings of the KIEE Conference
    • /
    • 2009.07a
    • /
    • pp.1771_1772
    • /
    • 2009
  • 본 연구에서는 안정적인 물 공급과 에너지의 효율적 사용을 위한 단기 물 수요예측에 대하여 데이터 마이닝 기법의 적용성을 검토하고자 한다. 물 공급이 이루어진 요일과 특이일에 대한 시계열 분석을 통한 단기 물 수요예측과 데이터 마이닝 기법을 적용한 결과를 상호 비교하여 데이터 마이닝 기법의 적용성을 제시하고자 한다. 이를 통하여 단기 물 수요예측알고리즘의 실용화 가능성을 높일 뿐만 아니라 실시간 예측을 위한 기초 데이터 마이닝 체계를 구축하고자 한다.

  • PDF

Deep Learning Model for Electric Power Demand Prediction Using Special Day Separation and Prediction Elements Extention (특수일 분리와 예측요소 확장을 이용한 전력수요 예측 딥 러닝 모델)

  • Park, Jun-Ho;Shin, Dong-Ha;Kim, Chang-Bok
    • Journal of Advanced Navigation Technology
    • /
    • v.21 no.4
    • /
    • pp.365-370
    • /
    • 2017
  • This study analyze correlation between weekdays data and special days data of different power demand patterns, and builds a separate data set, and suggests ways to reduce power demand prediction error by using deep learning network suitable for each data set. In addition, we propose a method to improve the prediction rate by adding the environmental elements and the separating element to the meteorological element, which is a basic power demand prediction elements. The entire data predicted power demand using LSTM which is suitable for learning time series data, and the special day data predicted power demand using DNN. The experiment result show that the prediction rate is improved by adding prediction elements other than meteorological elements. The average RMSE of the entire dataset was 0.2597 for LSTM and 0.5474 for DNN, indicating that the LSTM showed a good prediction rate. The average RMSE of the special day data set was 0.2201 for DNN, indicating that the DNN had better prediction than LSTM. The MAPE of the LSTM of the whole data set was 2.74% and the MAPE of the special day was 3.07 %.

Combining Value and Spatial Locality for Value Prediction (데이터 값 예측기를 위한 값 지역성과 공간 지역성 혼합)

  • 이종찬;최재혁;김정진;최상방
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.928-930
    • /
    • 2004
  • 명령어간의 데이터 종속 관계는 동적으로 스케줄 되는 파이프라인 프로세서의 병렬 처리에 중요한 장애로 남아 있다. 마이크로프로세서의 데이터 종속에 기인한 파이프라인 대기 시간을 줄일 대표적인 두 가지 방법으로 생성 값의 지역성에 기초를 둔 데이터 값 예측과 공간 지역성에 기반으로 예측하는 주소 예측이 있다. 본 논문에서는 성능 개선을 위해 이 두 가지 기술을 독립적으로 수행하는 것 보다 혼합한 형태의 예측이 더 좋은 예측 정확성이 나타나는 것을 보인다.

Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea (비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용)

  • Lee, Seung Yeon;Yoo, Hyung Ju;Lee, Seung Oh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

Gender Bias Mitigation in Gender Prediction Using Zero-shot Classification (제로샷 분류를 활용한 성별 편향 완화 성별 예측 방법)

  • Yeonhee Kim;Byoungju Choi;Jongkil Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.509-512
    • /
    • 2024
  • 자연어 처리 기술은 인간 언어의 이해와 처리에서 큰 진전을 이루었으나, 학습 데이터에 내재한 성별 편향이 모델의 예측 정확도와 신뢰성을 저하하는 주요한 문제로 남아 있다. 특히 성별 예측에서 이러한 편향은 더욱 두드러진다. 제로샷 분류 기법은 기존에 학습되지 않은 새로운 클래스를 효과적으로 예측할 수 있는 기술로, 학습 데이터의 제한적인 의존성을 극복하고 다양한 언어 및 데이터 제한 상황에서도 효율적으로 작동한다. 본 논문은 성별 클래스 확장과 데이터 구조 개선을 통해 성별 편향을 최소화한 새로운 데이터셋을 구축하고, 이를 제로샷 분류 기법을 통해 학습시켜 성별 편향성이 완화된 새로운 성별 예측 모델을 제안한다. 이 연구는 다양한 언어로 구성된 자연어 데이터를 추가 학습하여 성별 예측에 최적화된 모델을 개발하고, 제한된 데이터 환경에서도 모델의 유연성과 범용성을 입증한다.

A Case Study of Basic Data Science Education using Public Big Data Collection and Spreadsheets for Teacher Education (교사교육을 위한 공공 빅데이터 수집 및 스프레드시트 활용 기초 데이터과학 교육 사례 연구)

  • Hur, Kyeong
    • Journal of The Korean Association of Information Education
    • /
    • v.25 no.3
    • /
    • pp.459-469
    • /
    • 2021
  • In this paper, a case study of basic data science practice education for field teachers and pre-service teachers was studied. In this paper, for basic data science education, spreadsheet software was used as a data collection and analysis tool. After that, we trained on statistics for data processing, predictive hypothesis, and predictive model verification. In addition, an educational case for collecting and processing thousands of public big data and verifying the population prediction hypothesis and prediction model was proposed. A 34-hour, 17-week curriculum using a spreadsheet tool was presented with the contents of such basic education in data science. As a tool for data collection, processing, and analysis, unlike Python, spreadsheets do not have the burden of learning program- ming languages and data structures, and have the advantage of visually learning theories of processing and anal- ysis of qualitative and quantitative data. As a result of this educational case study, three predictive hypothesis test cases were presented and analyzed. First, quantitative public data were collected to verify the hypothesis of predicting the difference in the mean value for each group of the population. Second, by collecting qualitative public data, the hypothesis of predicting the association within the qualitative data of the population was verified. Third, by collecting quantitative public data, the regression prediction model was verified according to the hypothesis of correlation prediction within the quantitative data of the population. And through the satisfaction analysis of pre-service and field teachers, the effectiveness of this education case in data science education was analyzed.

Estimation of real-time data in water distribution systems using LSTM (LSTM을 이용한 상수관망 내 실시간 유량 및 수질 데이터 예측)

  • Eun Young Cho;Seon Hong Choi;Dong Woo Jang
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.463-463
    • /
    • 2023
  • 국내 수도관 보급률이 증가하면서 기존 노후화된 수도관들과 추가로 노후화된 수도관들이 증가하고 있다. 경과년수가 오래된 시설이 증가하는 것은 잠재적인 사고발생 위험을 증가시킨다. 실제 노후화된 상수도 시설물로 인해 단수, 누수, 수질오염, 지반함몰 발생이 증가하는 추세이다. 이러한 현상들은 시민들의 생활과 안전, 경제활동에 직접적인 영향을 끼치기 때문에 이에 대한 대책 마련이 시급한 상태이다. 본 연구에서는 AI를 기반으로 상수도관의 노후도 및 위험도를 예측하는 모델을 설계하고자 하였다. 대상지역을 인천광역시 서구로 선정하여 유량과 수질의 실시간 계측데이터를 수집하였다. 딥러닝 기법 중 하나인 LSTM(Long Short-Term Memory)을 이용하여 데이터를 예측하였고, 결정계수(R2)와 RMSE(Root Mean Square Error)로 학습데이터와 검증데이터의 비율을 정하여 예측도를 평가하였다. 유량과 수질 데이터 중 80%는 학습데이터로 20%는 검증 데이터로 분리하였고, LSTM의 셀과레이어 수를 해석에 적합한 범위로 설정한 결과, 실제값과 예측값이 높은 상관성을 보이는 것으로 나타났다. 예측된 유량 및 수질의 결과는 상수도 관리에 중요한 정보를 제공하며, 사고 위험도 평가와 관 노후화에 따른 대응력을 향상시키는 데 도움이 될 것으로 판단된다.

  • PDF

Next location prediction system with history of geodata (실제 위치 데이터를 기반으로 실시간으로 근미래 위치를 예측하는 시스템)

  • Song, Ha Yoon;An, Sang Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.801-804
    • /
    • 2021
  • 소비자의 과거 위치 데이터를 기반으로 다음 경로를 예측하는 것은 마케팅 부분에서 매우 중요한 부분이다. 그러나 전체 데이터를 이용해서 다음 위치를 제공하는 연구는 많았지만 이는 시간이 오래걸리기 때문에 서비스 제공에 이용하기에는 무리가 있다. 그래서 실시간으로 다음 경로를 예측 할 수 있는 서비스를 만들어 보았다. 데이터를 모으는 과정부터 데이터 베이스에 저장하고 활용해 시각화 하는 과정까지 총괄하는 서비스를 만들었다. 이 논문에서는 이동 데이터를 분석해 다음 위치를 예측하는 부분을 다룬다. 이동데이터를 전처리할때 학습의 편이를 위해 데이터의 형태를 [위도, 경도, 시간] 에서 [라벨값, 시간]으로 바꾸었다. 이 데이터를 CNN을 이용해 학습시킴으로서 실시간으로 예측값을 제공할 수 있다.