A Study of improving reliability on prediction model by analyzing method Big data

빅데이터 분석방법을 이용한 예측모형의 신뢰도 향상에 관한 연구

Traditional method of establishing prediction model is usually using formal data stored in Data Base. However, nowadays advent of "smart" era brought by ground-breaking development of communication system makes informal data to dominate overall data, such 80% in total. Therefore, conventional method using formal data as establishing predicting model would be untrustworthy means in present. In other words, it is indispensible to make prediction model credible including informal data(SNS, image, video) and semi-formal data(log data). In this study, we increase credibility of predicting model adapting Bigdata method and comparing reliability of conventional measurement to real-data.

전통적인 방식의 예측모형 구축에서 사용되는 데이터는 주로 데이터베이스에 잘 보관되어 있는 정형데이터를 사용하였다. 하지만 지금의 상황은 스마트 시대의 도래로 인한 통신수단의 획기적인 발달로 비정형 데이터가 전체데이터의 80%를 상회하는 현실이다. 이러한 현실에서 기존의 방법대로 정형데이터 만을 이용하여 예측모형을 개발하면 예측모형의 신뢰성에 문제가 있을 것이다. 즉 전체데이터의 80%에 해당하는 비정형(SNS, 페이스북, 트위트, 이미지, 동영상 등)과 반정형(로그데이터)데이터를 반드시 포함하여 모형을 구축해야 만이 신뢰성을 현실화 시킬 수 있을 것이다. 본 논문에서는 예측모형 개발시 빅데이타 방법론을 적용하여 예측 모형의 신뢰성을 높이고, 데이터를 이용하여 제안된 방법과 전통적인 방법의 예측모형의 신뢰도를 비교 분석 하였다.