• 제목/요약/키워드: Data 분석

검색결과 63,378건 처리시간 0.068초

주성분 분석을 이용한 빅데이터 분석 (Big Data Analysis Using Principal Component Analysis)

  • 이승주
    • 한국지능시스템학회논문지
    • /
    • 제25권6호
    • /
    • pp.592-599
    • /
    • 2015
  • 빅 데이터 환경에서 빅데이터를 분석하기 위한 새로운 방법의 필요성이 대두되고 있다. 데이터의 크기, 다양성, 그리고 적재 속도 등의 빅데이터 특성으로 인해 모집단의 추론에서 전체 데이터의 분석이 가능해졌기 때문이다. 그러나 전통적인 통계분석 방법은 모집단으로부터 추출된 확률표본에 초점이 맞추어져 있다. 따라서 기존의 통계적 접근방법은 빅데이터 분석에 적합하지 않은 경우가 발생한다. 이와 같은 문제점을 해결하기 위하여 본 논문에서는 빅데이터분석을 위한 새로운 접근방법에 대하여 제안하였다. 특히 대표적인 다변량 통계분석 기법인 주성분 분석을 이용하여 효율적인 빅데이터분석을 위한 방법론을 연구하였다. 제안방법의 성능평가를 위하여 통계적 모의실험을 실시하였다.

Matlab을 활용한 빅데이터 기반 분석 시스템 연구 (Research on the Analysis System based on the Big Data for Matlab)

  • 주문일;김희철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.96-98
    • /
    • 2016
  • 최근 급속한 데이터의 생성으로 인하여 빅데이터 기술이 발전하고 있으며, 빅데이터를 분석하기 위한 다양한 빅데이터 분석 툴이 개발되어지고 있다. 대표적인 빅데이터 기반의 분석 툴은 R 프로그램, Hive, Tajo 등 다양한 분석 툴이 있다. 그러나, Matlab을 활용한 데이터 분석과 이를 위한 알고리즘 개발이 여전히 보편적이며, 빅데이터 분석에서도 Matlab이 광범위하게 사용되고 있다. 본 논문은 생체신호를 분석하는 Matlab을 활용한 빅데이터 기반 분석 시스템을 연구하고자 한다.

  • PDF

키워드 네트워크 분석을 이용한 빅데이터 특허 분석 (Big Data Patent Analysis Using Social Network Analysis)

  • 최주철
    • 한국융합학회논문지
    • /
    • 제9권2호
    • /
    • pp.251-257
    • /
    • 2018
  • 빅데이터의 활용은 비즈니스 가치를 높이는데 필수요소가 됨에 따라 빅데이터 시장의 규모가 점점 더 커지고 있다. 이에 따라 빅데이터 시장을 선점하기 위해서는 경쟁력 있는 특허를 선점하는 것이 중요하다. 본 연구에서는 빅데이터 특허의 동향을 분석하기 위하여 영문 키워드 네트워크 기반 특허분석을 수행하였다. 분석 절차는 빅데이터 수집 및 전처리, 네트워크 구성, 네트워크 분석으로 구성되어 있다. 연구 결과는 다음과 같다. 빅데이터 특허 대다수는 예측 등을 위한 데이터 처리를 위한 특허이며, analysis, process, information, data, prediction, server, service, construction 키워드가 연결정도 중심성 및 매개 중심성이 높았다. 본 연구의 분석결과는 향후 빅데이터 특허 출원 시 참고할 수 있는 유용한 정보로 활용될 수 있다.

빅데이터 분석 교육의 문제점과 개선 방안 -학생 과제 보고서를 중심으로 (Problems of Big Data Analysis Education and Their Solutions)

  • 최도식
    • 한국융합학회논문지
    • /
    • 제8권12호
    • /
    • pp.265-274
    • /
    • 2017
  • 본 논문은 빅데이터 분석 교육의 문제점을 고찰해 그 개선 방안을 제시한다. 빅데이터의 특성은 V3에서 V5로 진화하고 있다. 이에 빅데이터 분석 교육도 V5를 감안한 데이터 분석 교육이 되어야 한다. 작금 불확실성의 증대는 데이터 분석의 리스크를 증가시키기에 내적 외적 구조화/비구조화 데이터를 비롯해 교란 요인마저 분석할 때 데이터의 신뢰성은 증가될 수 있다. 그리고 평판분석을 활용할 때 범하기 쉬운 오류가 가변성과 불확실성에 대한 상황 인식이다. 가변성의 측면을 고려해, 다양한 변수와 옵션에 의한 불확실성의 상황을 인식하고 대비한 데이터 분석이 이뤄질 때 데이터에 대한 신뢰성과 정확성은 증가할 수 있다. 사회관계망 분석에서 학생들과 일반 연구자들이 주로 활용하는 것이 텍스톰과 노드엑셀의 노드 분석이다. 사화관계망 분석은 매개중심성에 의한 상황 분석을 통해 다크 데이터를 찾아 이상 현상을 감지하고 현 상황을 분석하여 유용한 의미를 얻고 미래를 예측할 수 있어야 한다.

스마트팜을 위한 웹 기반 데이터 분석 서비스 (Web-Based Data Analysis Service for Smart Farms)

  • 정지민;이지현;노혜민
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권9호
    • /
    • pp.355-362
    • /
    • 2022
  • 농업에 정보 통신 기술을 접목한 스마트팜은 단순한 생육 환경 모니터링에서 벗어나 작물 생육을 위한 최적의 환경을 발견하고 자율제어가 가능한 농업의 형태로 나아가고 있다. 이를 위해서는 관련 데이터를 수집하는 것도 중요하지만, 재배 경험과 지식을 가진 농업인 사용자들이 수집된 데이터를 다양한 관점에서 분석하여 작물 생육 환경 제어에 유용한 정보를 도출해야 할 필요가 있다. 본 연구에서는 작물 생육과 관련된 데이터를 가지고 필요한 정보를 얻고자 하는 농업인 사용자가 쉽게 데이터 분석을 할 수 있는 웹 서비스를 개발하였다. 개발한 웹 기반 데이터 분석 서비스는 데이터 분석을 위하여 R 언어를 사용하며 Node.js를 위한 익스프레스 웹 애플리케이션 프레임워크를 기반으로 개발하였다. 데이터 분석 서비스를 운영 중인 생육 환경 모니터링 시스템과 함께 적용해 본 결과 사용자는 웹 상에서 CSV 형식의 파일을 입력하거나 직접 데이터 입력함으로써 서버가 제공하는 데이터 분석을 위한 R 스크립트를 실행하여 데이터 분석을 수행할 수 있었다. 서비스 제공자는 다양한 데이터 분석 서비스를 쉽게 제공할 수 있었고, R 스크립트만 새로 추가하면 애플리케이션에 대한 수정 없이 새로운 데이터 분석 서비스 추가가 용이함을 확인하였다.

통계적 텍스트 마이닝을 이용한 빅 데이터 전처리 (A Big Data Preprocessing using Statistical Text Mining)

  • 전성해
    • 한국지능시스템학회논문지
    • /
    • 제25권5호
    • /
    • pp.470-476
    • /
    • 2015
  • 빅 데이터는 여러 분야에서 다양하게 사용되고 있다. 예를 들어, 컴퓨터학과 사회학에서 빅 데이터에 대한 서로간의 접근방법에 대한 차이는 있겠지만 빅 데이터의 분석을 통한 활용 측면에서는 공통적인 부분을 갖는다. 따라서 대부분의 분야에서 빅 데이터에 대한 의미 있는 분석과 활용은 필요하게 된다. 통계학과 기계학습은 빅 데이터의 분석을 위한 다양한 방법론을 제공한다. 본 논문에서는 빅 데이터분석 과정에 대하여 알아보고 수집된 빅데이터의 원천에서부터 분석을 거쳐 최종적으로 분석결과를 활용하는 전체 과정을 위한 효율적인 빅 데이터 분석방법에 대하여 연구한다. 특히, 빅 데이터의 특성을 갖는 여러 데이터 중 하나인 특허문서 데이터에 대하여 빅데이터분석을 적용하여 효과적인 특허분석을 수행하고 이 결과를 연구개발 기획에 적용하는 방법론에 대하여 제안한다. 제안방법에 대한 실제적용을 위하여 전 세계 특허데이터베이스로부터 실제 기업의 전체 출원, 등록 특허 문서를 수집, 분석하고 연구개발 업무에 활용하는 전 과정에 대한 사례연구를 수행하였다.

데이터 리터러시와 데이터 분석 성숙도의 관계에서 조직문화의 조절효과 (Data Literacy, Organizational Culture, and Data Analytics Maturity: Moderating Effect of Organizational Culture)

  • 박종남;조예은
    • 정보화정책
    • /
    • 제28권1호
    • /
    • pp.43-63
    • /
    • 2021
  • 최근 빠르게 변화하는 내·외부 환경에 대응하기 위해 데이터 분석 역량이 강조되고 있다. 본 연구는 조직문화가 데이터 기반 성과창출의 결정적인 역할을 한다는 점에 주목하여 조직문화 유형에 따른 데이터 리터러시와 데이터 분석 성숙도의 관계를 실증적으로 규명하였다. 첫 번째 분석 주제인 데이터 리터러시와 데이터 분석 활용도의 관계에서는 조직 구성원의 데이터 리터러시가 높을수록 조직의 데이터 분석 성숙도가 높다고 인식하고 있었다. 두 번째 주제인 조직문화와 데이터 분석 활용도의 관계를 살펴보면, 조직 구성원이 조직의 문화를 관계지향 문화와 혁신지향 문화라고 인식할수록 데이터 분석 성숙도가 높아진다고 인식하고 있다. 세 번째 분석인 데이터 리터러시와 데이터 분석 성숙도의 관계성은 관계지향 문화와 위계지향 문화에 의해서 달라짐을 발견하였다. 관계지향 문화는 데이터 리터러시가 데이터 분석 성숙도 인식에 미치는 영향에 대한 상승효과로 나타났으나, 위계지향 문화는 완충효과가 있는 것으로 나타났다.

시간단위 전력사용량 시계열 패턴의 군집 및 분류분석 (Clustering and classification to characterize daily electricity demand)

  • 박다인;윤상후
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권2호
    • /
    • pp.395-406
    • /
    • 2017
  • 전력 공급 시스템의 효율적인 운영을 위해 전력수요예측은 필수적이다. 본 연구에서는 군집분석과 분류분석을 이용하여 일 단위 시간별 전력수요량 시계열 패턴의 유형을 살펴보고자 한다. 전력거래소에서 수집된 2008년 1월 1일부터 2012년 12월 31일까지의 일 단위 시간별 전력수요량 데이터를 추세성분, 계절성분, 오차 성분으로 구성된 시계열 자료로 변환하여 사용하였다. 추세성분을 제거한 시계열 자료의 패턴을 구분하기 위한 군집 분석방법은 k-평균 군집분석 (k-means), 가우시안혼합모델 혼합 모델 군집분석 (Gaussian mixture model), 함수적 군집분석 (functional clustering)을 고려하였다. 주성분분석을 통해 24시간 자료를 2개의 요인로 축소한 후 k-평균 군집분석과 가우시안 혼합 모델, 함수적 군집분석을 수행하였다. 군집분석 결과를 토대로 2008년부터 2011년까지 총 4년간 데이터를 4가지 분류분석방법인 의사결정나무, RF (random forest), Naive bayes, SVM (support vector machine)을 통해 훈련시켜 2012년 군집을 예측하였다. 분석 결과 가우시안 혼합 분포기반 군집분석과 RF를 이용한 군집예측 결과의 성능이 가장 우수하였다.

빅데이터 분석 도구 R을 이용한 비정형 데이터 텍스트 마이닝과 시각화 (Text Mining and Visualization of Unstructured Data Using Big Data Analytical Tool R)

  • 남수태;신성윤;진찬용
    • 한국정보통신학회논문지
    • /
    • 제25권9호
    • /
    • pp.1199-1205
    • /
    • 2021
  • 빅데이터 시대에는 단순히 데이터베이스에 잘 정리된 정형 데이터뿐만 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 실시간 생성되는 웹 문서, 이메일, 소셜 데이터 등 비정형 빅데이터를 효과적으로 분석하는 것이 매우 중요하다. 빅데이터 분석은 데이터 저장소에 저장된 빅데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 빅데이터 분석 도구인 R 언어를 이용하여 비정형 논문 데이터를 빈도분석을 통해 분석결과를 요약과 시각화하고자 한다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 1월호-5월호 총 논문 104편을 대상으로 분석하였다. 최종 분석결과 가장 많이 언급된 키워드는 "데이터"가 1,538회로 1위를 차지하였다. 따라서 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

소셜 빅데이터 마이닝 기반 이슈 분석보고서 자동 생성 (Automatic Generation of Issue Analysis Report Based on Social Big Data Mining)

  • 허정;이충희;오효정;윤여찬;김현기;조요한;옥철영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권12호
    • /
    • pp.553-564
    • /
    • 2014
  • 본 논문은 지금까지의 소셜미디어 분석과 분석보고서 생성의 세 가지 문제점을 해결하기 위해서 소셜 빅데이터 마이닝에 기반한 이슈분석보고서 자동 생성 시스템을 제안한다. 세 가지 문제점은 분석의 고립성, 전문가의 주관성과 고비용에 기인한 정보의 폐쇄성이다. 시스템은 자연언어 질의분석, 이슈분석, 소셜 빅데이터 분석, 소셜 빅데이터 상관성분석과 자동 보고서 생성으로 구성된다. 생성된 보고서의 유용성을 평가하기 위해, 본 논문에서는 리커트척도를 사용하였고, 빅데이터 분석 전문가 2명이 평가하였다. 평가결과는 리커트 척도 평가에서 보고서의 품질이 비교적 유용하고 신뢰할 수 있는 것으로 평가되었다. 보고서 생성의 저비용, 소셜 빅데이터의 상관성 분석과 소셜 빅데이터 분석의 객관성 때문에, 제안된 시스템이 소셜 빅데이터 분석의 대중화를 선도할 것으로 기대된다.