• Title/Summary/Keyword: 빅데이터분석기법

Search Result 586, Processing Time 0.028 seconds

Big Data Analysis Using Principal Component Analysis (주성분 분석을 이용한 빅데이터 분석)

  • Lee, Seung-Joo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.25 no.6
    • /
    • pp.592-599
    • /
    • 2015
  • In big data environment, we need new approach for big data analysis, because the characteristics of big data, such as volume, variety, and velocity, can analyze entire data for inferring population. But traditional methods of statistics were focused on small data called random sample extracted from population. So, the classical analyses based on statistics are not suitable to big data analysis. To solve this problem, we propose an approach to efficient big data analysis. In this paper, we consider a big data analysis using principal component analysis, which is popular method in multivariate statistics. To verify the performance of our research, we carry out diverse simulation studies.

Effective visualization methods for a manufacturing big data system (제조 빅데이터 시스템을 위한 효과적인 시각화 기법)

  • Yoo, Kwan-Hee
    • Journal of the Korean Data and Information Science Society
    • /
    • v.28 no.6
    • /
    • pp.1301-1311
    • /
    • 2017
  • Manufacturing big data systems have supported decision making that can improve preemptive manufacturing activities through collection, storage, management, and predictive analysis of related 4M data in pre-manufacturing processes. Effective visualization of data is crucial for efficient management and operation of data in these systems. This paper presents visualization techniques that can be used to effectively show data collection, analysis, and prediction results in the manufacturing big data systems. Through the visualization technique presented in this paper, we have confirmed that it was not only easy to identify the problems that occurred at the manufacturing site, but also it was very useful to reply to these problems.

A Study on Omni's Senior Service Support System Using Big Data Analytics (빅 데이터 분석 기법을 이용한 노인의 주기별 옴니서비스 지원시스템)

  • Park, Gyeongsu;Kim, Kwangsil;Kim, Chang Gi;Seo, Jeong Min
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2016.05a
    • /
    • pp.175-176
    • /
    • 2016
  • 최근 빅 데이터 및 분석기술을 이용한 분야가 다양화되고 있다. 하지만 정작 사회복지분야로의 적용은 매우 미약한 것이 현실이다. 사회복지분야에서의 빅 데이터를 이용한 각종 개인화 복지 서비스의 제공은 경제적인 부분뿐만 아니라 서비스를 제공하는 기관이나 서비스를 제공받는 이들에게 모두 상호 유기적인 관계를 유지할 수 있다. 특히 사회 조직으로부터 은퇴하거나 떨어져서 개인적인 삶을 영위해야 하는 노인들에게 있어 그들의 라이프 로그와 같은 빅 데이터를 분석하여 복합적이며 융합적인 복지서비스를 제공하는 기법은 매우 효율적이라 할 수 있다. 이에 본 논문에서는 노인들의 빅 데이터를 이용한 시간의 흐름별 옴니 복지서비스를 제공하도록 그들의 환경을 분석하는 시스템을 제안한다.

  • PDF

Bigdata Analysis on Keyword by Generations through Text Mining: Focused on Board of Nate Pann in 10s, 20s, 30s (텍스트 마이닝을 활용한 세대별 키워드 빅데이터 분석: 네이트판 10대·20대·30대 게시판을 중심으로)

  • Jeong, Baek;Bae, Sungwon;Hwangbo, Yujeong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.513-516
    • /
    • 2022
  • 본 논문에서는 텍스트 마이닝 기법을 이용하여 MZ 세대를 이해하는 키워드를 도출하고자 한다. MZ 세대의 비중이 높아지면서, MZ 세대를 분석하려고 하는 많은 연구들이 수행되고 있다. 이에 본 연구에서는 MZ 세대를 이해하기 위하여 네이트 판의 연령별 게시판 크롤링을 통해 빅데이터를 수집하였다. 그리고 텍스트 마이닝 기법을 활용하여 10대, 20대, 30대의 각각의 키워드를 도출할 수 있었다. 본 논문에서 도출된 키워드는 이는 MZ 세대를 이해하는데 중요한 키워드로 볼 수 있을 것이다. 향후 연구로는 MZ 세대와 기성 세대를 비교하기 위하여 추가 크롤링을 통해 세대 간 비교 연구를 수행하고자 한다.

  • PDF

Standardizing Unstructured Big Data and Visual Interpretation using MapReduce and Correspondence Analysis (맵리듀스와 대응분석을 활용한 비정형 빅 데이터의 정형화와 시각적 해석)

  • Choi, Joseph;Choi, Yong-Seok
    • The Korean Journal of Applied Statistics
    • /
    • v.27 no.2
    • /
    • pp.169-183
    • /
    • 2014
  • Massive and various types of data recorded everywhere are called big data. Therefore, it is important to analyze big data and to nd valuable information. Besides, to standardize unstructured big data is important for the application of statistical methods. In this paper, we will show how to standardize unstructured big data using MapReduce which is a distribution processing system. We also apply simple correspondence analysis and multiple correspondence analysis to nd the relationship and characteristic of direct relationship words for Samsung Electronics and The Korea Economic Daily newspaper as well as Apple Inc.

A Study on Word Cloud Techniques for Analysis of Unstructured Text Data (비정형 텍스트 테이터 분석을 위한 워드클라우드 기법에 관한 연구)

  • Lee, Won-Jo
    • The Journal of the Convergence on Culture Technology
    • /
    • v.6 no.4
    • /
    • pp.715-720
    • /
    • 2020
  • In Big data analysis, text data is mostly unstructured and large-capacity, so analysis was difficult because analysis techniques were not established. Therefore, this study was conducted for the possibility of commercialization through verification of usefulness and problems when applying the big data word cloud technique, one of the text data analysis techniques. In this paper, the limitations and problems of this technique are derived through visualization analysis of the "President UN Speech" using the R program word cloud technique. In addition, by proposing an improved model to solve this problem, an efficient method for practical application of the word cloud technique is proposed.

A Study of Analyzing Realtime Strategy Game Data using Data Mining (Data Mining을 이용한 전략시뮬레이션 게임 데이터 분석)

  • Yong, Hye-Ryeon;Kim, Do-Jin;Hwang, Hyun-Seok
    • Journal of Korea Game Society
    • /
    • v.15 no.4
    • /
    • pp.59-68
    • /
    • 2015
  • The progress in Information & Communication Technology enables data scientists to analyze big data for identifying peoples' daily lives and tacit preferences. A variety of industries already aware the potential usefulness of analyzing big data. However limited use of big data has been performed in game industry. In this research, we adopt data mining technique to analyze data gathered from a strategic simulation game. Decision Tree, Random Forest, Multi-class SVM, and Linear Regression techniques are used to find the most important variables to users' game levels. We provide practical guides for game design and usability based on the analyzed results.

Analysis of the Core Concepts of Middle School Informatics Textbook Using Big Data Analysis Techniques (빅데이터 분석 방법을 이용한 중학교 정보 교과서 핵심 개념 분석)

  • Woon, Daewoong;Choe, Hyunjong
    • Journal of Creative Information Culture
    • /
    • v.5 no.2
    • /
    • pp.157-164
    • /
    • 2019
  • Big data is a field that has been utilized and developed in various fields in our society recently. Big data analysis techniques are frequently used to analyze various big data in various fields of politics, economy, and society to grasp various meanings hidden in the data. However, big data analysis is used some case studies of in fields of analysis of educational data, but analysis of the curriculum and direction is still inadequate. Therefore, this study aims to identify and analyze the core concepts of middle school informatics textbooks using big data analysis techniques. Text mining was used for big data analysis for informatics textbook analysis. Through the core concepts of middle school informatics textbooks identified using this techniques, we could confirm the concepts to be emphasized in the textbooks and the possibility of using big data in the field of education.

Real Time Stock Information Analysis Method Based on Big Data considering Reliability (신뢰성을 고려한 빅데이터 기반 실시간 증권정보 분석 기법)

  • Kim, Yoon-Ki;Cho, Chang-Woo;Jeong, Chang-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.146-147
    • /
    • 2013
  • 소셜 미디어와 스마트폰의 확산으로 인터넷상의 사용자간 교류되는 정보의 양이 대폭 늘어남에 따라 대규모의 데이터를 처리해야할 필요성이 높아졌다. 이러한 빅데이터는 뉴스, 소셜미디어, 웹사이트 등의 다양한 분산 서버에서 발생한다. 증권정보를 분석하기 위해서도 실시간으로 발생되는 거래량, 시가와 더불어 상장회사의 공시 정보 등의 데이터를 여러 분산된 서버에서 데이터를 가져와야 한다. 기존의 빅데이터 분석기법은 각 분산된 서버로부터 가져온 데이터가 동일한 신뢰성을 가지고 있다고 가정하고 분석을 한다. 이는 부문별한 정보를 포함한 데이터를 효율적으로 분석하지 못하는 한계를 지니고 있다. 본 논문에서는 가져오는 데이터에 신뢰성 가중치를 부여하여 신뢰성 있는 증권정보 분석을 가능하게 한다.

A Study on Factors Influencing Intention to Use Big Data in Shipping and Port Company (해운항만기업의 빅데이터 사용의도에 영향을 미치는 요인에 관한 연구)

  • Lee, Joon-Peel;Chang, Myung-Hee
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2017.11a
    • /
    • pp.136-137
    • /
    • 2017
  • 4차 산업혁명시대가 도래함에 따라 해운항만기업에서 4차 산업혁명을 주도하는 ICT를 활용하기 위한 노력이 다양하게 전개되고 있다. 특히 해운항만물류분야에서는 IoT센서가 만들어내는 다양한 데이터를 분석하여 도출된 인사이트를 기반으로 업무효율성을 높이고자 빅데이터분석 기법을 적용하기 시작하고 있다. 본 연구에서는 해운항만기업들 중 빅데이터분석을 도입해서 활용하고 있거나, 빅데이터를 업무에 활용하기 위해 도입의도를 가지고 있는 기업의 종사자들을 대상으로 어떤 요인들이 빅데이터 사용의도를 높여주는 지에 대하여 실증분석.

  • PDF