• 제목/요약/키워드: Big data analytics

검색결과 279건 처리시간 0.023초

Analysis of Market Trajectory Data using k-NN

  • Park, So-Hyun;Ihm, Sun-Young;Park, Young-Ho
    • Journal of Multimedia Information System
    • /
    • 제5권3호
    • /
    • pp.195-200
    • /
    • 2018
  • Recently, as the sensor and big data analysis technology have been developed, there have been a lot of researches that analyze the purchase-related data such as the trajectory information and the stay time. Such purchase-related data is usefully used for the purchase pattern prediction and the purchase time prediction. Because it is difficult to find periodic patterns in large-scale human data, it is necessary to look at actual data sets, find various feature patterns, and then apply a machine learning algorithm appropriate to the pattern and purpose. Although existing papers have been used to analyze data using various machine learning methods, there is a lack of statistical analysis such as finding feature patterns before applying the machine learning algorithm. Therefore, we analyze the purchasing data of Songjeong Maeil Market, which is a data gathering place, and finds some characteristic patterns through statistical data analysis. Based on the results of 1, we derive meaningful conclusions by applying the machine learning algorithm and present future research directions. Through the data analysis, it was confirmed that the number of visits was different according to the regional characteristics around Songjeong Maeil Market, and the distribution of time spent by consumers could be grasped.

온라인 호텔 리뷰와 평점 불일치 문제 해결을 위한 딥러닝 기반 개인화 추천 서비스 연구 (A Study of Deep Learning-based Personalized Recommendation Service for Solving Online Hotel Review and Rating Mismatch Problem)

  • 이청용;최사박;신병규;김재경
    • 경영정보학연구
    • /
    • 제23권3호
    • /
    • pp.51-75
    • /
    • 2021
  • 세계적인 전자상거래 기업들은 지속 가능한 경쟁력을 확보하기 위해 사용자 맞춤형 추천 서비스를 제공하고 있다. 기존 관련 연구에서는 주로 평점, 구매 여부 등 정량적 선호도 정보를 사용하여 개인화 추천 서비스를 제공하였다. 하지만 이와 같은 정량적 선호도 정보를 사용하여 개인화 추천 서비스를 제공하면 추천 성능이 저하될 수 있다는 문제점이 제기되고 있다. 호텔을 이용한 사용자가 호텔 서비스, 청결 상태 등에 대하여 만족하지 못한다고 리뷰를 작성하였으나 선호도 평점 5점을 부여했을 때 정량적 선호도(평점)와 정성적 선호도(리뷰)가 불일치한 문제가 발생할 수 있다. 따라서 본 연구에서는 정량적 선호도 정보와 정성적 선호도 정보가 일치하는지를 확인하고 이를 바탕으로 선호도 정보가 일치하는 사용자를 바탕으로 새로운 프로파일을 구축하여 개인화 추천 서비스를 제공하고자 한다. 리뷰에서 정성적 선호도를 추출하기 위해 자연어 처리 관련 연구에서 널리 사용되고 있는 CNN, LSTM, CNN + LSTM 등 딥러닝 기법을 사용하여 감성분석 모델을 구축하였다. 이를 통해 사용자가 작성한 리뷰에서 정성적 선호도 정보를 정교하게 추출하여 정량적 선호도 정보와 비교하였다. 본 연구에서 제안한 추천 방법론의 성능을 평가하기 위해 세계 최대 여행 플랫폼 TripAdvisor에서 실제 호텔을 이용한 사용자 선호도 정보를 수집하여 사용하였다. 실험 결과 본 연구에서 제안한 추천 방법론이 기존의 정량적 선호도만을 고려하는 추천 방법론보다 우수한 추천 성능을 나타냄을 확인할 수 있었다.

텍스트 마이닝을 활용한 건설안전사고 빅데이터 분석 (Big Data Analytics of Construction Safety Incidents Using Text Mining)

  • 서정욱;송지훈
    • 한국산업융합학회 논문집
    • /
    • 제27권3호
    • /
    • pp.581-590
    • /
    • 2024
  • This study aims to extract key topics through text mining of incident records (incident history, post-incident measures, preventive measures) from construction safety accident case data available on the public data portal. It also seeks to provide fundamental insights contributing to the establishment of manuals for disaster prevention by identifying correlations between these topics. After pre-processing the input data, we used the LDA-based topic modeling technique to derive the main topics. Consequently, we obtained five topics related to incident history, and four topics each related to post-incident measures and preventive measures. Although no dominant patterns emerged from the topic pattern analysis, the study holds significance as it provides quantitative information on the follow-up actions related to the incident history, thereby suggesting practical implications for the establishment of a preventive decision-making system through the linkage between accident history and subsequent measures for reccurrence prevention.

Big Data Analytics Applied to the Construction Site Accident Factor Analysis

  • KIM, Joon-soo;Lee, Ji-su;KIM, Byung-soo
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.678-679
    • /
    • 2015
  • Recently, safety accidents in construction sites are increasing. Accordingly, in this study, development of 'Big-Data Analysis Modeling' can collect articles from last 10 years which came from the Internet News and draw the cause of accidents that happening per season. In order to apply this study, Web Crawling Modeling that can collect 98% of desired information from the internet by using 'Xml', 'tm', "Rcurl' from the library of R, a statistical analysis program has been developed, and Datamining Model, which can draw useful information by using 'Principal Component Analysis' on the result of Work Frequency of 'Textmining.' Through Web Crawling Modeling, 7,384 out of 7,534 Internet News articles that have been posted from the past 10 years regarding "safety Accidents in construction sites", and recognized the characteristics of safety accidents that happening per season. The result showed that accidents caused by abnormal temperature and localized heavy rain, occurred frequently in spring and winter, and accidents caused by violation of safety regulations and breakdown of structures occurred frequently in spring and fall. Plus, the fact that accidents happening from collision of heavy equipment happens constantly every season was acknowledgeable. The result, which has been obtained from "Big-Data Analysis Modeling" corresponds with prior studies. Thus, the study is reliable and able to be applied to not only construction sites but also in the overall industry.

  • PDF

빅데이터를 이용한 비건 패션 쟁점의 분석 -한국, 중국, 미국을 중심으로- (Perception and Trend Differences between Korea, China, and the US on Vegan Fashion -Using Big Data Analytics-)

  • 정지운;윤소정
    • 한국의류학회지
    • /
    • 제47권5호
    • /
    • pp.804-821
    • /
    • 2023
  • This study examines current trends and perceptions of veganism and vegan fashion in Korea, China, and the United States. Using big data tools Textom and Ucinet, we conducted cluster analysis between keywords. Further, frequency analysis using keyword extraction and CONCOR analysis obtained the following results. First, the nations' perceptions of veganism and vegan fashion differ significantly. Korea and the United States generally share a similar understanding of vegan fashion. Second, the industrial structures, such as products and businesses, impacted how Korea perceived veganism. Third, owing to its ongoing sociopolitical tensions, the United States views veganism as an ethical consumption method that ties into activism. In contrast, China views veganism as a healthy diet rather than a lifestyle and associates it with Buddhist vegetarianism. This perception is because of their religious history and culinary culture. Fundamentally, this study is meaningful for using big data to extract keywords related to vegan fashion in Korea, China, and the United States. This study deepens our understanding of vegan fashion by comparing perceptions across nations.

지시적 분석 기반 역량 강화 시스템 (Research Capability Enhancement System Based on Prescriptive Analytics)

  • 김장원;정한민;정도헌;송사광;황명권
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권1호
    • /
    • pp.46-51
    • /
    • 2015
  • 폭발적으로 증가하는 데이터와 급변하는 기술적 발전은 과거와 현재를 넘어 미래를 예견하고 대응할 수 있는 새로운 분석 패러다임을 요구한다. 지시적 분석은 목표를 설정하고 이를 달성하기 전략을 수립함으로써 분석 결과의 제시에 그치는 게 아니라 사용자에게 목표 달성을 위한 구체적 행동과 그 결과를 요구한다는 점에서 기존의 기술적 분석, 예측적 분석과 근본적인 차이점을 보여준다. 그렇지만, 아직까지 구체적인 구현 방안이 널리 연구되고 있지 않고 있다. 본 연구에서는 연구 역량 강화를 목적으로 개발되고 있는 InSciTe Advisory 사례를 통해 고려할 사항과 어떤 개발 요소들이 필요한 지를 살펴봄으로써 해당 연구 분야의 기반을 제시하고자 한다. InSciTe Advisory 시스템은 5W1H 방법론을 중심으로 연구자가 롤 모델 그룹에 도달하기 위한 전략을 수립할 수 있음을 보이며, 평가 모델을 통해 Elsevier SciVal과 비교하여 126.5%라는 비교 우위적 평가 결과를 얻었다.

빅데이터 분석 교육의 문제점과 개선 방안 -학생 과제 보고서를 중심으로 (Problems of Big Data Analysis Education and Their Solutions)

  • 최도식
    • 한국융합학회논문지
    • /
    • 제8권12호
    • /
    • pp.265-274
    • /
    • 2017
  • 본 논문은 빅데이터 분석 교육의 문제점을 고찰해 그 개선 방안을 제시한다. 빅데이터의 특성은 V3에서 V5로 진화하고 있다. 이에 빅데이터 분석 교육도 V5를 감안한 데이터 분석 교육이 되어야 한다. 작금 불확실성의 증대는 데이터 분석의 리스크를 증가시키기에 내적 외적 구조화/비구조화 데이터를 비롯해 교란 요인마저 분석할 때 데이터의 신뢰성은 증가될 수 있다. 그리고 평판분석을 활용할 때 범하기 쉬운 오류가 가변성과 불확실성에 대한 상황 인식이다. 가변성의 측면을 고려해, 다양한 변수와 옵션에 의한 불확실성의 상황을 인식하고 대비한 데이터 분석이 이뤄질 때 데이터에 대한 신뢰성과 정확성은 증가할 수 있다. 사회관계망 분석에서 학생들과 일반 연구자들이 주로 활용하는 것이 텍스톰과 노드엑셀의 노드 분석이다. 사화관계망 분석은 매개중심성에 의한 상황 분석을 통해 다크 데이터를 찾아 이상 현상을 감지하고 현 상황을 분석하여 유용한 의미를 얻고 미래를 예측할 수 있어야 한다.

A Study of Comparison between Cruise Tours in China and U.S.A through Big Data Analytics

  • Shuting, Tao;Kim, Hak-Seon
    • 한국조리학회지
    • /
    • 제23권6호
    • /
    • pp.1-11
    • /
    • 2017
  • The purpose of this study was to compare the cruise tours between China and U.S.A. through the semantic network analysis of big data by collecting online data with SCTM (Smart crawling & Text mining), a data collecting and processing program. The data analysis period was from January $1^{st}$, 2015 to August $15^{th}$, 2017, meanwhile, "cruise tour, china", "cruise tour, usa" were conducted to be as keywords to collet related data and packaged Netdraw along with UCINET 6.0 were utilized for data analysis. Currently, Chinese cruisers concern on the cruising destinations while American cruisers pay more attention on the onboard experience and cruising expenditure. After performing CONCOR (convergence of iterated correlation) analysis, for Chinese cruise tour, there were three clusters created with domestic destinations, international destinations and hospitality tourism. As for American cruise tour, four groups have been segmented with cruise expenditure, onboard experience, cruise brand and destinations. Since the cruise tourism of America was greatly developed, this study also was supposed to provide significant and social network-oriented suggestions for Chinese cruise tourism.

소셜빅데이터를 이용한 온라인 소비자감성지수(e-CCSI) 개발 (Electronic-Composit Consumer Sentiment Index(CCSI) development by Social Bigdata Analysis)

  • 김유신;홍성관;강희주;정승렬
    • 인터넷정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.121-131
    • /
    • 2017
  • 인터넷, 소셜미디어, 모바일 등의 등장이후 소비자들은 개인의 의견을 온라인을 통해 적극적으로 표명하기 시작했고 이의 확산 또한 실시간으로 이루어지고 있다. 인터넷 기반의 다양한 커뮤니케이션 활동들을 통해 생산되는 텍스트는 인터넷을 사용하는 사용자들이 공유하고 공감하는 자원으로서 단순한 소통의 도구를 넘어 분석의 가치가 있는 새로운 정보의 창고가 되고 있다. 세계 각국의 정부와 기업은 인터넷과 소셜미디어를 통해 생산되는 소셜 빅데이터를 활용하여 사회/경제적 문제의 해결과 정부의 정책을 효과적으로 추진하는데 적극 활용하고 있다. 특히 경제와 관련해서는 경기현황에 대한 경제주체들의 움직임을 보다 빠르고 정확하게 분석하고 예측하여 이에 알맞은 정책을 적기에 실시할 수 있도록 다각적인 활동을 펼치고 있다. 본 연구에서는 소셜 미디어에 내재된 소비자의 직적접이고 즉시성 있는 의견을 경제적 측면에서 활용할 수 있는 온라인 소비자감성지수 모형을 제시하고 구현하였다. 이를 위해 한국은행의 소비자동향조사(CSI)와 소비자심리지수(CCSI)를 온라인으로 수행할 수 있는 어휘분류체계(온톨로지)와 감성사전을 구축하고 감성분석을 실시하여 생활형편, 경제상황, 소비와 수입 4가지 영역의 소셜감성지수를 도출하였다. 또한 이들을 결합한 온라인 소비자감성지수(e-CCSI)를 개발하고 소비자심리지수와 비교를 통해 유용성을 확인하였다.

딥러닝 시티: 스마트 시티의 빅데이터 분석 프레임워크 제안 (Deep Learning City: A Big Data Analytics Framework for Smart Cities)

  • 김화종
    • 정보화정책
    • /
    • 제24권4호
    • /
    • pp.79-92
    • /
    • 2017
  • 도시 기능이 복합적으로 발전함에 따라 스마트 시티에 대한 관심이 높아지고 있다. 스마트 시티란 정보통신기술을 활용하여 교통, 안전, 복지, 생활 등 도시 문제를 효과적으로 해결하는 것을 말한다. 최근 세계 각국은 빅데이터, 사물인터넷, 인공지능 기술을 스마트 시티에 도입하는 시도를 하고 있으나 종합적인 도시 서비스로는 발전하지 못하고 있다. 본 논문에서는 국내외 스마트 시티 추진 현황을 살펴보고 핵심 문제로 부각된, 데이터 공유문제, 서비스 호환성 문제를 해결하는 방안을 제시하였다. 이를 위해 딥러닝 기술을 스마트 시티 서비스에 접목한 "딥러닝 시티 프레임워크"를 제안하고 도시 여러 영역의 시공간 데이터를 안전하게 공유하고 여러 도시의 학습 데이터를 융합하는 새로운 스마트 시티 추진 전략을 제시하였다.