• 제목/요약/키워드: Big Data Analysis Technique

검색결과 260건 처리시간 0.024초

Analysis of 'Better Class' Characteristics and Patterns from College Lecture Evaluation by Longitudinal Big Data

  • Nam, Min-Woo;Cho, Eun-Soon
    • International Journal of Contents
    • /
    • 제15권3호
    • /
    • pp.7-12
    • /
    • 2019
  • The purpose of this study was to analyze characteristics and patterns of 'better class' by using the longitudinal text mining big data analysis technique from subjective lecture evaluation comments. First, this study classified upper 30% classes to deduce certain characteristics and patterns from every five-year subjective text data for 10 years. A total of 47,177courses (100%) from spring semester 2005 to fall semester 2014 were analyzed from a university at a metropolitan city in the mid area of South Korea. This study extracted meaningful words such as good, course, professor, appreciation, lecture, interesting, useful, know, easy, improvement, progress, teaching material, passion, and concern from the order of frequency 2005-2009. The other set of words were class, appreciation, professor, good, course, interesting, understanding, useful, help, student, effort, thinking, not difficult, explanation, lecture, hard, pleasant, easy, study, examination, like, various, fun, and knowledge 2010-2014. This study suggests that the characteristics and patterns of 'better class' at college, should be analyzed according to different academic code such as liberal arts, fine arts, social science, engineering, math and science, and etc.

지속가능한 농업 환경을 위한 블록체인과 AI 기반 빅 데이터 처리 기법 (Blockchain and AI-based big data processing techniques for sustainable agricultural environments)

  • 정윤수
    • 산업과 과학
    • /
    • 제3권2호
    • /
    • pp.17-22
    • /
    • 2024
  • 최근 ICT분야가 다양한 환경에서 사용되면서 지속가능한 농업 환경에서는 ICT 기술들을 활용하여 농작물별 병충해 분석, 농작물 수확시 로봇 사용, 빅 데이터로 인한 예측 등이 가능해졌다. 그러나, 지속 가능한 농업 환경에서는 자원의 고갈, 농업 인구 감소, 빈곤 증가, 환경 파괴 등을 해결하기 위한 노력이 꾸준히 요구되고 있다. 본 연구에서는 지속 가능한 농업 환경 기반의 농작물의 생산 비용 감소 및 효율성을 증가하기 위한 인공지능 기반 빅 데이터 처리 기법을 제안한다. 제안 기법은 AI를 결합한 농작물의 빅 데이터를 처리함으로써 데이터의 보안성과 신뢰성을 강화하고, 더 나은 의사 결정과 비즈니스 가치 추출이 가능하다. 이는 다양한 산업과 분야에서 혁신적인 변화를 이끌어내고, 데이터 중심의 비즈니스 모델의 발전을 촉진할 수 있다. 실험과정에서 제안 기법은 다량의 데이터가 생성되나, 일일이 정답을 태깅하기 힘든 농장 현장에서, 소량의 데이터에 대해서만 정확한 정답을 부여하고, 정답이 부여되지 않은 다량의 데이터와 함께 학습하여, 다량의 정답 데이터로 학습했을 때와 유사한 성능(오차율:0.05 이내)이 나타났다.

앙상블 기법을 활용한 대학생 중도탈락 예측 모형 개발 (A Study on the Development of University Students Dropout Prediction Model Using Ensemble Technique)

  • 박상성
    • 디지털산업정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.109-115
    • /
    • 2021
  • The number of freshmen at universities is decreasing due to the recent decline in the school-age population, and the survival of many universities is threatened. To overcome this situation, universities are seeking ways to use big data within the school to improve the quality of education. A study on the prediction of dropout students is a representative case of using big data in universities. The dropout prediction can prepare a systematic management plan by identifying students who will drop out of school due to reasons such as dropout or expulsion. In the case of actual on-campus data, a large number of missing values are included because it is collected and managed by various departments. For this reason, it is necessary to construct a model by effectively reflecting the missing values. In this study, we propose a university student dropout prediction model based on eXtreme Gradient Boost that can be applied to data with many missing values and shows high performance. In order to examine the practical applicability of the proposed model, an experiment was performed using data from C University in Chungbuk. As a result of the experiment, the prediction performance of the proposed model was found to be excellent. The management strategy of dropout students can be established through the prediction results of the model proposed in this paper.

자동 분류 기술을 활용한 온라인 강의 평가 방법 (Online Course Evaluation Method by Using Automatic Classification Technology)

  • 이용배
    • 정보교육학회논문지
    • /
    • 제24권4호
    • /
    • pp.291-300
    • /
    • 2020
  • 국내외 온라인 강의에 대한 학습자와 프로그램 수요는 증가하고 있지만 이에 대한 평가 방법은 설문지에 의한 정량적인 수치에 의존하고 있으며 객관적인 학습 만족도에 대한 평가 방법은 마련돼 있지 않다는 것이 문제점으로 드러나고 있다. 본 연구에서는 온라인 학습 시스템의 게시판에 있는 빅 데이터 메시지를 분석하여 온라인 강의를 평가하는 방법을 제안하려고 한다. 실제로 빅 데이터 분석기법 중 중요한 기술로 인식되는 자동분류 기법을 적용하여 온라인 강의 평가에 시범 적용해 보았으며 델파이 분석 결과에서도 평가 항목과 분류 결과 등이 온라인 강의 평가에 적합하고 학교나 기관에서 적용해볼 만하다는 결론을 얻었다. 본 연구는 빠르게 축적되고 있는 빅 데이터 분석기술을 가장 변화가 늦은 교육 분야에 적용해 보고 확장 가능성을 진단해보는데 의의가 있다.

LDA 토픽모델링 기법을 활용한 부산시 민원 빅데이터 분석 (Big Data Analysis of Busan Civil Affairs Using the LDA Topic Modeling Technique)

  • 박주섭;이새미
    • 정보화정책
    • /
    • 제27권2호
    • /
    • pp.66-83
    • /
    • 2020
  • 시민들은 도시 내 발생되고 있는 지역문제에 대해 큰 관심을 가지고 있다. 지방정부는 이러한 지역문제들을 해결하기 위해 노력하고 있지만 시민들의 생활 불편을 줄여주기는 쉽지 않고 이로 인한 시민들의 불만은 민원으로 이어지고 있다. 이를 해소할 수 있는 대안으로 빅데이터 활용을 통해 민원의 특성을 파악하고, 시민들에게 선제적 편의성을 제공하기 위한 노력이 절실하다. 본 논문에서는 LDA 토픽모델링 기법을 활용하여 전자민원의 동향 분석에 관한 연구를 실시한다. 이를 위해 2015~2017년 9,625건의 부산시 전자민원을 대상으로 20개의 민원토픽을 추출하였다. 도출된 민원토픽을 통해 핵심민원을 파악하고, 분기별 비중 추이 분석을 통하여 4개의 Hot 민원(버스정차, 택시기사, 칭찬, 민원처리)과 4개의 Cold 민원(cctv설치, 버스노선, 공원주차장, 축제 불만)을 도출하였다. 본 연구는 민원동향을 파악하기 위해 빅데이터 분석 방법을 제시하였고, 후속 연구를 유발하였다는 학문적 기여도가 있다. 또한 민원분석을 위해 사용한 텍스트마이닝 기법은 빅데이터 처리가 필요한 다른 행정업무에도 활용될 수 있다.

빅데이터 환경에서 기계학습 알고리즘 응용을 통한 보안 성향 분석 기법 (Security tendency analysis techniques through machine learning algorithms applications in big data environments)

  • 최도현;박중오
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.269-276
    • /
    • 2015
  • 최근 빅데이터 관련 산업 활성화에 따라 글로벌 보안 업체들은 지능적인 보안 위협 모니터링과 예방을 위해 분석 데이터의 범위를 정형/비정형 데이터로 확대하고, 보안 예방을 목적으로 사용자의 성향 분석 기법을 활용하려는 추세이다. 이는 기존 정형 데이터(기존 수치화 가능한 자료)의 분석 결과에서 추론할 수 있는 정보의 범위가 한정적이기 때문이다. 본 논문은 빅데이터 환경에서 기계학습 알고리즘($Na{\ddot{i}}ve$ Bayes, Decision Tree, K-nearest neighbor, Apriori)을 효율적으로 응용하여 보안 성향(목적 별 항목 분류, 긍정 부정 판단, 핵심 키워드 연관성 분석)을 분석하는데 활용한다. 성능 분석 결과 보안 성향 판단을 위한 보안항목 및 특정 지표를 정형/비정형 데이터에서 추출할 수 있음을 확인하였다.

빅데이터 분석을 통한 데이터 3법 인식에 관한 연구 (A Study on the Perception of Data 3 Act through Big Data Analysis)

  • 오정주;이환수
    • 융합보안논문지
    • /
    • 제21권2호
    • /
    • pp.19-28
    • /
    • 2021
  • 산업의 디지털 전환을 촉진하고 혁신을 가속화하고자 우리나라는 디지털 뉴딜 정책을 추진하고 있다. 그러나 엄격한 기존의 데이터 관련 법제 하에서는 디지털 뉴딜정책을 위한 산업계의 데이터 활용에 여전히 제약이 있는 상황이다. 이러한 문제를 해결하기 위해서 데이터 3법 개정안이 발의되었으나 실제로 산업계의 데이터 이용 활성화에 어떠한 영향을 미칠지에 대한 논의는 아직 부족한 상황이다. 이에 본 연구에서는 데이터 3법에 대한 여론의 인식을 분석하여 데이터 3법 개정안의 시사점을 분석하고자 한다. 이를 위하여 데이터 3법 개정안과 관련 연구동향을 분석하고, 빅데이터 분석 기법을 이용하여 데이터 3법에 대한 인식을 분석하였다. 분석결과에 따르면 데이터 3법은 개정 취지에 부합하게 데이터 산업 활성화를 촉진하는 반면에 특정산업 분야에 치중될 우려가 있는 것으로 나타났다. 본 연구의 결과는 빅데이터 분석을 통해 시행 초기인 데이터 3법의 산업영향에 대한 온라인 인식을 분석함으로써 향후 개선방안에 대한 시사점을 제공한다는 점에서 의의가 있다.

TF-IDF를 활용한 한글 자연어 처리 연구 (A study on Korean language processing using TF-IDF)

  • 이종화;이문봉;김종원
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제28권3호
    • /
    • pp.105-121
    • /
    • 2019
  • Purpose One of the reasons for the expansion of information systems in the enterprise is the increased efficiency of data analysis. In particular, the rapidly increasing data types which are complex and unstructured such as video, voice, images, and conversations in and out of social networks. The purpose of this study is the customer needs analysis from customer voices, ie, text data, in the web environment.. Design/methodology/approach As previous study results, the word frequency of the sentence is extracted as a word that interprets the sentence has better affects than frequency analysis. In this study, we applied the TF-IDF method, which extracts important keywords in real sentences, not the TF method, which is a word extraction technique that expresses sentences with simple frequency only, in Korean language research. We visualized the two techniques by cluster analysis and describe the difference. Findings TF technique and TF-IDF technique are applied for Korean natural language processing, the research showed the value from frequency analysis technique to semantic analysis and it is expected to change the technique by Korean language processing researcher.

R기반 빅데이터 분석기법을 활용한 상수도시스템 누수사고 분석 (Water leakage accident analysis of water supply networks using big data analysis technique)

  • 홍성진;유도근
    • 한국수자원학회논문집
    • /
    • 제55권spc1호
    • /
    • pp.1261-1270
    • /
    • 2022
  • 본 연구의 목적은 사람들이 쉽게 접할 수 있는 포털의 뉴스 검색 결과를 활용하여 쉽게 접근, 활용하지 못하는 상수도 누수 관련 정보를 모아 분석하는 것이다. 상수도 시스템의 누수사고 빅데이터 뉴스의 추출을 위한 웹크롤링 기법을 적용하고 정확한 누수사고 뉴스를 획득하고자 알고리즘을 절차화하여 제시하였다. 또한 추출된 누수사고 기사에서 발생일시, 피해영향, 발생지점, 피해원인, 피해시설 등과 같은 추가적인 정보의 획득이 가능하도록 상수도 누수사고 정보 분석에 적합한 데이터 분석 기법을 개발하였으며 그에 따른 적용결과를 제시하였다. 본 연구에서 제안한 빅데이터 기반 누수 분석을 통한 가치 추출은 기존의 상수도통계 결과와 비교를 통한 유의미한 가치를 추출하는 데 1차적 목표가 있으며, 이와 같은 분석 결과를 활용하여 향후 누수 사고 대응에 있어 소비자의 반응에 효과적으로 대응하거나 서비스 수준을 결정하는데 활용할 수 있다. 즉, 이와 같은 분석결과의 제시를 통해 사고와 같은 정보를 대중에 조금더 알려야하는 필요성을 제시하고, 사고 발생시 빠른 대처가 가능할 수 있는 전파 및 대응 체계를 마련하는데 연계활용할 수 있다.

화장품 회사의 빅데이터분석을 통한 브랜드컨셉 개발 사례분석 (A Case Study on the Development of New Brand Concept through Big Data Analysis for A Cosmetics Company)

  • 이주민;방정혜
    • 지식경영연구
    • /
    • 제21권3호
    • /
    • pp.215-228
    • /
    • 2020
  • 본 연구는 경쟁이 심한 화장품 시장에 새롭게 뛰어들어 빅데이터 분석을 활용하여 브랜드 컨셉을 개발한 기업의 사례를 소개하고 있다. 안티에이징 관련 좋은 원재료 기술을 보유한 스킨리버스랩은 기능성화장품 시장에 새롭게 브랜드를 출시하였다. SNS 데이터를 화장품에 대한 소비자 태도, 기능성화장품에 대한 소비자 태도, 기능성화장품의 대표 경쟁사 분석, 소비자의 제품 사용 경험 등의 4가지 측면에서 분석하여 로지컬리스킨이라는 매력적인 브랜드 컨셉을 개발하였다. AI 기반 빅데이터 분석 툴인 루미노소를 이용하여 맥락 기반의 감성분석, 연관어 분석, 워드클라우드 분석 등을 통해 소비자에 대한 인사이트를 도출하였다. 로지컬리스킨은 유명잡지나 앱에서 다수의 상을 수상하며 글로벌 트랜드 기준에 부합한 제품으로 인정을 받았고, 미국, 홍콩을 포함한 6개 국가에 진출하였다. 로지컬리스킨 사례는 외부 데이터 만으로 소비자 인사이트를 도출하여 신생 기업이 신규 브랜드로 시장에 진출한 사례이며, AI 기반 감성 분석을 적용한 사례로서 의의가 있다.