• 제목/요약/키워드: 빅데이터 분석 기법

검색결과 588건 처리시간 0.039초

의사결정트리를 이용한 돈사 환경데이터와 일당증체 간의 연관성 분석 모델 개발 (Development of a model to analyze the relationship between smart pig-farm environmental data and daily weight increase based on decision tree)

  • 한강휘;이웅섭;성길영
    • 한국정보통신학회논문지
    • /
    • 제20권12호
    • /
    • pp.2348-2354
    • /
    • 2016
  • 최근 농업분야에서 IoT(Internet of Things)기술을 통해 다양한 생체 및 환경 정보를 DB(data base)로 구축할 수 있게 되면서 빅 데이터를 이용한 기계학습 분석이 증가하고 있다. 기계학습 분석을 통해 농업의 생산량과 가축의 질병 등을 예측할 수 있게 되어 농업경영에서 효율적인 의사결정을 돕는다. 본 논문에서는 스마트 돈사의 다양한 환경데이터와 몸무게데이터를 이용하여 환경정보와 일당증체의 연관성 모델을 도출하고 그 정확도를 분석하였다. 이를 위해 기계학습의 M5P tree기법을 적용하였다. 분석을 통해 일당증체량이 풍속에 큰 영향을 받는 것을 확인하였다.

항공산업 미래유망분야 선정을 위한 텍스트 마이닝 기반의 트렌드 분석 (Text Mining-Based Emerging Trend Analysis for the Aviation Industry)

  • 김현정;조남옥;신경식
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.65-82
    • /
    • 2015
  • 최근 경제적 사회적 부가가치를 창출할 수 있는 유망분야를 선정하여 국가 전략 및 정책 수립 시 반영하기 위해 미래 핵심 이슈를 발견하고 트렌드를 분석하는 것에 대한 관심이 급증하고 있다. 기존에는 미래의 핵심 기술이나 이슈를 발견하고 트렌드 분석을 통해 미래유망분야를 선정하는 연구를 위해 문헌 조사 또는 전문가 평가와 같은 정성적 연구방법이 사용되어 왔다. 그러나 이 연구방법은 대량의 정보로부터 결과를 도출하는데 많은 시간과 비용이 소요될 뿐만 아니라 전문가의 주관적인 가치가 반영될 가능성이 존재한다. 이와 같은 한계점을 보완하고자 최근 국토교통, 안전, 정보통신기술 등 다양한 분야에서 미래유망분야를 선정하기 위하여 정성적 연구방법에 텍스트 마이닝과 같은 정량적 연구방법을 상호 보완적으로 활용하는 방식으로 트렌드 분석을 수행하는 연구 방법론의 패러다임 변화가 시도되고 있다. 본 연구는 항공산업 전반적인 분야에 빅데이터 분석 방법인 텍스트 마이닝 기법을 적용하여 항공 분야의 연구동향을 파악하고 미래유망분야를 전망하였다. 텍스트 마이닝 기법 중하나인 토픽 분석을 이용하여 항공산업 전반적인 분야의 문서 집합 내 잠재된 토픽을 추출하고, 연도별로 핵심 토픽의 추이를 분석하였다. 분석 결과 항공산업의 미래유망분야로 항공안전정책, 항공운임(저가항공), 그리고 친환경 고연비 연료가 도출되었다. 본 연구결과는 분석 대상을 논문에 한정하여 수행하였다는 한계점이 존재하나, 항공산업 분야의 핵심 이슈를 도출하기 위하여 텍스트 마이닝 기반의 트렌드 분석에 대한 활용가능성을 제시하고, 미래유망분야를 선정하기 위한 정량적인 분석 방법론의 전형을 마련하였다는 점에서 의의가 있다.

온라인 텍스트 분석을 통해 추정한 기업의 사회적책임 성과가 기업의 단기적 장기적 성과에 미치는 영향 분석 (Investigating the Impact of Corporate Social Responsibility on Firm's Short- and Long-Term Performance with Online Text Analytics)

  • 이희승;진윤선;권오병
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.13-31
    • /
    • 2016
  • 그동안 기업의 사회적 책임(CSR)관련 활동의 결과가 기업 성과에 미치는 단기적 및 장기적 영향에 대한 다양한 연구가 진행되었지만 그 결과는 일관되지 못한데 그 주된 원인은 기업의 사회적책임이라고 하는 개념의 불일치였다. 따라서 본 연구는 온라인 뉴스와 같은 비정형 공개 데이터로부터 기업의 사회적책임에 관련한 키워드를 텍스트 마이닝 기법을 사용하여 추출하고 그 개념에 대한 통계치와 기업 성과와의 관계성을 이해하려고 했다. 이를 위해 개념과 관련한 키워드는 뉴욕타임즈와 구글 스칼러에서 CSR이라고 하는 단어로 검색한 비정형 데이터로부터 인식하였다. 그런 다음 점검 대상이 되는 기업에 대한 글이 실려 있는 온라인 문서를 수집하여 기업의 사회적 책임과 기업 단기적 및 장기적 성과 사이의 인과관계를 분석하였다. 그 결과, 기업의 사회적 책임에 대한 전문적인 평가 보고서의 도움 없이도 본 연구에서 개발한 기업의 사회적 책임 인덱스만으로 기업의 단기적 성과에는 영향이 없지만 장기적 성과와는 통계적으로 유의하게 정비례관계가 있는 것이 밝혀졌다. 본 연구는 빅데이터 분석을 통해 효율적이고 의미 있는 기업의 사회적 책임 평가 방법을 개발한 첫 번째 시도라는 의미가 있다.

인과적 확인 측도에 의한 연관성 규칙 탐색 (Proposition of causally confirmed measures in association rule mining)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권4호
    • /
    • pp.857-868
    • /
    • 2014
  • 대량의 데이터로부터 과거에 알려지지 않았던 유용한 정보를 발견하는 기술인 데이터 마이닝 기법은 오늘날 빅 데이터 시대에 가장 대표적인 분석 기법이라고 할 수 있다. 이들 중에서도 연관성 규칙은 지지도, 신뢰도, 향상도 등의 여러 가지 흥미도 측도를 기반으로 하여 항목들 간의 관련성을 찾아내는 것이다. 그러나 기본적인 연관성 평가 기준만으로는 두 항목 간의 인과관계를 설명할 수 없을 뿐만 아니라 연관성의 방향도 파악할 수 없다. 본 논문에서는 이러한 문제를 해결하기 위해 인과적 확인 연관성 평가 기준을 제안하는 동시에, 제안한 평가 기준들이 흥미도 측도의 조건을 충족하는지의 여부를 점검하였다. 본 논문에서 제안한 인과적 확인 향상도는 세 가지 조건 모두를 만족하는 것으로 입증되었다. 인과적 확인 지지도와 인과적 확인 신뢰도는 동시 발생 확률의 값에 따라 단조 증가하는 조건과 각 항목의 주변 확률의 값에 따라 단조 감소하는 조건은 만족하였다. 또한 예제를 통해 기본적인 연관성 평가 기준과 인과적 연관성 평가 기준, 그리고 인과적 확인 연관성 평가 기준을 비교해 본 결과, 본 논문에서 제안하는 인과적 확인 측도들이 다른 평가 기준에 비해 가장 바람직한 측도라는 사실을 파악하였다.

온라인 호텔 리뷰와 평점 불일치 문제 해결을 위한 딥러닝 기반 개인화 추천 서비스 연구 (A Study of Deep Learning-based Personalized Recommendation Service for Solving Online Hotel Review and Rating Mismatch Problem)

  • 이청용;최사박;신병규;김재경
    • 경영정보학연구
    • /
    • 제23권3호
    • /
    • pp.51-75
    • /
    • 2021
  • 세계적인 전자상거래 기업들은 지속 가능한 경쟁력을 확보하기 위해 사용자 맞춤형 추천 서비스를 제공하고 있다. 기존 관련 연구에서는 주로 평점, 구매 여부 등 정량적 선호도 정보를 사용하여 개인화 추천 서비스를 제공하였다. 하지만 이와 같은 정량적 선호도 정보를 사용하여 개인화 추천 서비스를 제공하면 추천 성능이 저하될 수 있다는 문제점이 제기되고 있다. 호텔을 이용한 사용자가 호텔 서비스, 청결 상태 등에 대하여 만족하지 못한다고 리뷰를 작성하였으나 선호도 평점 5점을 부여했을 때 정량적 선호도(평점)와 정성적 선호도(리뷰)가 불일치한 문제가 발생할 수 있다. 따라서 본 연구에서는 정량적 선호도 정보와 정성적 선호도 정보가 일치하는지를 확인하고 이를 바탕으로 선호도 정보가 일치하는 사용자를 바탕으로 새로운 프로파일을 구축하여 개인화 추천 서비스를 제공하고자 한다. 리뷰에서 정성적 선호도를 추출하기 위해 자연어 처리 관련 연구에서 널리 사용되고 있는 CNN, LSTM, CNN + LSTM 등 딥러닝 기법을 사용하여 감성분석 모델을 구축하였다. 이를 통해 사용자가 작성한 리뷰에서 정성적 선호도 정보를 정교하게 추출하여 정량적 선호도 정보와 비교하였다. 본 연구에서 제안한 추천 방법론의 성능을 평가하기 위해 세계 최대 여행 플랫폼 TripAdvisor에서 실제 호텔을 이용한 사용자 선호도 정보를 수집하여 사용하였다. 실험 결과 본 연구에서 제안한 추천 방법론이 기존의 정량적 선호도만을 고려하는 추천 방법론보다 우수한 추천 성능을 나타냄을 확인할 수 있었다.

해시 트리 기반의 대규모 데이터 서명 시스템 구현 (Implementation of the Large-scale Data Signature System Using Hash Tree Replication Approach)

  • 박승규
    • 융합보안논문지
    • /
    • 제18권1호
    • /
    • pp.19-31
    • /
    • 2018
  • ICT기술이 발전함에 따라 산업 전분야에 걸쳐 이전보다 훨씬 많은 디지털 데이터들이 생성, 이동, 보관, 활용되고 있다. 산출되는 데이터의 규모가 커지고 이를 활용하는 기술들이 발전함에 따라 대규모 데이터 기반의 신 서비스들이 등장하여 우리의 생활을 편리하게 하고 있으나 반대로 이들 데이터를 위변조 하거나 생성 시간을 변경하는 사이버 범죄 또한 증가하고 있다. 이에 대한 보안을 위해서는 데이터에 대한 무결성 및 시간 검증 기술이 필요한데 대표적인 것이 공개키 기반의 서명 기술이다. 그러나 공개키 기반의 서명 기술의 사용은 인증서와 키 관리 등에 필요한 부가적인 시스템 자원과 인프라 소요가 많아 대규모 데이터 환경에서는 적합하지 않다. 본 연구에서는 해시 함수와 머클 트리를 기반으로 시스템 자원의 소모가 적고, 동시에 대규모 데이터에 대해 서명을 할 수 있는 데이터 서명 기법을 소개하고, 서버 고장 등 장애 상황에서도 보다 안정적인 서비스가 가능하도록 개선한 해시 트리 분산 처리 방법을 제안하였다. 또한, 이 기술을 구현한 시스템을 개발하고 성능분석을 실시하였다. 본 기술은 클라우드, 빅데이터, IoT, 핀테크 등 대량의 데이터가 산출되는 분야에서 데이터 보안을 담보하는 효과적인 기술로써 크게 활용될 수 있다.

  • PDF

텍스트마이닝 기법을 이용한 국내 농식품유통 연구동향 분석 (A Trend Analysis of Agricultural and Food Marketing Studies Using Text-mining Technique)

  • 유리나;황수철
    • 한국산학기술학회논문지
    • /
    • 제18권10호
    • /
    • pp.215-226
    • /
    • 2017
  • 이 연구는 1984~2015년간 국내 농식품 유통분야 연구동향을 파악하기 위해 텍스트마이닝 기법을 이용한 분석 결과이다. 텍스트마이닝은 빅데이터 분석방법의 일환으로, 많은 정보를 객관적으로 처리하여 연구주제 분류와 트렌드 분석에 이용할 수 있다. 실제분석에는 빈도분석, 토픽분석, 연관성분석을 수행하였다. 자료는 농업부문 4개 학술지 수록논문과 연구보고서 중 농식품 유통 관련 연구 제목를 이용하였다. 그 결과, 농식품 유통분야의 논문 1,126건은 6개 주제로 분류되었다. 2000년대를 기점으로 이전에는 도매와 산지연구가 활발했던 반면 이후에는 소비, 식품, 수출입 연구가 활발한 것으로 나타났다. 또한 로컬푸드와 학교급식 영역의 연구가 증가했다. 농산물 수급연구는 정책 연구보고서에서만 주기적으로 이루어졌으며, 학술논문에서는 2000년대 이후 관심주제에서 멀어지는 경향을 보였다. 2010년대 이후로는 특히 소비연구가 주류를 이루었고, 크게 소비트렌드와 소비자 행동에 관한 다양한 연구가 이루어졌다. 이 결과를 바탕으로 더 정확한 연구동향 분석을 하기위해서는, 정밀한 주제 분류기법으로 방법론을 보완하고 이용 자료를 키워드와 논문초록으로 확대함으로써 구체적인 결과를 도출해야 할 것이다.

맵리듀스 기반 DFP-Tree를 이용한 클러스터링 알고리즘 (Clustering Algorithm using the DFP-Tree based on the MapReduce)

  • 서영원;김창수
    • 인터넷정보학회논문지
    • /
    • 제16권6호
    • /
    • pp.23-30
    • /
    • 2015
  • 빅 데이터가 이슈화됨에 따라 데이터 분석의 결과를 기반으로 동작하는 많은 응용들이연구되고 왔고, 대표적인 응용들은 전자상거래 시스템의 상품 추천 서비스, 검색 엔진에서의 검색 서비스, 소셜 네트워크 서비스에서의 친구 추천 서비스 등이 있다. 본 논문은 기존의 데이터 마이닝 기법 중 데이터 집합에서 나타나는 유사한 패턴들을 마이닝하는 빈발 패턴 트리와 컴퓨터 과학의 이론에 기초한 결정트리를 결합하여 결정 빈발 트리 알고리즘을 제안한다. 이는 기존의 빈발 패턴 트리 알고리즘은 패튼 트리에서 패턴 생성에 대한 정확성은 보장되나 소셜 데이터처럼 다양한 패턴이 나타는 데이터에 대해서는 많은 수의 패턴들을 생성시켜 분석에 대한 어려움이 있어, 서브트리들과의 수렴 여부를 판단하는 모델로 변형시켜 문제를 개선한다. 또한 맵리듀스로 모델링하여 분산처리를 통한 고속 처리 알고리즘을 제시한다.

흥미도 측도 관점에서 상대적 인과 강도의 고찰 (A study on the relatively causal strength measures in a viewpoint of interestingness measure)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권1호
    • /
    • pp.49-56
    • /
    • 2017
  • 빅 데이터를 분석하기 위한 기법 중에서 연관성 규칙은 여러 가지 연관성 평가 기준을 이용하여 항목들 간에 연관성 유무를 탐색하는 기법이다. 이러한 연관성 규칙 기법은 규칙의 생성 방향에 따라 정과 부, 그리고 역의 연관성 규칙 등이 있다. 본 논문에서는 여러 가지 상대적 인과 강도를 흥미도 측도의 관점에서 어떤 유형의 연관성 규칙에 적용 가능한 지를 탐색하는 동시에 기존의 기본적인 평가측도 증에서 여러 가지 유형의 신뢰도들과의 관계를 규명하고자 하였다. 그 결과, 후항변수가 발생할 비율이 0.5 이상이면 Good이 제안한 측도 ($RCS_{IJ1}$)가 Lewis가 제안한 측도 ($RCS_{LR1}$) 보다 값의 변화폭이 더 크므로 $RCS_{IJ1}$이 더 바람직한 측도가 되며, 그 비율이 0.5 미만이면 $RCS_{LR1}$이 더 바람직하다고 할 수 있다.

대용량 그래프에서 k-차수 인덱스 테이블을 이용한 RDBMS 기반의 효율적인 최단 경로 탐색 기법 (RDBMS Based Efficient Method for Shortest Path Searching Over Large Graphs Using K-degree Index Table)

  • 홍지혜;한용구;이영구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권5호
    • /
    • pp.179-186
    • /
    • 2014
  • 소셜 네트워크, 웹 페이지 링크, 교통 네트워크 등과 같은 최근의 네트워크들은 노드와 에지의 수가 방대한 빅 데이터이다. 소셜 네트워크 서비스나 네비게이션 서비스와 같이 이와 같은 네트워크를 이용하는 애플리케이션이 많아지고 있다. 대용량 네트워크는 전체를 메모리에 적재할 수 없어, 기존의 네트워크 분석 기술을 활용할 수 없다. 최근 대용량 그래프의 효율적 탐색을 제공하는 RDB 기반 연산자들이 프레임워크(Frontier-expand-merge framework, FEM)로 제안되었다. FEM은 효율적인 최단 경로 탐색을 위해 부분 최단 경로를 저장하는 RDB 기반의 인덱스 테이블을 구축하였다. 그러나 FEM의 인덱스 테이블은 최단 경로에 포함될 확률보다 인덱스의 거리에 의해 결정되기 때문에 인덱스 테이블 참조율이 떨어진다. 본 논문에서는 효율적인 최단 경로 탐색을 지원하는 인덱스 참조율이 높은 차수가 큰 노드들을 이용한 인덱스 테이블 구축 기법을 제안한다. 실험을 통하여 제안하는 인덱스 테이블 구축 기법이 실세계 데이터 셋에서 효율적인 최단 경로 탐색을 지원함을 보인다.