• 제목/요약/키워드: 빅데이터 수집

검색결과 1,001건 처리시간 0.03초

텍스트 마이닝을 활용한 대선 관련 SNS 분석 (SNS Analysis Related to Presidential Election Using Text Mining)

  • 권영우;정덕길
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.361-363
    • /
    • 2017
  • 최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

  • PDF

빅데이터 기반 대용량 시계열 에너지 데이터 처리 시스템 (Time-series big data analytics software on IoT streaming data)

  • 강정훈;유준재
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.52-53
    • /
    • 2018
  • 본 논문은 에너지 빅데이터를 분석하기 위해 대용량의 시계열 데이터를 처리하는 시스템의 설계, 구축 방법을 제시한다. 이미 사용 중인 건물이나 공장의 에너지 효율화를 위해서 정부는 효율자원 시장 지원 사업을 수행하고 있다, 에너지 소비 설비에 따라 고효율 자원으로 변경 설치하는 데 필요한 자금의 일부를 지원하고 있다. 정부지원으로 고효율 설비로 변경함에 따라 실증 사이트에서는 측정 데이터를 수집하여, 효율화 정도를 파악하기 위한 에너지 데이터 분석 시스템을 구축하여 운영하였다. 해당 측정 정보는 IoT 전력량계를 통해 수집되며, 수집된 데이터는 클라우드 시스템에서 다양한 머신러닝 알고리즘에 적용되어, 에너지 소비 효율 평가에 필요한 성능 지표를 연산한다. 구현된 진단 시스템은 기축 건물의 에너지 효율향상 상황을 분석하는데 기여할 수 있다. 빅데이터 기반의 에너지 분석 기능을 사용하여 에너지 고효율 장비의 운영시간, 부하율 등의 효율성과 성능통계를 연산할 수 있다.

방대한 IoT 장치 기반 환경에서 효율적인 빅데이터 수집 기법 설계 (Design of Efficient Big Data Collection Method based on Mass IoT devices)

  • 최종석;신용태
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권4호
    • /
    • pp.300-306
    • /
    • 2021
  • IT기술의 발달로 인해 최근 IoT 장비에 적용되는 하드웨어 기술이 저비용, 고성능 RF 및 연산장치를 사용한 스마트 시스템들로 변화되고 있다. 그러나 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 빅데이터 수집은 전송되는 데이터간 병목현상으로 인해 수집 서버의 부하가 발생한다. 이로인해 데이터수집 서버로 전송되는 데이터는 패킷 손실 및 데이터 처리율 감소 현상이 발생한다. 따라서 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법이 필요하다. 이에 본 논문에서는 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법을 제안한다. 성능평가 결과, 제안하는 기법의 패킷 손실 및 데이터 처리율은 전송되는 파일의 손실없이 전송이 완료된다. 향후 본 설계를 기반으로 시스템이 구현이 필요하다.

소셜 빅데이터 정보 수집 및 분석방법 평가에 대한 연구 (A Study on Evaluation of the Analyzing and Collecting Method on Social Big Data Information)

  • 송은지;강민식
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.853-854
    • /
    • 2014
  • 서비스 산업에 있어 효율적인 경영을 위해서는 시시각각으로 변하는 고객의 니즈를 파악하기 위해 그 어느 때 보다도 고객피드백이 필요한 시대이다. 기존의 설문조사를 이용한 방법은 자발적이고 즉각적인 고객의 의견을 수집하는데 한계가 있어 최근에는 서비스의 즉각적이고 사실적인 피드백을 얻기 위해서 조사에 대한 인지 없이 능동적이고 자발적으로 작성한 소셜미디어 상의 게시글을 수집하고 분석하는 방법을 이용하여 고객의 피드백을 파악하고 있다. 본 연구에서는 이러한 소셜 미디어상의 빅데이터 정보를 분석하는 기술의 적합성을 평가하는 방법을 제안한다. 수집 적합성 평가는 사전 설정된 수집규칙에 의해 수집된 수집데이터에 대한 검증방안을 수립하고 샘플링 조사를 수행하여 목표 수준의 정확도가 이루어지지 않을 경우 수집엔진에 대한 기능 보완 및 수집 주기 재설정 등 수집 규칙을 재설정하고 샘플조사 범위를 확대하여 평가하는 일련의 과정 반복을 통해 수집 정확도를 향상시킨다.

  • PDF

Lambda 구조를 적용한 IoT 센서 데이터 수집 환경 설계 (Design on the IoT Sensor Data Collection Envionment using Lambda Architecture)

  • 황윤영;김수현;신용태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.547-548
    • /
    • 2020
  • 데이터의 양은 기술의 발전과 함께 크게 증가하였다. Hadoop은 빅데이터 분야에서 사용되는 대표적인 빅데이터 처리 플랫폼으로 IoT 분야에서도 사용된다. HDFS(Haddop Distributed File System)는 Hadoop의 코어 프로젝트로 블록 기반의 대용량 데이터 저장소다. 기존의 Hadoop 기반 IoT 센서 데이터 수집 환경은 HDFS를 사용한다. 그러나 HDFS의 Small File로 인한 네임노드의 과부하 문제와 한 번 Import된 데이터의 Update와 Delete를 지원하지 않는 Hadoop의 특징으로 인해 성능과 활용이 제한적이다. 본 논문에서는 기존 Hadoop 기반 IoT 센서 데이터 수집 환경의 단점을 극복하기 위해 Lambda 구조를 적용한 IoT 센서 데이터 수집 환경을 설계한다.

  • PDF

차세대 에너지 관련 뉴스 빅데이터 분석 (The Next Generation of Energy News Big Data Analytics)

  • 이예찬;조해찬;반재훈
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.451-453
    • /
    • 2016
  • 대규모의 데이터가 생산되고 저장되는 정보화 시대에서 현재와 과거의 데이터를 바탕으로 미래를 추측하고 방향성을 알아갈 수 있는 빅데이터의 중요성이 강조되고 있다. 정형되지 못한 대규모 데이터를 빅데이터 분석 도구인 R을 통해 통계를 기초로 데이터의 정보분석과 정형화하도록 한다. 본 논문에서는 R을 이용하여 뉴스에서 나타나는 차세대 에너지 관련 빅데이터를 분석한다. 뉴스 기사에서 차세대 에너지 관련 데이터를 수집하고 수집된 키워드를 이용하여 근미래의 효율적인 차세대 에너지의 등장을 예측한다. 에너지 산업의 추진에 대한 흐름과 방향성을 제시하고 의사결정을 위한 기술적 과제를 도출함으로 탄력적인 경영과 의사결정에 도움을 주며 기술적 문제의 근원을 사전에 예측하고 방지할 수 있을 것으로 보여진다.

  • PDF

빅데이터 보안 관리 시스템 적용 방안 (Applied Method of Security Management System for Big Data)

  • 전중호;박석천;김종현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.702-704
    • /
    • 2013
  • 최근 스마트폰과 같은 모바일 기기의 확산과 SNS 의 성장이 결합되면서 사이버상의 데이터량이 기하급수적으로 증가됨에 따라 빅데이터가 화두로 등장하였으며 빅데이터는 활용방법에 따라 국가 기업 및 개인의 삶의 질을 향상 시킬수 있다. 그러나 빅데이터는 다양한 경로로 데이터를 생성하고 수집함으로서 보안에 대한 이슈가 대두되고 있다. 본 논문에서는 데이터를 생성하고 수집하는 구간에서의 보안관리를 통하여 잠재되어 있는 악성코드의 공격과 개인정보에 대한 안전성을 높이고 신뢰성있는 데이터로 만들어 활용할수 있는 방법에 대해 연구한다.

중한 도서관 빅데이터의 비교 (Big data comparison between Chinese and Korean Libraries)

  • 동정문
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.413-414
    • /
    • 2019
  • 빅데이터는 초기에는 개념적인 접근으로 대용량의 데이터로 정의하기도 하였으나 지금은 데이터를 수집, 저장, 처리, 분석하여 가치 창출까지의 개념으로 확산되고, 최근에는 정확성(Veracity), 가변성(Variability), 시각화(Visualization) 개념까지 새롭게 추가되어 7V로 제시되기도 한다.

  • PDF

빅데이터 기반의 생체신호 수집 및 저장소 설계 (Research on the Analysis System based on the Big Data for Matlab)

  • 주문일;서영우;김희철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.472-474
    • /
    • 2018
  • 최근 급속한 데이터의 생성으로 인하여 빅데이터 기술이 발전하고 있다. 특히 생체신호를 측정하는 웨어러블 디바이스의 발전으로 인하여 다양한 생체신호가 기하급수적으로 증가하고 있다. 그래서 기하급수적으로 증가한 생체신호의 특징을 파악하여 체계적으로 저장하는 저장소 기술이 필요하다. 본 논문은 생체신호의 특징을 파악하여 생체신호를 저장하는 저장소 설계와 생체신호를 수집하는 기술을 연구하고자 한다.

  • PDF

온라인 데이터 수집 기반 실시간 비정상 행위 탐지 (Real-time Abnormal Behavior Detection by Online Data Collection)

  • 이명철;김창수;김익균
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.208-209
    • /
    • 2016
  • APT (Advanced Persistent Threat) 공격 사례가 증가하면서, 이러한 APT 공격을 해결하고자 이상 행위 탐지 기술 관련 연구가 활발히 진행되고 있다. 최근에는 APT 공격의 탐지율을 높이기 위해서 빅데이터 기술을 활용하여 다양한 소스로부터 대규모 데이터를 수집하여 실시간 분석하는 연구들이 시도되고 있다. 본 논문은 빅데이터 기술을 활용하여 기존 시스템들의 실시간 처리 및 분석 한계를 극복하기 위한 실시간 비정상 행위 탐지 시스템에서, 파일 시스템에 수집된 오프라인 데이터 기반이 아닌 온라인 수집 데이터 기반으로 실시간 비정상 행위를 탐지하여 실시간성을 제고하고 입출력 병목 문제로 인한 처리 성능 확장성 문제를 해결하는 방법 및 시스템에 대해서 제안한다.