• 제목/요약/키워드: SNS 크롤링

검색결과 20건 처리시간 0.027초

웹 크롤링 기반 SNS웹사이트 설계 및 구현 (Designing and implementing web crawling-based SNS web site)

  • 윤경섭;김연홍
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제57차 동계학술대회논문집 26권1호
    • /
    • pp.21-24
    • /
    • 2018
  • 기존 Facebook 페이지의 경우에는 수많은 제보 글이 올라와 사용자가 원하는 글을 찾기 어렵다는 문제점이 발생하고 있다. 본 논문에서는 이를 위해 다양한 Facebook 페이지 내용을 크롤링하여 사용자가 원하는 Facebook 페이지 내용을 검색하여 사용자에게 제공할 수 있도록 데이터베이스 서버에 저장 한 후 크롤링 된 Facebook 페이지 내용을 제공할 수 있는 웹사이트를 설계하고 구현한다.

  • PDF

크롤링을 이용한 채용정보 SNS 시스템 (Recruitment information SNS system using crawling)

  • 허태성;박재현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.467-468
    • /
    • 2021
  • 본 논문에서는 자료수집(데이터 크롤링)을 이용해 많은 채용정보를 쉽게 접근할 수 있도록 하는 시스템이다. 현재는 StackOverflow의 자료를 수집하고 데이터베이스에 자동으로 저장하도록 하였다. 수집해야 할 자료가 많아 Celery와 RabbitMQ를 사용하여 비동기 작업을 요청하여 즉시 응답을 받지 않아도 다른 일을 수행할 수 있다. 이렇게 수집한 자료들을 해당 사이트에 나열해줌으로 사용자들이 시간과 비용을 절감하여 효율적인 취업 준비를 할 수 있도록 하는 시스템을 설계 구현하였다.

  • PDF

Seasonal Weather Factors and Sensibility Change Relationship via Textmining

  • Yeo, Hyun-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.219-224
    • /
    • 2022
  • 한국 기상청은 '생활산업 기상정보서비스'나 '위기탈출 안전날씨'와 같은 일상에 관련된 정보를 제공하고 있다. 한편, 해외에서는 독일의 '신체기상정보', 영국의 '건강 기상정보'와 같이 인간의 신체와 감성에 영향을 미치는 기상정보 역시 제공하고 있다. 비록 인간의 감성 변화가 심리학 연구 영역에서 다양하고 방대하게 이루어져 왔지만, 빅 데이터 분석 기반에 근거한 기상정보에 따른 인간의 감성 예측모형은 요원한 상태이다. 이 연구에서는 기상요소에 따른 인간의 감성변화를 예측할 수 있는 모형을 기상청의 기상 데이터셋과 SNS상 크롤링된 일자별 텍스트를 통해 개발하고 검증하고자 한다. 연구 결과 기상 요소들로 인간의 감성변화를 예측할 수 있는 모형을 만들고 검증할 수 있었으며 이는 기존 연구와 그 결을 같이한다고 볼 수 있다.

비정형 데이터 분석을 통한 선거 여론조사 예측력 개선 방안 연구 (Prediction improvement of election polls by unstructured data analysis)

  • 박선빈;김명준
    • 응용통계연구
    • /
    • 제31권5호
    • /
    • pp.655-665
    • /
    • 2018
  • 소셜 네트워크 서비스(social network service; SNS)는 개개인의 의견을 공유하거나 소통하는 일반적인 도구로 사용되고 있으며, 특히 정치적인 이슈의 전파 과정에서 타인과의 공유를 통하여 자신이 지지하는 후보에 대한 긍정적인 홍보 등을 통해 여론을 형성 또는 확장한다. 기존의 여론 조사 결과는 응답률, 표본 수집의 방식 등과 관련하여 예측의 정확성에 대한 끊임없는 논란이 되어왔다. 본 논문은 이러한 소셜 네트워크 서비스 상에 존재하는 수많은 비정형 데이터의 감성 분석을 통하여 여론조사의 예측력을 개선, 보완하는 방안을 제시하고자 한다. 제시하고자 하는 연구 내용은 비정형 데이터 크롤링 및 기존에 사용되던 감성 사전에 대한 추가적인 보정 과정을 포함하고 있으며, 이를 통하여 본 논문에서 제안하는 방식은 오차의 감소를 통하여 예측력을 개선하는 결과를 나타냈다.

인스타그램 게시물 데이터를 활용한 건강기능식품 브랜드 분석 및 평가 (Analysis and evaluation of Health Functional Food(HFF) brand using Instagram post data)

  • 윤현주;신재영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.533-534
    • /
    • 2021
  • 최근 소셜 네트워크 서비스(SNS)를 통한 건강기능식품 과대광고 적발이 증가하면서 SNS를 통해 브랜드를 선택함에 있어 신뢰도가 소비자에게 중요한 요소가 된다. 본 논문에서는 인스타그램의 해시태그를 이용해 게시글을 크롤링 하여 수집된 게시물 데이터를 가공 및 분석한다. 불용어 사전을 구축해 불용어를 제거해준 뒤 브랜드 추출을 진행하고, 건강기능식품 브랜드 5개에 대한 게시글 데이터를 수집한다. 5개 브랜드의 신뢰도 측정을 위해 게시글, 해시태그, 계정명을 분석기준으로 삼아 라벨링 처리를 한다. 라벨링 된 열을 통해 절대적 수치로 점수를 부여하여 백분율로 점수를 표현한다. 신뢰도 점수와 더불어 브랜드의 고객 참여도 건수를 같이 명시해 준다.

  • PDF

SNS 비정형데이터 크롤링을 통한 드라마 시청률의 연관어 분석 (Analysis of related words of drama viewership through SNS unstructured data crawling)

  • 강선경;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.169-170
    • /
    • 2017
  • 본 논문에서는 드라마의 시청률에 영향을 미치는 요소가 무엇인지를 파악하기 위해 정형화된 데이터와 비정형화된 데이터를 분석하기 위한 내용이다. 정형화된 데이터 수집은 각 방송사의 드라마 정보, 인물정보, 방송정보, 시청률정보라는 4가지 영역에서 총 19가지항목을 수집하였다. 비정형데이터를 수집하기 위해 각 방송사에서 드라마별로 운영되고 있는 게시판과 방영전블로그와 방영후블로그로부터 크롤링기법을 이용하여 수집하였다. 수집된 데이터로부터 방송사별 드라마 방영시간대, 방영시작시기, 장르, 방영요일에 따른 차이를 비교한 결과 방송사별 서로 유사한 것으로 나타났다.

  • PDF

소셜데이터 감성분석을 통한 사용자의 호감도 분석 (Favorable analysis of users through the social data analysis based on sentimental analysis)

  • 이민규;손효정;성백민;김종배
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.438-440
    • /
    • 2014
  • 최근 폭발적으로 증가하는 SNS서비스의 상업적으로 이용하려는 움직임이 활발하다. 따라서 본 논문은 실시간 SNS 환경에서 제조기업과 제품의 평판에 관련된 정보를 정확하게 분석 할 수 있는 방안을 제시한다. 크롤링 방식으로 수집된 SNS의 텍스트 데이터들에 대한 형태소 분석을 수행하여 단어 간 연관성을 파악한다. 또, 문장에서 추출된 형태소는 구축된 감성사전을 통해 통계적으로 분석하여 이를 시각화 하여 보여준다. 이때, 추출된 단어가 감성사전에 존재하지 않을 경우 이를 자동으로 추가하는 기법을 제안한다.

  • PDF

위성영상 상황판연계·표출시스템 적용 SNS 기반 주민참여 콘텐츠 개발 (Development of SNS-based resident participation contents using satellite image situation board linkage and display system)

  • 이상민;김은정;김미래
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.456-456
    • /
    • 2023
  • 본 연구에서는 위성영상 상황판연계·표출시스템 적용을 위한 SNS 주민참여 콘텐츠를 개발하고, 재난대응 표준위기관리절차 기반의 주민참여정보 활용방안을 제시하고자 하였다. 재난상황관리에 있어 SNS의 활용을 통한 주민참여 확대적용 방안을 모색하고자 재난 대비·대응 관련 공공 및 정부부처에서 활용 중인 SNS 채널을 조사하였으며, 상황관리에 SNS를 적용한 선행사례를 분석하였다. 이를 기반으로 SNS를 적용한 예방안전 및 피해복원 확대 적용 방안을 제시하였으며, 신속한 위기대응을 위한 보조적인 의사결정 지원도구로서의 콘텐츠를 제안하였다. 먼저, 예방안전 및 피해복원 확대 적용을 위해 SNS에 주민들이 작성한 게시글을 웹 크롤링과 데이터 마이닝을 통해 분석하여 재난 상황인지와 상황판단 및 피해범위 추정에 활용하는 방안을 제시하였고, 이를 상황판연계·표출시스템에서 표출하기 위한 예시화면을 설계하였다. 또한, 연구 1차년에 수행했었던 위성영상을 활용한 재난상황대응 표준위기관리절차 중 위성영상정보에 주민참여정보를 연계·중첩하여 재난의 전조감지 단계부터 확산양상 및 피해범위를 확인하고, 재난기록을 분석하여 추후 발생된 재난에 선제적으로 대비할 수 있는 방안을 제시하였다. 그러나, 주민참여 기반 SNS 콘텐츠 적용을 위한 우선 해결사항으로는 재난상황판단 시, 정보의 정확성과 신뢰성 측면에서 의사결정을 위한 보조도구로서 활용을 할 것인지에 대한 중앙재난안전상황실과의 충분한 협의가 필요하며, 상황실에서 해당 콘텐츠를 활용하게 될 경우, SNS 정보의 행정망 방화벽 허용가능여부에 대한 추가 분석설계가 필요한 상황이다. 이를 위해 금년 연구수행에서 상황실 실무자 수요조사를 통해 SNS 정보 활용에 대한 반영여부를 결정할 예정이다.

  • PDF

SNS 데이터 기반 지역 트렌드 분석 (SNS data based regional trend analysis)

  • 조재현;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.403-405
    • /
    • 2018
  • 도시 속 상업 공간에서는 공간적 위치에 따른 지리적 이점이나 판매하는 상품뿐만 아니라, 해당 공간 속에서 소비자가 느낄 수 있는 문화와 감성이 소비자가 소비를 유하게 하는 중요한 요소가 되기도 한다. ICT 서비스 환경이 자리를 잡아 감과 동시에 제4차 산업 혁명이 도래하고 있는 현대 정보화 환경 속에서 소비자들은 자신의 심리나 감성, 정서에 들어맞는 공간에 방문하며 소비하고 SNS를 통해 공유한다. SNS는 Social Network Service의 줄임말로 너무나 일반적으로 우리 일상에 들어와 있는 개념이다. SNS의 시작은 마케팅의 한 분야로 시작된 것으로 판단된다. SNS를 이용한 홍보마케팅은 21세기에 접어들면서 고객들의 주관적인 개개인의 욕구 충족과 감성을 중시하게 됨으로써 예전보다 더 복합적이며 정교해졌다. 본 연구는 SNS 데이터를 블로그, 카페, 페이스북, 인스타그램에서 지역 명칭을 키워드로 1년간 콘텐츠를 크롤링하며, 형태소 분석기를 통해 학습할 수 있도록 데이터 전처리 작업을 한다. 마지막으로 딥러닝 알고리즘인 RNN 중 LSTM을 사용하여 감성 분석 학습 모델을 만들어서 지역별 콘텐츠의 주요분야, 긍/부정을 판별한다. 이렇게 분석한 데이터를 이용해 각 지역만의 특색과 인기 분야, 비인기 분야, 더 나아가 유망한 분야를 알아본다.

국가 정책에 대한 언론과 SNS 반응의 감성 분석 연구 -아동 수당, 출산 장려금 정책을 중심으로- (A Study on Sentiment Analysis of Media and SNS response to National Policy: focusing on policy of Child allowance, Childbirth grant)

  • 윤혜민;최은정
    • 디지털융복합연구
    • /
    • 제17권2호
    • /
    • pp.195-200
    • /
    • 2019
  • 스마트폰, 태블릿 등의 이동 통신 기기와 PC 이용이 확장됨에 따라 인터넷 상에서 데이터가 기하급수적으로 수집되고 있다. 또한 SNS의 발전으로 인해 이용자 간의 자유로운 의사소통과 여러 분야의 정보를 공유할 수 있어 다양한 다량의 의견들이 빅데이터 형태로 쌓이고 있다. 이에 따라 빅데이터 분석 기법을 사용하여 일반 사람들의 반응과 언론사의 뉴스 기사 반응의 차이를 알아보는 기법이 대두되고 있다. 본 논문에서는 아동 수당과 출산 장려금에 대해 SNS에서 나타난 대중들의 반응과 언론사의 반응을 분석하였다. 이를 위해 일정 기간 동안 트위터에 올라온 이용자들의 글을 수집하고 뉴스 기사를 크롤링하여 감성 분석을 진행하였다. 이를 통해 SNS에 나타나는 대중의 의견과 언론사 뉴스의 반응을 비교하여 대중과 언론이 국가 정책에 대한 반응의 차이를 비교 분석하였다.