• 제목/요약/키워드: SNS 크롤링

검색결과 20건 처리시간 0.025초

물공급네트워크 수질사고인지를 위한 소셜네트워크 서비스 별 웹크롤링 방법론 개발 (Web crawling process of each social network service for recognizing water quality accidents in the water supply networks)

  • 유도근;홍승혁;문기훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.398-398
    • /
    • 2022
  • 최근 수돗물 공급과정에 있어 적수, 유충 발생 등 지역 단위의 수질문제로 국민의 직간접적인 피해가 발생된 바 있다. 수질문제 발생 시, 소셜네트워크서비스(SNS)에 게시되는 피해 관련 의견은 시공간적으로 빠르게 확산되며, 궁극적으로는 물공급과정 전체의 부정적 인식증가와 신뢰도 저하를 초래한다. 따라서, 물공급시스템에서의 수질사고 발생을 빠르게 인지하는 다양한 방법론의 적용을 통한 피해 최소화를 위한 노력이 반드시 필요하다. 일반적으로 수질사고는 다양한 항목의 실시간 계측기에서 획득되는 시계열자료의 변화양상을 통해 판단할 수 있으나, 이와 같은 방법론의 효율적 적용을 위해서는 선진계측인프라의 도입이 선행되어야 한다. 본 연구에서는 국내의 발달된 정보통신기술환경을 활용하여, 물공급네트워크 내 수질사고인지를 위한 SNS 별 웹크롤링 방법론을 제안하고, 적용결과를 분석하였다. 방법론의 구현에 앞서, 각종 SNS 별(트위터, 인스타그램, 블로그, 네이버 카페 등) 프로그래밍을 통한 웹크롤링 가능여부, 정보획득 기간 등을 확인하였으며, 과거 유사 수질사고 발생 시 영향력과 관련 게시글이 크게 나타난 네이버 카페와 트위터를 중심으로 웹 크롤링 절차를 제시하였다. 네이버 카페의 경우 대상급수구역 내의 시민들이 다수 참여하는 카페를 목록화하고, 지자체명과 핵심 키워드(수돗물, 유충, 적수) 조합을 활용한 웹크롤링을 수행하여, 관련 게시물 건수와 의미를 실시간으로 분석하는 절차를 마련하였다. 개발된 SNS 별 웹크롤링 방법론에 따라 과거 수질사고가 발생된 바 있는 2개 이상의 지자체에 대한 분석을 실시하였으며, SNS 별 결과에 있어 차이점을 확인하여 제시하였다. 향후 제안된 방법을 적용하여 시공간적 수질사고 정보의 전파 및 확산양상을 추가적으로 분석할수 있을 것으로 기대된다.

  • PDF

자연어처리와 기계학습을 통한 우울 감정 분석과 인식 (Analysis and Recognition of Depressive Emotion through NLP and Machine Learning)

  • 김규리;문지현;오유란
    • 문화기술의 융합
    • /
    • 제6권2호
    • /
    • pp.449-454
    • /
    • 2020
  • 본 논문에서는 SNS에 게시된 글의 내용을 통해 사용자의 우울함을 검출하는 기계학습 기반 감성 분석 시스템을 제안한다. 게시한 글의 작성자가 기분을 파악하는 시스템을 구현하기 위해 먼저 감정 사전에서 우울한 감정의 단어와 그렇지 않은 감정과 관련된 단어를 목록화하였다. 그 후, SNS를 대표하는 서비스 중 하나인 트위터의 텍스트 자료에서 검색 키워드를 선정하고 크롤링을 시행하여 우울한 감정을 띤 문장 1297개와 그렇지 않은 문장 1032개로 이뤄진 학습 데이터셋을 구축하였다. 마지막으로 텍스트 기반 우울감 검출 목적에 가정 적합한 기계학습 모델을 찾기 위해 수집한 데이터셋을 바탕으로 순환신경망, 장단기메모리, 그리고 게이트 순환 유닛을 비교 평가하였고, 그 결과 GRU 모델이 다른 모델들보다 2~4%가량의 높은 92.2%의 정확도를 보임을 확인하였다. 이 연구 결과는 SNS상의 게시글을 토대로 사용자의 우울증을 예방하거나 치료를 유도하는 데 활용될 수 있을 것이다.

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

스타일 분석을 통한 커플 매칭 플랫폼 (Couple Matching Platform through Style Analysis)

  • 최형락;조성언;김동하;문재현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.868-871
    • /
    • 2019
  • 본연구는 커플들의 이미지 빅 데이터를 분석하여 각각 얼굴과 패션에 따라 유사한 유형 끼리 클러스터링 하여 새로운 사람 이미지가 주어졌을 때 해당 사람이 어느 유형에 속하는지 찾아내고 해당 유형의 사람들은 어떤 유형의 이성과 잘 맞는지 찾아 추천해주는 플랫폼이다. 빅 데이터를 수집하기 위하여 SNS상에서 커플들의 이미지를 크롤링하여 저장한다. 수집된 커플들의 이미지를 AI 머신 러닝으로 나이, 성별을 분석하여 미리 설정한 나이대의 이성 커플들의 이미지 만을 추려내서 각각 남, 여의 이미지를 분리하여 저장한다. 해당 이미지들로 비슷한 얼굴, 패션 유형의 사람들을 같은 클러스터로 모으고 CNN 으로 학습 시켜서 새로운 이미지가 들어올 경우 효율적으로 해당 이미지가 어느 클러스터에 속하는지 찾아낼 수 있도록 한다. 특정 이미지가 속하는 클러스터를 찾아내면 해당 클러스터에 속하는 사람들의 연인들이 어느 클러스터에 가장 많이 포함되어 있는지 찾아서 해당 클러스터 유형의 이성을 추천해준다. 웹과 어플리케이션으로 이루어진 플랫폼 서비스이며, 커플 매칭 기능 뿐만 아니라 매칭된 회원 간 연락 기능, 실제 커플의 이미지로 두 사람의 매칭도 확인 등의 부가적 기능 또한 인공 지능 서비스로 제공된다.

토픽모델링 기반의 학교폭력 사례 유형 연구 (A Study on the Categorizes of School Bullying through Topic Modelling Method)

  • 신승기
    • 한국정보교육학회:학술대회논문집
    • /
    • 한국정보교육학회 2021년도 학술논문집
    • /
    • pp.181-185
    • /
    • 2021
  • 본 연구는 학교현장에서 지속적으로 강조되고 있는 학교폭력 예방을 위한 방안을 도출하기 위한 노력의 일환으로 최근의 학교폭력 관련 이슈화되고 있는 주제를 데이터과학의 관점으로 살펴보고자 하였다. 특히, 온라인 SNS데이터를 활용하여 학교폭력 관련 게시물을 크롤링하고 토픽모델링 방법을 활용하여 유형별 특징을 살펴보고자 하였다. 토픽모델링 분석을 통해 도출된 주제별 키워드를 유형별로 정리한 결과를 통해 대체로 학교폭력의 피해 예방과 가해자 처벌 및 조치사안에 대한 내용으로 크게 3가지의 내용으로 구분할 수 있었다. 첫째, 학교폭력 예방활동에 대한 내용으로서 학교폭력예방을 위한 전문 기구들의 역할에 대한 내용이다. 둘째, 학교폭력에 대한 조치사항과 절차에 대한 내용으로 도출되었다. 셋째, 학교폭력의 최근 현안에 대한 내용에 대해서 살펴볼 수 있었다. 추후 연구에서는 데이터기반의 예측을 기반으로 당면하고 있는 사회적 문제해결에 활용하는 연구가 수행될 필요가 있다.

  • PDF

AI 키즈폰의 소비자리뷰 분석을 통한 제품개선 전략에 대한 연구 (Formulating Strategies from Consumer Opinion Analysis on AI Kids Phone using Text Mining)

  • 김도훈;차경진
    • 한국전자거래학회지
    • /
    • 제24권2호
    • /
    • pp.71-89
    • /
    • 2019
  • 기업은 소비자가 만족하는 제품을 개발하고 개선하기 위하여 설문조사와 같은 전통적인 마케팅리서치 방법을 이용하여, 소비자의 의견을 듣고, 분석하여 반영하는 노력을 한다. 최근에는 인터넷 사이트, 사회관계망(SNS) 등 소비자 커뮤니케이션 플랫폼에서 관련 자료를 수집하고 분석하는 방법이 주목을 받고 있다. 한편, 급속한 정보통신기술의 발달과 함께 이동통신사들이 아동을 위한 디지털상품을 출시하고 있는데, 특히 유해한 콘텐츠로부터 아동을 보호하고, 부모와 아동들에게 필요한 정보와 기능은 보완된 디지털 디바이스들이 등장하고 있다. 이 가운데 키즈폰은 불필요한 기능은 없애고 아동들에게 기본 안전 기능을 담은 웨어러블 디바이스로서 부모가 쉽게 자녀의 위치를 실시간으로 알게 해주는 유용한 도구이다. 키즈폰은 스마트폰에 비해 저렴하고 간편하지만 고장이 잦고, 안전 이외에 유용한 기능을 기대하기 힘들며, 부가적인 기능들 또한 유용하지 못하다는 점이 지적되고 있다. 본 연구는 국내 이동통신사의 키즈폰(Kids Phone)에 대한 리뷰를 분석하여, 제품들의 특성과 장단점을 파악하고, 디바이스와 서비스에 대한 개선방안을 제안함으로써, SNS 소비자 분석을 통한 제품 서비스 개선 전략수립 방법을 제시하고자 한다. 이를 위해 국내 쇼핑몰의 리뷰 섹션에서 자료를 수집하고, TF/IDF, 감성분석, 네트워크분석 등의 텍스트 마이닝 기법을 활용하여 소비자 감성분석을 실시하였다. 고객 리뷰는 온라인 쇼핑몰과 네이버 블로그에서 크롤링하여 수집 하였으며, 통계/데이터 마이닝 및 그래픽은 'R'과 빅데이터 분석 솔루션 'Textom', 그리고 오픈소스 프로그래밍 언어인 'Python'을 함께 사용하여 분석하고 시각화하였다. 본 연구를 통해 각 이동통신사의 현재 제품(키즈폰)에 대한 소비자가 느끼는 주요이슈와 제품의 장단점을 파악할 수 있었으며, 더 나아가 감성분석을 바탕으로 키즈폰 제품의 서비스 개선전략 방향을 제안할 수 있었다.

지역별 감성 분석을 위한 트위터 데이터 수집 시스템 설계 (Design of Twitter data collection system for regional sentiment analysis)

  • 최기원;김희철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.506-509
    • /
    • 2017
  • 오피니언 마이닝은 텍스트 속의 감성을 분석해 낼 수 있는 방법으로 작성자의 정서 상태 파악이나 대중의 의견을 알아내기 위해 사용된다. 이를 통해서 개인의 감성을 분석할 수 있듯이 텍스트를 지역별로 수집하여 분석한다면 지역별로 가지고 있는 감정 상태에 대해서 알아 낼 수 있다. 지역별 감성분석은 개인 감성분석에서 얻어 낼 수 없었던 정보를 얻어낼 수 있으며 해당 지역이 어떠한 감정을 가지고 있을 때, 그 원인에 대해서도 파악할 수 있다. 지역별 감성 분석을 위해서는 각 지역별로 작성된 텍스트 데이터들이 필요하므로 트위터 크롤링을 통해서 데이터를 수집해야 한다. 따라서 본 논문에서는 지역별 감성분석을 위한 트위터 데이터 수집 시스템을 설계한다. 클라이언트에서는 특정 지역 및 시간대의 트윗 데이터를 요청하며, 서버에서는 클라이언트로부터 요청받은 트윗 데이터를 수집 및 전송한다. 지역이 가지는 위도, 경도 값을 통해 해당 지역의 트윗 데이터를 수집하며, 수집한 데이터들을 통해 텍스트를 지역 및 시간별로 관리할 수 있다. 본 시스템 설계를 통해 감성분석을 위한 효율적인 데이터 수집 및 관리를 기대한다.

  • PDF

전이학습과 그래프 합성곱 신경망 기반의 다중 패션 스타일 인식 (Recognition of Multi Label Fashion Styles based on Transfer Learning and Graph Convolution Network)

  • 김성훈;최예림;박종혁
    • 한국전자거래학회지
    • /
    • 제26권1호
    • /
    • pp.29-41
    • /
    • 2021
  • 최근 패션업계에서는 급속도로 발전하는 딥러닝 방법론을 활용하려는 시도가 늘고 있다. 이에 따라 다양한 패션 관련 문제들을 다루는 연구들이 제안되었고, 우수한 성능을 달성하였다. 하지만 패션 스타일 분류 문제의 경우, 기존 연구들은 한 옷차림이 여러 스타일을 동시에 포함할 수 있다는 패션 스타일의 특성을 반영하지 못하였다. 따라서 본 연구에서는 동시에 존재하는 레이블 간의 종속성을 모델링하고, 이를 반영하여 패션 스타일의 다중 분류 문제를 해결하고자 한다. 패션 스타일 사이의 종속성을 포착하고 탐색하기 위해 GCN(graph convolution network) 기반의 다중 레이블 인식 모델을 적용하였다. 또한 전이학습을 통해 모델의 학습 속도 및 성능을 향상시켰다. 제안하는 모델은 웹 크롤링을 통해 수집한 SNS 이미지 데이터를 이용하여 검증하였으며, 비교 모델 대비 우수한 성능을 기록하였다.

빅데이터 분석 서비스 지원을 위한 지능형 웹 크롤러 (Intelligent Web Crawler for Supporting Big Data Analysis Services)

  • 서동민;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제13권12호
    • /
    • pp.575-584
    • /
    • 2013
  • 빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 문서의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서 웹 문서를 자동으로 수집하는 웹 크롤러의 중요성이 더욱 커지고 있다. 하지만, 기존 크롤러들은 일부 사이트에서 수집된 웹 문서에 포함된 URL만을 기반으로 웹 문서를 수집하기 때문에 사이트 전체 웹 문서를 수집할 수 없는 문제를 가진다. 또한, 수집된 웹 문서에 대한 정보를 효율적으로 관리하지 못하기 때문에 중복된 웹 문서를 수집하는 문제를 가진다. 그래서 본 논문에서는 웹 사이트의 RSS와 Google Search API를 통해 기존 웹 크롤러의 문제를 해결하고 RMI와 NIO을 활용해 서버와 클라이언트간 네트워크 연결을 최소화해 빠른 크롤링 기능을 제공하는 분산형 웹 크롤러를 제안한다. 또한, 제안하는 웹 크롤러는 웹 문서를 구성하는 태그들에 대한 키워드 유사도 비교를 통해, 분석에 활용되는 중요 콘텐츠만을 자동 추출하는 기능을 제공한다. 마지막으로, 기존 웹 크롤러와 제안하는 크롤러의 성능 평가 결과를 통해 제안하는 웹 크롤러의 우수성을 입증한다.

구글맵리뷰 텍스트마이닝을 활용한 공원 이용자의 인식 및 평가 - 서울숲, 보라매공원, 올림픽공원을 대상으로 - (Perception and Appraisal of Urban Park Users Using Text Mining of Google Maps Review - Cases of Seoul Forest, Boramae Park, Olympic Park -)

  • 이주경;손용훈
    • 한국조경학회지
    • /
    • 제49권4호
    • /
    • pp.15-29
    • /
    • 2021
  • 본 연구의 목적은 Google Maps에서 제공하는 장소에 대한 리뷰를 활용하여 실제로 공원을 방문한 이용자의 인식과 평가를 파악하는 것이다. 구글맵리뷰는 Social Network Service(SNS)를 통해 장소에 대한 인식과 평가에 관한 정보를 얻는 온라인 리뷰이며, 일반 리뷰어와 구글맵의 회원으로 등록된 지역 가이드의 관점에서 장소에 대한 이해를 볼 수 있는 서비스이다. 본 연구에서는 구글맵리뷰 분석이 공원 관리에 필요한 이용자들의 인식과 평가를 추출하는데 활용될 수 있는지를 살펴보고자 하였다. 서로 다른 공간특징과 시설을 가지는 3개의 공원(서울숲, 보라매공원, 올림픽공원)을 대상으로 파이썬을 활용한 웹 크롤링을 통해서 구글맵리뷰 내용을 수집하였다. 그리고 텍스트 분석을 통해 공원별 주요 키워드 분석과 네트워크 구조에 따른 특성을 분석하고, 이와 함께 구글맵리뷰에서 제공하는 별점 평갓값과 외국인 리뷰 데이터에 대한 분석도 수행했다. 연구 결과, 3개의 공원에서 공통으로 나타나는 특성으로는 이용목적으로 '산책', '자전거', '휴식', '피크닉'이 있었으며, 동반유형으로 '가족', '아이', '애견'이, 인프라로는 '놀이터', '산책로'가 있었다. 공원별 특색을 보면 서울숲은 자연을 기반으로 하는 야외활동이 많이 나타났고 반면, 주차공간 부족과 주말 혼잡은 공원 이용자에게 부정적인 영향을 미치고 있었다. 보라매공원은 수많은 활동을 제공하는 다양한 시설을 갖춘 도시공원의 모습을 가지고 있었다. 리뷰어들은 반려견을 동반하는 이용자 그룹과 그렇지 않은 다른 이용자 그룹 간의 갈등과 공원의 복잡함에 대한 부정적인 측면을 언급했다. 올림픽공원에는 대형 복합시설이 있으며, 커뮤니티, 문화예술공연과 같은 대규모 문화 이벤트가 많이 언급되었고, 레크리에이션 기능이 강조되었다. 구글맵리뷰는 공원에 대한 이용자의 전반적 경험과 이미지에 대한 특징을 파악하는 유용한 자료라고 할 수 있다. 또한, 다른 소셜미디어 데이터와 비교할 때 특히 구글맵리뷰는 공원에 대한 이용자 평갓값과 만족 및 불만족 요인을 이해할 수 있는 데이터를 제공한다.