• 제목/요약/키워드: 크롤링 시스템

검색결과 73건 처리시간 0.032초

LDA 기반 사용자 감정분석을 위한 문서 토픽 추출 시스템에 대한 연구 (A Study on the Document Topic Extraction System for LDA-based User Sentiment Analysis)

  • 안윤빈;김학영;문용현;황승연;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.195-203
    • /
    • 2021
  • 최근 IT 분야의 주요 기술인 빅데이터는 다양한 산업 분야로 확장되고 있으며 활용 방안에 대한 연구가 활발하게 진행 중이다. 대부분의 인터넷 산업 분야에서 사용자 리뷰는 이용자가 상품 구매를 결정하는 데 많은 도움을 준다. 그러나 방대한 제품 리뷰에서 긍정, 부정적 의미와 도움이 되는 리뷰를 선별하는 과정은 제품 구매 결정에 있어 많은 시간을 요구한다. 따라서 본 논문에서는 빅데이터 분석 기술인 LDA를 이용해 키워드를 분석 및 종합하여 사용자에게 의미 있는 정보를 제공하는 시스템을 설계하고 구현한다. 문서 토픽 추출을 위해 본 연구에서는 국내 도서 산업을 도메인으로 데이터를 크롤링하고, 빅데이터 분석을 실시한다. 이를 통해 사용자 리뷰의 토픽 및 감정단어를 바탕으로 상품에 대한 종합적인 정보를 제공함으로써 구매자에게 도움을 주고 나아가 리뷰 현황 분석을 통해 상품의 전망 또한 파악할 수 있다.

의류 사이즈별 및 피부톤에 기반을 둔 의류 추천 시스템 (Suitable clothing recommendation system by size and skin color)

  • 박창영;임병찬;이원준;이창수;김민수;이상용
    • 디지털융복합연구
    • /
    • 제20권3호
    • /
    • pp.407-413
    • /
    • 2022
  • 기존 의류 추천 시스템들은 사용자 자신의 신체 촬영 사진이나 신체 사이즈를 입력한 후, 사용자가 좋아하는 의류의 종류를 선택하면 그에 적합한 사진을 보여주는 수준에 머물러 있다. 이러한 추천 시스템을 이용하여 사용자가 의류를 구매할 경우, 사용자의 신체 사이즈에 맞지 않거나 어울리지 않는 경우가 다수 발생하게 된다. 본 연구에서는 기존 의류 추천 시스템들의 이런 문제점을 해결하기 위하여 사용자가 사이즈 뿐만 아니라 피부톤을 입력받아 사용자의 신체 사이즈 뿐만 아니라 피부톤에 알맞는 의류를 추천하는 시스템을 구현하였다. 본 시스템은 의류 추천을 위해 남성 상의 8가지를 대상으로 웹 크롤링을 통해 얻은 의류의 사이즈 정보를 주기적으로 데이터베이스에 저장하고, 해당 의류 이미지의 전체 픽셀을 분석하여 색감 텍스트 값을 추출하였다. 본 시스템의 성능을 확인하기 위하여 남자 대학생 100명을 대상으로 설문 조사를 실시하였으며, 70% 수준의 만족도를 보였다. 만족하지 않는 대부분의 이유는 추천 대상 의류가 한정되어 있다고 밝혀서 추후 대상 의류의 확대가 필요할 것으로 판단된다.

R2SS 기반의 정보검색 시스템 (Information Retrieval System for R2SS)

  • 홍석주;박영배
    • 한국콘텐츠학회논문지
    • /
    • 제9권12호
    • /
    • pp.39-51
    • /
    • 2009
  • 본 논문은 $R^2SS$((Reverse Really Simple Syndication) 기반의 지능형 검색엔진의 설계 및 구현에 관한 것으로, 기존의 방식과 같이 사용자가 RSS 주소를 입력하여 제한된 RSS 정보를 받아보는 방식이 아니라, 사용자는 단순히 자신이 원하는 정보를 입력만 하면, 자동화된 RSS 주소수집서버가 수집한 수많은 RSS 주소들로부터 실시간으로 수집하는 RSS 규격 문서들 중 사용자가 원하는 규격 문서에 대한 RSS 정보만을 제공해줌으로써, 수많은 정보를 찾아 그 중 원하는 정보만 추려서 제공해주는 $R^2SS$ 구독(Reverse RSS Subscribe) 방식을 설계하는데 있다. 제안된 $R^2SS$ 기반 지능형 검색엔진을 통하여 양질의 정보를 찾아서 헤매는 시간을 획기적으로 줄일 수 있고 개인 비서를 두게 되는 효과를 얻을 수 있다.

딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현 (Design and Implementation of Hashtag Recommendation System Based on Image Label Extraction using Deep Learning)

  • 김선민;조대수
    • 한국전자통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.709-716
    • /
    • 2020
  • 소셜 미디어에서 일반적으로 게시물을 올릴 때 이미지의 태그 정보를 사용하는데, 태그를 이용하여 주로 검색이 이루어지기 때문이다. 사용자는 태그를 게시물에 붙임으로써 게시물을 많은 사람들에게 노출시키길 원한다. 또한, 사용자는 게시물과 함께 태깅될 태그를 붙이는 행위를 번거롭게 여겨 태깅하지 않은 게시물도 올리게 된다. 본 논문에서는 입력 이미지와 유사한 이미지를 찾아 해당 이미지에 부착된 레이블을 추출하여 그 레이블이 태그로 존재하는 인스타그램의 게시물들을 찾아 게시물 속 존재하는 다른 태그들을 추천해주는 방법을 제안한다. 제안하는 방법에서는 CNN(Convolutional Neural Network) 딥러닝 기법의 모델을 통하여 이미지로 부터 레이블을 추출하여 추출된 레이블로 인스타그램을 크롤링하여 레이블 외의 태그를 정렬하여 추천해준다. 추천된 태그를 이용하여 이미지를 게시하기도 편해지고, 검색의 노출을 높일 수 있고, 검색오류가 적어 높은 정확도를 도출할 수 있음을 알 수 있다.

소셜 미디어 분석을 통한 음악 추천 모델의 설계 및 구현 (Design and implementation of a music recommendation model through social media analytics)

  • 정경록;박구락;박상혁
    • 융합정보논문지
    • /
    • 제11권9호
    • /
    • pp.214-220
    • /
    • 2021
  • 스마트폰이 빠르게 보급되면서 음악을 생활 속의 배경음악처럼 항상 모든 곳에서 듣는 것이 일반화되어 개인의 상황과 조건에 맞는 추천을 할 수 있는 음악 데이터베이스를 필요하다. 본 논문에서는 소셜 미디어를 통한 음악추천 모델을 제안한다. 소셜 미디어의 데이터를 사용하여 음악 데이터베이스를 작성하고 기존의 음원 제공 플랫폼이 주로 사용하는 협업필터링과는 다른 방식으로 음악을 분류한다. 웹크롤링으로 음악 제목이 해시 태그로 달린 게시글을 찾아 해당 글에 함께 달린 다른 해시 태그들을 수집하고 분류하여 실제 청취자의 음악에 관한 의견을 데이터베이스에 사용한다. 소셜 미디어를 작성할 때의 감정, 상황, 시간대, 날씨 등 많은 조건이 해시 태그에는 포함되어 있으므로 다양한 사람의 의견이 집단지성으로 반영된 소셜 미디어 기반 데이터베이스를 구축할 수 있다.

취약점의 권한 획득 정도에 따른 웹 애플리케이션 취약성 수치화 프레임워크 (A Web application vulnerability scoring framework by categorizing vulnerabilities according to privilege acquisition)

  • 조성영;유수연;전상훈;임채호;김세헌
    • 정보보호학회논문지
    • /
    • 제22권3호
    • /
    • pp.601-613
    • /
    • 2012
  • 안전한 웹 서비스를 제공하기 위하여 보안을 고려한 웹 애플리케이션의 설계와 구현이 요구되고 있다. 이에 따라 웹 애플리케이션의 취약성을 수치화할 수 있는 여러 가지 프레임워크들이 제시되고 있지만, 이러한 프레임워크에 의하여 도출된 수치는 누적 방식에 의하여 계산되기 때문에 취약점의 심각성을 제대로 분류할 수 없다는 문제점이 존재한다. 본 연구에서는 웹 애플리케이션에서 발생할 수 있는 취약점을 권한 획득 가능성에 따라 등급을 나누고 수치화함으로써 취약점에 대하여 우선순위를 둘 수 있다. 또한 개별 웹 애플리케이션뿐 아니라 한 조직에서 제공하는 여러 웹 애플리케이션에 대한 취약성을 수치화함으로써 어느 웹 애플리케이션이 가장 취약하며 우선적으로 처리해야 하는지 판단할 수 있다. 실제 크롤링 기반 웹 스캐너를 통하여 발견된 취약점들에 대하여 우리가 제안한 프레임워크를 적용하여 등급을 나누고 수치화함으로써 취약점의 권한 획득 가능성에 따른 분류의 중요성을 보이고 있다.

합리적 가격결정을 위한 전이학습모델기반 아보카도 분류 및 출하 예측 시스템 (Avocado Classification and Shipping Prediction System based on Transfer Learning Model for Rational Pricing)

  • 유성운;박승민
    • 한국전자통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.329-335
    • /
    • 2023
  • 타임지가 선정한 슈퍼푸드이며, 후숙 과일 중 하나인 아보카도는 현지가격과 국내 유통 가격이 크게 차이가 나는 식품 중 하나이다. 이러한 아보카도의 분류과정을 자동화한다면 다양한 분야에서 인건비를 줄여 가격을 낮출 수 있을 것이다. 본 논문에서는 아보카도의 데이터셋을 크롤링을 통하여 제작하고, 딥러닝 기반 전이학습모델을 다수 사용하여, 최적의 분류모델을 만드는 것을 목표로 한다. 실험은 제작한 데이터셋에서 분리한 데이터셋에서 딥러닝 기반 전이학습모델에 직접 대입하고, 해당 모델의 하이퍼 파라미터를 Fine-tuning하며 진행하였다. 제작된 모델은 아보카도의 이미지를 입력하였을 때, 해당 아보카도의 익은 정도를 99% 이상의 정확도로 분류하였으며, 아보카도 생산 및 유통가정의 인력감소 및 정확성을 높일 수 있는 데이터셋 및 알고리즘을 제안한다.

물공급네트워크 수질사고인지를 위한 소셜네트워크 서비스 별 웹크롤링 방법론 개발 (Web crawling process of each social network service for recognizing water quality accidents in the water supply networks)

  • 유도근;홍승혁;문기훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.398-398
    • /
    • 2022
  • 최근 수돗물 공급과정에 있어 적수, 유충 발생 등 지역 단위의 수질문제로 국민의 직간접적인 피해가 발생된 바 있다. 수질문제 발생 시, 소셜네트워크서비스(SNS)에 게시되는 피해 관련 의견은 시공간적으로 빠르게 확산되며, 궁극적으로는 물공급과정 전체의 부정적 인식증가와 신뢰도 저하를 초래한다. 따라서, 물공급시스템에서의 수질사고 발생을 빠르게 인지하는 다양한 방법론의 적용을 통한 피해 최소화를 위한 노력이 반드시 필요하다. 일반적으로 수질사고는 다양한 항목의 실시간 계측기에서 획득되는 시계열자료의 변화양상을 통해 판단할 수 있으나, 이와 같은 방법론의 효율적 적용을 위해서는 선진계측인프라의 도입이 선행되어야 한다. 본 연구에서는 국내의 발달된 정보통신기술환경을 활용하여, 물공급네트워크 내 수질사고인지를 위한 SNS 별 웹크롤링 방법론을 제안하고, 적용결과를 분석하였다. 방법론의 구현에 앞서, 각종 SNS 별(트위터, 인스타그램, 블로그, 네이버 카페 등) 프로그래밍을 통한 웹크롤링 가능여부, 정보획득 기간 등을 확인하였으며, 과거 유사 수질사고 발생 시 영향력과 관련 게시글이 크게 나타난 네이버 카페와 트위터를 중심으로 웹 크롤링 절차를 제시하였다. 네이버 카페의 경우 대상급수구역 내의 시민들이 다수 참여하는 카페를 목록화하고, 지자체명과 핵심 키워드(수돗물, 유충, 적수) 조합을 활용한 웹크롤링을 수행하여, 관련 게시물 건수와 의미를 실시간으로 분석하는 절차를 마련하였다. 개발된 SNS 별 웹크롤링 방법론에 따라 과거 수질사고가 발생된 바 있는 2개 이상의 지자체에 대한 분석을 실시하였으며, SNS 별 결과에 있어 차이점을 확인하여 제시하였다. 향후 제안된 방법을 적용하여 시공간적 수질사고 정보의 전파 및 확산양상을 추가적으로 분석할수 있을 것으로 기대된다.

  • PDF

웹 크롤링 이용한 크레페 검색 시스템 설계 (Crepe Search System Design using Web Crawling)

  • 김효종;한군희;신승수
    • 디지털융복합연구
    • /
    • 제15권11호
    • /
    • pp.261-269
    • /
    • 2017
  • 본 연구의 목적은 광역 네트워크로 연결된 다수의 봇을 활용한 방식이 아닌 단일 네트워크에서 정보의 최신성을 보장하기 위해 데이터베이스 서버를 사용하지 않고 실시간으로 웹에 접속하여 정보를 불러오는 방식을 사용한 검색 시스템을 설계하는 것이다. 연구의 방법은 크레페 시스템에서 신속하고 정확한 인물과 키워드 검색을 할 수 있는 시스템을 설계하고 분석한다. 크레페 서버는 본문 태그 매칭 변환 과정은 사용자가 정보를 등록할 경우 글자체, 글자 크기, 색상등과 같이 사용자마다 여러 스타일이 적용되어 그 자체가 정보가 되기 때문에 모든 정보를 그대로 저장하게 된다. 크레페 서버는 본문 태그 매칭 문제점이 발생되지 않는다. 그러나 크레페 검색 시스템을 실행할 때에는 사용자들의 스타일 및 특성을 정형화할 수 없다. 이러한 문제점을 html_img_parser 함수와 Go언어의 html 파서 패키지를 사용하면 해결할 수 있다. 특정 사이트를 대상으로 하는 웹 크롤러 설계가 아닌 범용 웹 크롤러에 큐와 다중 스레드를 적용하여 다양한 웹 사이트를 빠르고 효율적으로 탐색, 수집한 빅 데이터를 다양한 응용 분야에 활용될 수 있을 것이다.

소셜미디어 및 면접 영상 분석 기반 온라인 채용지원시스템 프로토타입 설계 및 구현 (Prototype Design and Development of Online Recruitment System Based on Social Media and Video Interview Analysis)

  • 조진형;강환수;유우창;박규태
    • 디지털융복합연구
    • /
    • 제19권3호
    • /
    • pp.203-209
    • /
    • 2021
  • 본 연구에서는 구직자의 채용지원 서류에 대한 진정성 검증 및 잠재 직무역량과 성향에 대한 정보여과 기능을 기반으로 효과적인 원격 채용 및 적정한 업무배치 의사결정을 지원할 수 있는 온라인 채용지원시스템 프로토타입 설계 및 구현 사례를 제안하고자 하였다. 이를 위해 구직자의 공개된 소셜미디어 정보에 대해 다차원적으로 자동 크롤링 및 분석하는 기능을 접목하여 구직자의 성향과 직무역량 정보를 도출하고, 텍스트마이닝 기법을 적용하여 채용지원 서류에 표현된 텍스트 정보 및 면접 영상 정보에 대한 지능적인 분석기능이 포함된 시스템 모델을 제안하였다. 제안하는 채용지원시스템의 효용성 검증을 위하여 프로토타입을 기반으로 주요 성능지표인 텍스트마이닝 정확도 및 면접 음성문자변환 기능 인식률 등에 대한 성능평가 실험을 진행하고 결과를 분석하였다. 제안하는 시스템은 효율적인 맞춤형 채용지원 기능이 가능하도록 지능형 웹/앱 개발에 필요한 요소기술을 융합하여 설계하였으며, 도출된 설계 사양 및 프로토타입 개발 결과를 바탕으로 상용화 구현이 된다면 인재 채용시장에서 필요한 지능형 온라인 채용시스템 기술로 확대 활용이 기대될 수 있다.