• 제목/요약/키워드: Focused Crawling

검색결과 11건 처리시간 0.024초

신경망을 적용한 온톨로지 기반의 Focused Crawling (Ontology-Based Focused Crawling Combined with Neural Network)

  • ;강보영;남궁현;김홍기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.128-133
    • /
    • 2007
  • Focused crawling은 검색시스템의 구축을 위한 웹 문서 수집단계에서, 미리 정의된 토픽 집합들과 관련성을 가지는 웹 문서를 수집하기 위하여 제안되었다. 이러한 focused crawling 연구에서 보다 효과적인 웹 문서 수집을 위해 주어진 토픽에 대한 양질의 배경지식을 제공할 수 있도록 온톨로지가 활발히 활용되어왔다. 그러나 기존의 온톨로지 기반 focused crawling 연구는 토픽과 웹 문서 간의 관련성 측정을 위하여, 주어진 토픽과 관련있는 온톨로지 내 각 개념들에 직관에 의존한 가중치를 부여하여 활용하였다. 하지만 이러한 직관에 의존한 가중치부여 기법은 안정된 수집결과를 도출할 수 있는 최적화된 가중치 값을 얻기가 힘든 한계가 있다. 따라서 본 논문에서는 이러한 개념에 대한 가중치가 학습에 의하여 자동으로 결정되도록, 인공신경망을 적용한 온톨로지 기반 focused crawling 기법을 제안한다. 웹 상에서 제안된 시스템의 성능을 실험한 결과 기존의 온톨로지 기반 수집 기법에 비하여 보다 향상된 결과를 보임을 알 수 있었다.

  • PDF

온톨로지 인스턴스 구축을 위한 주제 중심 웹문서 수집에 관한 연구 (A Study on Focused Crawling of Web Document for Building of Ontology Instances)

  • 장문수
    • 한국지능시스템학회논문지
    • /
    • 제18권1호
    • /
    • pp.86-93
    • /
    • 2008
  • 복잡한 의미관계를 정의하는 온톨로지를 구축하는 일은 매우 정밀하고 전문적인 작업이다. 잘 구축된 온톨로지를 응용 시스템에 활용하기 위해서는 온톨로지 클래스에 대한 많은 인스턴스 정보를 구축해야 한다. 본 논문은 온톨로지 인스턴스 정보 추출을 위하여 방대한 양의 웹 문서로부터 주어진 주제에 적합한 문서만을 추출하는 주제 중심 웹 문서 수집 알고리즘을 제안하고, 이 알고리즘을 바탕으로 문서 수집 시스템을 개발한다. 제안하는 문서 수집 알고리즘은 URL의 패턴을 이용하여 주제에 적합한 링크만을 추출함으로써 빠른 속도의 문서 수집을 가능하게 한다. 또한 링크 블록 텍스트에 대한 퍼지집합으로 표현된 주제 적합도는 문서의 주제 관련성을 지능적으로 판단하여 주제 중심 문서 수집의 정확도를 향상시킨다.

커뮤니티 제한 검색을 위한 웹 크롤링 및 PageRank 계산 (Web Crawling and PageRank Calculation for Community-Limited Search)

  • 김계정;김민수;김이른;황규영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.1-3
    • /
    • 2005
  • 최근 웹 검색 분야에서는 검색 질을 높이기 위한 기법들이 많이 연구되어 왔으며, 대표적인 연구로는 제한 검색, focused crawling, 웹 클러스터링 등이 있다. 그러나 제한 검색은 검색 범위를 의미적으로 관련된 사이트들로 제한할 수 없으며, focused crawling은 질의 시점에 클러스터링하기 때문에 질의 처리 시간이 오래 걸리고, 웹 클러스터링은 많은 웹 페이지들을 대상으로 클러스터링하기 위한 오버헤드가 크다. 본 논문에서는 검색 범위를 특정 커뮤니티로 제한하여 검색 하는 커뮤니티 제한 검색과 커뮤니티를 구하는 방법으로 cluster crawler를 제안하여 이러한 문제점을 해결한다. 또한, 커뮤니티를 이용하여 PageRank를 2단계로 계산하는 방법을 제안한다. 제안된 방법은 첫 번째 과정에서 커뮤니티 단위로 지역적으로 PageRank를 계산한 후, 두 번째 과정에서 이를 바탕으로 전역적으로 PageRank론 계산한다. 제안된 방법은 Wang에 의해 제안된 방법에 비해 PageRank 근사치의 오차를 $59\%$ 정도로 줄일 수 있다.

  • PDF

연관도를 계산하는 자동화된 주제 기반 웹 수집기 (An Automated Topic Specific Web Crawler Calculating Degree of Relevance)

  • 서혜성;최영수;최경희;정기현;노상욱
    • 인터넷정보학회논문지
    • /
    • 제7권3호
    • /
    • pp.155-167
    • /
    • 2006
  • 인터넷을 사용하는 사람들에게 그들의 관심사와 부합하는 웹 페이지를 제공하는 것은 매우 중요하다. 이러한 관점에서 본 논문은 각 웹 페이지의 주제와 연관된 정도를 계산하여 웹 페이지 군(cluster)을 형성하며, 단어빈도/문서빈도 엔트로피(entropy) 및 컴파일된 규칙을 이용하여 수집된 웹 페이지를 정제하는 주제 기반 웹 수집기를 제안한다. 실험을 통하여 주제 기반 웹 수집기에 대한 분류의 정확성, 수집의 효율성 및 수집의 일관성을 평가하였다. 첫째, C4.5, 역전패(back propagation) 및 CN2 기계학습 알고리즘으로 컴파일한 규칙을 이용하여 실험한 웹 수집기의 분류 성능은 CN2를 사용한 분류 성능이 가장 우수 하였으며, 둘째, 수집의 효율성을 측정하여 각 범주별로 최적의 주제 연관 정도에 대한 임계값을 도출할 수 있었다. 마지막으로, 제안한 수집기의 수집정도에 대한 일관성을 평가하기 위하여 서로 다른 시작 URL을 사용하여 수집된 웹 페이지들의 중첩정도를 측정하였다. 실험 결과에서 제안한 주제 기반 웹 수집기가 시작 URL에 큰 영향을 받지 않고 상당히 일관적인 수집을 수행함을 알 수 있었다.

  • PDF

심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험 (Crawling algorithm design and experiment for automatic deep web document collection)

  • 강윤정;이민혜;원동현
    • 한국정보통신학회논문지
    • /
    • 제27권1호
    • /
    • pp.1-7
    • /
    • 2023
  • 심층 웹 수집은 검색 양식에 질의어를 입력하고 응답 결과를 수집하는 것을 의미한다. 심층 웹이 가진 정보는 정적으로 구성되는 표면 웹보다 약 450~550배 이상의 정보를 가지고 있을 것으로 추산한다. 정적인 방식에서는 웹페이지가 새로 고쳐지기 전까지 변화된 정보를 보여주지 못한다. 동적 웹페이지 방식은 실시간으로 필요한 정보가 갱신되어 웹페이지를 새로 불러오지 않아도 실시간 정보 제공이 가능한 장점이 있지만, 일반적인 크롤러는 갱신된 정보에 접근하는 데 어려움이 있다. 따라서 이들 심층 웹에 있는 정보들을 크롤러를 이용해 자동으로 수집할 방안이 필요하다. 이에 본 논문은 스크립트를 일반적인 링크로 활용하는 방법을 제안하였으며, 이를 위해 클라이언트 스크립트를 일반 URL처럼 활용이 가능한 알고리즘을 제안하고 실험하였다. 제안된 알고리즘은, 검색 양식에 데이터를 입력하는 일반적인 방법 대신 메뉴 탐색 및 스크립트 실행으로 웹 정보를 수집하는 데 중점을 두었다.

Is BTS Different? Shared Episodes on SNS as a Good Indicator for Celebrity Endorsed Ad Effects

  • Bu, Kyunghee;Kim, Whoe Whun
    • Asia Marketing Journal
    • /
    • 제22권4호
    • /
    • pp.27-45
    • /
    • 2021
  • This study examines the effects of celebrity endorsed advertising from a new perspective of the prior research that emphasizes the matchup between the brand and the celebrity. Due to the recent sharing experiences of the celebrity and their fans on SNS, it is hypothesized that the shared stories would impact viewers' responses that are often expressed in their likes, dislikes, shares and comments on SNS. In this study, the episodic type of advertising is hypothesized to have more favorable and active responses from viewers than the typical celebrity image-focused ads would have. By crawling and analyzing viewers' responses on YouTube toward 12 BTS endorsed ads, the hypotheses are confirmed as higher ratio of likes, lower ratio of dislikes and significantly higher ratio of comments over both total views and total likes were found. For the rationale behind, total 1800 comments were categorized into 4 major content types such as attached, experiential, empathic and self-related ones that are all considered as important factors influencing the strong ad effect. The results showed that the episodic ads have marginally more emotional comments than the celeb image ads. The difference was only found in experiential and empathic responses but not in self-related responses. Contrary to the hypothesis, the comments expressing attachment were found more for the celebrity image-focused ads than the episodic ones. It does not seem to suggest that the celebrity image focused ads are better to capture viewers' attachment towards the celebrity and the ad endorsed, but that the episodic ads draw viewers into relatively deeper level of attachment such as empathy by perceiving the authenticity of the celebrity and the brand. In conclusion, the shared stories on SNS can be a factor in the match-up theory on celebrity endorsed ad effects.

변형된 TSP 및 엘라스틱서치 알고리즘 기반의 최적 여행지 코스 추천 시스템 개발 (A Development of Optimal Travel Course Recommendation System based on Altered TSP and Elasticsearch Algorithm)

  • 김준영;조경호;박준;정세훈;심춘보
    • 한국멀티미디어학회논문지
    • /
    • 제22권9호
    • /
    • pp.1108-1121
    • /
    • 2019
  • As the quality and level of life rise, many people are doing search for various pieces of information about tourism. In addition, users prefer the search methods reflecting individual opinions such as SNS and blogs to the official websites of tourist destination. Many of previous studies focused on a recommendation system for tourist courses based on the GPS information and past travel records of users, but such a system was not capable of recommending the latest tourist trends. This study thus set out to collect and analyze the latest SNS data to recommend tourist destination of high interest among users. It also aimed to propose an altered TSP algorithm to recommend the optimal routes to the recommended destination within an area and a system to recommend the optimal tourist courses by applying the Elasticsearch engine. The altered TSP algorithm proposed in the study used the location information of users instead of Dijkstra's algorithm technique used in previous studies to select a certain tourist destination and allowed users to check the recommended courses for the entire tourist destination within an area, thus offering more diverse tourist destination recommendations than previous studies.

온·오프라인 댓글 분석이 활용된 Word2Vec 기반 상품기획 모델연구: 버티컬 무소음마우스 사용자를 중심으로 (A Study on the Product Planning Model based on Word2Vec using On-offline Comment Analysis: Focused on the Noiseless Vertical Mouse User)

  • 안영휘
    • 디지털융복합연구
    • /
    • 제19권10호
    • /
    • pp.221-227
    • /
    • 2021
  • 본 논문에서는 버티컬 무소음 마우스 10,000건에 대한 웹크롤링을 통해 수집된 정형화된 데이터셋을 Word2Vec을 이용하여 단어 간 유사도분석을 시행하고 컴퓨터공학과 대학생 92명에게 5일 동안 제시된 상품을 사용하게 하고 자가보고식 설문 분석을 시행하도록 하였다. 설문 분석은 서술식 형태로 수집하여 단어빈도 분석과 단어 간 유사도분석에서 추출된 상위 50개 단어를 제시하고 선택하는 방식으로 이루어졌다. 전자상거래 사용자 상품평 유사도 분석결과 내용 중 클릭 키워드에 대한 장점으로 통증(.985), 디자인(.963)가 분석되었으며 단점은 가볍다(.952), 적응(.948)이었다. 서술식 빈도분석에서는 버티컬(123개), 통증(118개)이 가장 많이 선택 되었으며 장/단점 유사단어를 선택에 해당되는 장점에서는 버티컬(83개), 통증(75개) 선택 되었으며 단점에서는 적응(89개), 버튼(72개)이었다. 따라서 본 연구에서 적용한 방식을 상품기획 프로세스의 신상품 개발 및 기존 상품의 검토 전략으로 반영 시 중견기업, 중소기업의 의사결정자와 상품기획자는 의사결정에 중대한 자료로 활용 할 수 있을 것으로 기대된다.

후원형 크라우드 펀딩에서의 목표 구배 효과; 프로젝트 카테고리 별 차이를 중심으로 (Goal Gradient Effect in Reward-based Crowdfunding; Difference in Project Category)

  • 황지현;최강준;이재영;서승범
    • 지식경영연구
    • /
    • 제20권3호
    • /
    • pp.173-193
    • /
    • 2019
  • Reward-based crowdfunding is a funding platform that allows funds to be raised to early operators who have lack of funds, and is seen as an outstanding infrastructure that is going to lead the fourth industrial revolution in that it is a field of realization of new technologies and creative ideas by start-ups. Reward-based crowdfunding has grown in line with the trend of the fourth industrial revolution, and funding success cases are taking place in various industries that culture/art to technology/IT, including as a new means of knowledge management in a rapidly changing industrial environment. The study focused on the fact that consumer's donation purposes may also vary depending on the category of projects classified as reward-based crowdfunding. Because consumer payment decisions and motivation of consumer purchasing behavior are classified according to the purpose of purchase, the previous papers that the goal gradient effect that the main motivation of consumer donation for reward-based crowdfunding introduced vary depending on project category of utilitarian and hedonic. In this study, consumer's daily donation data is collected by Indiegogo which is a leading reward-based crowdfunding company using web-crawling and the model was defined as propensity score matching (PSM) and random effect model. The results showed that the goal gradient effect occurred in utilitarian project category, but no goal gradient effect for the hedonic project category. Furthermore, this paper developed the study of motivation of consumer donation and contributes theoretical foundation by the results consumer donation may vary depending on the project category; also, this paper has implications for an effective marketing strategy depending on the project category leaves real meaning to the projector.

Support Vector Machine을 이용한 온라인 리뷰의 용어기반 감성분류모형 (Terms Based Sentiment Classification for Online Review Using Support Vector Machine)

  • 이태원;홍태호
    • 경영정보학연구
    • /
    • 제17권1호
    • /
    • pp.49-64
    • /
    • 2015
  • SNS의 확산으로 온라인 상점에서는 상품에 대한 주관적인 의견이 내포되어 있는 고객리뷰 정보가 빠르게 생성되고 확산되어 다른 고객들에게 큰 영향을 미치고 있다. 이와 더불어, 고객들의 긍정적 또는 부정적 의견을 분석하여 개선방안을 모색하려는 오피니언마이닝(opinion mining)이 주목 받고 있다. 고객리뷰에 내포된 감성정보를 가진 용어들은 감성분류를 하는데 가장 중요한 역할을 하기 때문에 영향력이 높은 용어를 선별하는 것이 가장 중요하다. 본 연구에서는 품사태깅을 이용하여 최적의 용어들을 선별하고 용어정보에 기반한 문서수준에서의 감성분류모형을 제안하고자 한다. 고객리뷰의 감성분류모형에 대표적인 기계학습기법인 SVM을 적용하고, SVM의 입력변수 선정과정에 품사태깅 방식과 용어추출기법을 다르게 조합하고 사용하여 긍정적/부정적 문서를 분류하였다. 본 연구에서 제안한 감성분류모형의 성과를 검증하기 위해 아마존(Amazon.com)의 영화와 도서에 대한 고객리뷰 80,000개를 수집하여 불필요한 용어들을 제거한 후 품사태깅을 통해 용어를 추출하였다. 추출된 용어는 문서빈도, TF-IDF, 정보획득량, 카이제곱 통계량의 값을 산출하여 값을 통해 용어들을 순위화하고, 각 상위 20개에 해당하는 최적의 용어를 선정한 후 SVM을 이용하였다. 제안된 감성분류모형을 통해 기존 연구에서 언급한 형용사만을 사용한 예측변수와 4품사를 사용한 예측변수에서의 실험결과를 통해 비교 분석하였다. 카이제곱 통계량 기반의 감성분류모형이 다른 모형보다 예측성과가 가장 우수하게 나타나는 것을 확인할 수 있었다. 본 연구에서 제안된 문서수준에서의 용어기반 감성분류모형을 이용함으로써 온라인 상점에서의 서비스 개선과 경쟁력 확보에 많은 도움이 될 것으로 기대된다.