• 제목/요약/키워드: Web spidering

검색결과 3건 처리시간 0.015초

웹 탐색 성능 향상을 위한 강화학습 이용과 기준 페이지 선택 기법 (The Use of Reinforcement Learning and The Reference Page Selection Method to improve Web Spidering Performance)

  • 이기철;이선애
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권3호
    • /
    • pp.331-340
    • /
    • 2002
  • 웹의 세계는 하루가 다르게 확장되고 있다. 이에 따라, 지능형 정보추출 기능이 없다면 우리는 넘쳐나는 데이터 앞에서 더욱 무기력해 질 수밖에 없다. 범용 탐색 엔진을 위한 기존의 웹 검색 기법은 특정 영역이나 특정 키워드에만 집중해야하는 특정 검색 엔진에는 너무 느린 경향이 있다. 본 논문에서는 웹 검색 능력을 개선하는 새 모델을 제시하고 실험하였다. 특정 영역과 관련된 초기의 관련 웹 페이지 집합에서 적절한 웹 페이지들을 선택하는 문제는 웹 검색 속도를 향상시키기 위해 매우 중요할 수 있다. 기준 웹 페이지 선택 기법 DOPS는 선택된 웹 페이지들이 가능한 한 직교성을 갖도록 동적으로 웹 페이지를 선택한다. 또한 새로 정의된 메져를 이용하여 적합한 기준 페이지들의 수도 결정해줄 수 있다. 매우 특화된 영역에 대한 실험을 통해서도, 본 방법은 거의 전문가 수준에 가까이 동작하였다. 전문가들이 초대형 초기 페이지 집합에 대해 일할 수 없다는 점과 그들도 기준 페이지 수의 최적치를 결정하기에 어려움을 느낀 다는 점을 고려하면, 본 방법은 매우 유망하다 할 수 있다. 또한 웹 환경에 강화학습도 적용하도록 하였고, DOPS에 기반을 둔 강화학습 실험을 통해 본 방법이 하이퍼링크 수나 시간 면에서 매우 양호한 결과를 보임을 알 수 있었다.

  • PDF

강화학습을 이용한 주제별 웹 탐색 (Topic directed Web Spidering using Reinforcement Learning)

  • 임수연
    • 한국지능시스템학회논문지
    • /
    • 제15권4호
    • /
    • pp.395-399
    • /
    • 2005
  • 본 논문에서는 특정 주제에 관한 웹 문서들을 더욱 빠르고 정확하게 탐색하기 위하여 강화학습을 이용한 HIGH-Q 학습 알고리즘을 제안한다. 강화학습의 목적은 환경으로부터 주어지는 보상(reward)을 최대화하는 것이며 강화학습 에이전트는 외부에 존재하는 환경과 시행착오를 통하여 상호작용하면서 학습한다. 제안한 알고리즘이 주어진 환경에서 빠르고 효율적임을 보이기 위하여 넓이 우선 탐색과 비교하는 실험을 수행하고 이를 평가하였다. 실험한 결과로부터 우리는 미래의 할인된 보상을 이용하는 강화학습 방법이 정답을 찾기 위한 탐색 페이지의 수를 줄여줌으로써 더욱 정확하고 빠른 검색을 수행할 수 있음을 알 수 있었다.

강화학습을 사용한 개인화된 웹 검색 (Personalized web searching with Reinforcement Learning)

  • 이승준;장병탁
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2001년도 추계학술대회 학술발표 논문집
    • /
    • pp.259-262
    • /
    • 2001
  • 본 논문에서는 사용자의 취향에 맞춰 특정 웹 문서를 탐색하는 개인화된 웹 검색기의 구현을 다룬다. 사용자의 취향은 사용자의 직접적인 평가와 사용자의 검색 과정을 통해 얻어지는 간접적인 평가를 사용한 강화 학습을 사용하여 학습된다. 웹 문서의 검색은 사용자의 취향과 현재 문서와의 관련 도를 보상으로 사용한 강화 학습을 통하여 이루어진다.

  • PDF