• Digital Contents
• /
• no.8 s.75
• /
• pp.71-75
• /
• 1999

현재 웹 상에서는 많은 검색 엔진들이 존재한다. 최근에는 Yahoo나 Altavista와 같은 검색 엔진 이외에도 CD나 책 등 특정 도메인에 한정된 정보만을 찾아주는 전문 검색 엔진들이 늘어나고 있다. 쇼핑몰, 포탈 서비스 제공 사이트 등 대부분의 사이트에서 기본적으로 정보 검색 기능을 가지고 있다. 이는 정보 검색이 인터넷에 접속하는 사람들의 가장 큰 관심사가 되는 작업임을 입증한다. 이 글에서는 정보 검색 분야에서 에이전트 관련 기술들이 어떻게 적용되고 있는지를 알아보기로 하겠다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10d
• /
• pp.540-544
• /
• 2007

인터넷의 급속한 성장은 사람들의 정보 습득 방식에 큰 변화를 주었다. 인터넷 이용자들은 과거와 비교도 할 수 없을 만큼의 많은 지식을 손쉽게 접할 수 있게 되었다. 하지만, 그로 인해 여러 가지 문제점들이 생겨나게 됐는데, 웹 스팸도 그 중 하나이다. 웹 스팸은 웹을 통한 불법적인 활동으로 이득을 보려는 활동을 통칭할 수 있다. 웹 스팸은 검색 엔진 결과 리스트의 순위를 올리기 위해 사용되는 것이 대부분이지만, 점점 검색 엔진 결과 리스트의 순위와 관련 없는 것들에서도 나타나 생겨나고 있다. 웹 스팸은 종류도 다양할뿐더러, 아직까지 모든 웹 스팸을 예방할 확실한 방법이 제시되지 못하고 있다. 이 논문에서는 여러 웹 스팸 중 페이지-하이딩 스팸에 속하는 URL 리다이렉션에 대해 다루고자 한다. 다른 웹 스팸과 마찬가지로, 현재까지 자동적으로 URL 리다이렉션을 탐지하는 방법이 제시되지 못하고 있는 실정이다. 이 논문에서는 검색 엔진 결과 리스트의 순위를 사용하여 URL 리다이렉션을 탐지 기법을 제안하고자 한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.14 no.6
• /
• pp.737-744
• /
• 2004

Retrieving relevant information well corresponding to the user`s request from web is a crucial task of search engines. However, most of conventional search engines based on pattern matching schemes to queries have a limitation that is not easy to provide results corresponding to the user`s request due to the uncertainty of queries. To overcome the limitation in this paper, we propose a framework for knowledge-based semantic meta-search engines with the following five processes: (i) Query formation, (ii) Query expansion, (iii) Searching, (iv) Ranking recreation, and (v) Knowledge base. From simulation results on english-based web documents, we can see that the Proposed knowledge-based semantic meta-search engine provides more correct and better searching results than those obtained by using the Google.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.210-215
• /
• 2007

웹상에서의 정보량이 증가함에 따라, 사용자가 알고 싶어 하는 단어에 대해서 연관된 단어를 통해서 이해하게 된다. 동위어란 공통의 상위어를 가지는 단어이다. 이를 위한 기존의 연구로서 동위어와 상위어, 하위어 등을 찾는 연구는 많이 있었지만, 웹상의 문서를 이용하여 거대한 코퍼스를 해석해서 결과를 구하는 데 많은 시간이 소요되었다. 이에 본 논문에서는 사용자의 질의어에 대해서 웹 검색엔진이 가지는 제목과 문서요악으로부터 동위어와 문맥을 빠른 시간 안에 발견하는 방법에 대해 제안한다. 어떤 단어에 대한 동위어가 병렬조사 #와#로 접속되는 것을 이용하여 웹 검색 엔진에 대한 질의어를 작성하고, 그 검색 결과로부터 동위어를 얻는다. 이와 동시에 발견된 동위어와 질의어의 배후에 있는 문맥도 얻는다. 이를 통해, 웹 검색에 있어서 질의어의 확장과 비교 대상의 발견 등 폭넓은 분야에서도 적용가능하다고 할 수 있다.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 1997.03a
• /
• pp.89-106
• /
• 1997

현재 웹(Web)상에서 운용되고 있는 검색엔진의 활용실태에 관한 체게적 검토를통해 각 엔진에 대한 가능을 비교·분석함으로써 각각의 특징과 효율성을 평가해보고자하였다. 효율적인 검색을 위해서는 각 검색엔진의 특성을 파악하여야 하며 얻고자 하는 정보의 특성(정보분류, 사용분야, 정보 형태 등)에 의해서도 검색엔진의 선별이 필요하다. 검색엔진들은 자신만의 독특한 검색방법을 지니고 있으며 사용자 인터페이스, 질의(Query)의 형태와 검색결과에 차이를 보일 수있다. 그러나 이들 검색엔진의 효율성을 비교하기 위한 기준은 아직까지 정립되지 않았으며 학문적으로 검증된 명확한 기준이 없다. 따라서 본 연구에서는 검색엔진의 효율성 비교를 위해 현재 인터넷상에서 통용되고 있는 검색능력평가에 관한 보고서들에서 평가기준으로 삼고있는 기준들을 수집, 분석한후 가장 타당한 것으로 평가기준들을 선정, 체계화하는 작업을 선행하였다. 그리고 각 검색엔진의 검색효율성을 평가하여 그 결과를 분석함으로써 최적의 검색엔진 선택과 정확한 정보의 검색 및 활용에 일조하고자하였다.

• The Journal of Information Technology
• /
• v.1 no.2
• /
• pp.55-63
• /
• 1998

본 논문은 웹 상에서 하이퍼텍스트 문서의 정보 검색에 있어서 검색에 요구되는 질의어에 따른 검색 결과가 주제에 따른 관련성을 측정하며, 하이퍼텍스트 문서가 링크되는 문서 상호간의 유사성에 대하여 정량화를 시도함으로써 검색 엔진의 성능분석을 제시한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.159-164
• /
• 2008

최근 많이 주목을 받고 있는 웹 2.0은 사용자의 참여, 개방, 네트워크 효과에 기반하여 누구나 데이터를 생산하고 공유할 수 있는 사용자 중심의 인터넷 환경이다. openAPI는 웹 2.0의 근본 개념인 데이터의 개방 및 공유를 구현할 수 있는 핵심 기술로 포털은 자신의 서비스를 공개한다. 하지만 기존의 웹서비스와 openAPI 검색은 효율적인 검색 방법을 제공하지 않았다. 본 논문에서는 Lee[1]의 논문에서 제공하는 효율적인 웹서비스 검색 방법을 이용하여 검색 엔진을 개발하였다. 하지만 이 연구는 웹서비스와 유사한 구조를 가지는 openAPI를 수용하지 못한다. 따라서 본 논문에서는 openAPI의 정의 및 사용법이 웹서비스와 유사하다는 점을 활용하여 openAPI의 효과적인 검색을 위한 검색기법을 개발하였다. 이러한 검색기법은 사용자가 키워드를 입력하여 키워드 기반 검색을 통해 원하는 서비스를 찾아주고, 매쉬업 서비스나 다른 openAPI와의 조합(Composition)을 위해 템플릿 기반 검색을 통해 효과적인 검색을 제공해준다.

• The Journal of Society for e-Business Studies
• /
• v.8 no.2
• /
• pp.23-31
• /
• 2003

Link-based search engines generate the rank using linked information of related web-documents . HITS(Hypertext Internet Topic Search), representative ranking evaluation algorithm using a special feature of web-documents based on such link, evaluates the importance degree of related pages from linked information and presents by ranking information. Problem of such HITS algorithm only is considered the link frequency within documents and depends on the set of web documents as input value. In this paper, we design the search agent based on better HITS algorithm according to advanced suitability between query and search-result in the set of given documents from link-based web search engine. It then complements locality of advanced search performance and result.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.103-105
• /
• 2001

웹에서 사용자가 원하는 정보를 정확히 추출하기란 쉬운 문제가 아닐 것이다. 이러한 정보추출의 중요성의 문제는 방대해지는 정보의 양과 직결된다. 현재 웹의 정보는 사용자들이 원하는 모든 정도를 담고 있다고 이야기할 수 있을 만큼 많은 정보들이 내재되어 있다. 그러나 이러한 정보의 홍수 속에서 사용자들은 자신이 원하는 정보를 정확히 추출하기란 쉽지 않은 일이며, 정확히 추출이 되었어도 전통적 방식을 따르는 검색엔진은 내용기반 방식을 기초로 웹페이지의 순위를 결정함으로, 사용자에게 중요한 페이지를 상위에 위치시키기란 쉬운 일이 아니다. 본 논문에서는 이러한 전통적 방식의 검색엔진의 문제점을 해결하기 위하여 협동적 순위 평가 방법과 워드넷을 기반으로 검색엔진의 성능 향상 방법을 제안한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.21 no.1
• /
• pp.17-28
• /
• 2017

Recently, a study on data has been actively conducted because the value of the data has become more useful. Web crawler that is program of data collection recently spotlighted because it can take advantage of the various fields. Web crawler can be defined as a tool to analyze the web pages and collects the URL by traversing the web server in an automated manner. For the treatment of Big-data, distributed Web crawler is widely used which is based on the Hadoop MapReduce. But, it is difficult to use and has constraints on the performance. Apache spark that is the In-memory computing platform is an alternative to MapReduce. The search engine which is one of the main purposes of web crawler displays the information you search by keyword gathered by web crawler. If search engines implement a spark-based web crawler instead of traditional MapReduce-based web crawler, it would be a more rapid data collection.