• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.463-466
• /
• 2007

현재 웹 서비스에서 주로 사용하고 있는 키워드 기반 검색은 사용자의 의도와는 상관없는 정보까지 검색하는 경우가 많아서, 실제로 원하는 정보를 찾는데 많은 시간과 노력을 요구한다는 단점이 있다. 이러한 단점을 보완하기 위해서 최근 시맨틱 웹이라는 개념이 등장하였으며, 본 논문에서는 검색 결과의 신뢰성을 향상시키기 위해 온톨로지를 기반으로 시맨틱 검색시스템을 설계하였다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 기능적으로 크게 두 부분으로 구성되어 있다. 즉, 자료 수집을 하는 로봇 에이전트와 온톨로지를 기반으로 자료를 검색하는 시맨틱 검색 엔진으로 구성된다. 로봇 에이전트는 자율적으로 웹을 순회하면서 자료를 수집하고 필터링하여 메타데이터 저장소로 가져오는 역할을 한다. 시맨틱 검색 엔진은 사용자의 검색 폼으로부터 전달된 정보 검색 요구사항을 기초로 시맨틱 질의어로 변환한 후, 온톨로지 저장소를 활용하여 검색한다. 시맨틱 검색 엔진은 사용자가 입력한 검색어를 시맨틱 질의어로 변환해 주는 질의처리 모듈과 사용자의 의도를 추론하여 보다 향상된 검색을 가능하게 해주는 추론(Inference) 모듈, 온톨로지를 보관해주는 온톨로지 저장소 등으로 구성된다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 키워드 기반 검색에 비해 사용자가 원하는 정보를 찾는데 소요되는 시간과 노력을 줄여 주고, 사용자의 의도에 적합한 정보를 제공할 것으로 기대된다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2006.08a
• /
• pp.113-120
• /
• 2006

본 연구에서는 사회학 분야 웹 정보원을 대상으로 동시링크분석을 실시하여 특정 학문분야의 지적구조를 분석하고, 검색엔진별 지적 구조의 차이를 분석함으로써 웹 정보원의 특성을 살펴보았다. 세 개의 검색엔진을 대상으로 지적구조의 차이를 비교한 결과, 웹 정보원 지도에서 전체적인 지적구조는 비슷하게 나타났지만, 몇 개의 웹 정보원의 경우에는 소속군집이 다르게 나타난 경우도 있었다. 그리고 Altavista와 AlltheWeb은 지도상의 웹 정보원 분포에 있어서 거의 유사한 구조를 보여주었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.649-651
• /
• 2004

현재, 웹의 정보는 사용자들이 원하는 모든 정보를 담고 있다고 할 수 있으나, 방대한 웹에서 사용자가 원하는 정보를 정확히 추출하기란 어려운 문제이다. 이러한 정보 추출의 어려움은 방대한 정보량과 정보추출 방식과 직결된다. 웹에서 정보를 정확히 추출하여도 일반적인 검색엔진들의 웹 페이지 순위 결정 방식을 따르게 되면, 사용자에게 중요한 페이지를 상위에 위치시키기란 쉬운 일이 아니다. 본 논문에서는 질의어의 모호성을 해결하기 위해 워드넷 기반 사용자 인터페이스를 설계하고, 웹 페이지의 가중치에 의미 카테고리 빈도 확률과 하이퍼링크 가중치를 이용한 웹 페이지의 가중치 결정 방식을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06b
• /
• pp.166-170
• /
• 2008

인터넷을 통한 검색은 사용자가 찾으려는 정보를 일반적으로 브라우저를 통해 표현해주고 있다. 본 연구서는 웹 사용자에게 기존의 브라우저가 아닌 화면 분할을 통하여 인터넷 사용의 효율을 높이는 방식을 제공하였다. 그 중에 WEB 2.0의 Ajax를 사용하여 웹 페이지를 분할 후 특정 브라우저와 상관없이 복수 페이지의 접근을 가능하게 하고 검색의 효율성을 높이기 위해 하나의 브라우저에서 서로 다른 검색엔진의 Open API가 작동되도록 하였다. 한번의 키워드 입력과 한번의 클릭으로 검색엔진 마다 방문 할 필요없이 하나의 브라우저에서 각각의 검색 결과를 사용자에게 제공해 주도록 하여 검색 시간을 감축하고, 결과를 비교 분석하므로 웹 서핑의 효율성을 높여주는 시스템을 구현하였고 이를 입증하였다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.14 no.6
• /
• pp.567-581
• /
• 2008

As the size of the web is growing explosively, search engines are becoming increasingly important as the primary means to retrieve information from the Internet. A search engine periodically downloads web pages and stores them in the database to provide readers with up-to-date search results. The web crawler is a program that downloads and stores web pages for this purpose. A large-scale search engines uses a parallel web crawler to retrieve the collection of web pages maximizing the download rate. However, the service architecture or experimental analysis of parallel web crawlers has not been fully discussed in the literature. In this paper, we propose an architecture of the parallel web crawler and discuss implementation issues in detail. The proposed parallel web crawler is based on the coordinator/agent model using multiple machines to download web pages in parallel. The coordinator/agent model consists of multiple agent machines to collect web pages and a single coordinator machine to manage them. The parallel web crawler consists of three components: a crawling module for collecting web pages, a converting module for transforming the web pages into a database-friendly format, a ranking module for rating web pages based on their relative importance. We explain each component of the parallel web crawler and implementation methods in detail. Finally, we conduct extensive experiments to analyze the effectiveness of the parallel web crawler. The experimental results clarify the merit of our architecture in that the proposed parallel web crawler is scalable to the number of web pages to crawl and the number of machines used.

• Journal of KIISE:Computing Practices and Letters
• /
• v.14 no.7
• /
• pp.669-679
• /
• 2008

With the increasing demands of information sharing and searches via the web, the web search engine has drawn much attention. Although many researches have been done to solve technical challenges to build the web search engine, the issue regarding its query processing system is rarely dealt with. Since the software architecture and operational schemes of the query processing system are hard to elaborate, we here present related techniques implemented on a commercial system. The implemented system is a very large-scale system that can process 5-million user queries per day by using index files built on about 65-million web pages. We implement a multi-level cache scheme to save already returned query results for performance considerations, and the multi-level cache is managed in 4-level cache storage areas. Using the multi-level cache, we can improve the system throughput by a factor of 4, thereby reducing around 70% of the server cost.

• Journal of the Korean Society for information Management
• /
• v.20 no.1
• /
• pp.417-455
• /
• 2003

Ontologies are formal theories that are suitable for implementing the semantic web. which is a new technology that attempts to achieve effective retrieval, integration, and reuse of web resources. Ontologies provide a way of sharing and reusing knowledge among people and heterogeneous applications systems. The role of ontologies is that of making explicit specified conceptualizations. In this context, domain and generic ontologies can be shared, reused, and integrated in the analysis and design stage of information and knowledge systems. This study aims to design an ontology for international organizations. and build an Internet web retrieval system based on the proposed ontology. and finally conduct an experiment to compare the system performance of the proposed system with that of internet search engines focusing relevance and searching time. This study found that average relevance of ontology-based searching and Internet search engines are 4.53 and 2.51, and average searching time of ontology-based searching and Internet search engines are 1.96 minutes and 4.74 minutes.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.331-335
• /
• 2008

시맨틱 웹은 정보의 의미를 개념으로 정의하고 개념들 간의 관계성을 표현함으로써, 문서들 간의 단순 연결이 아닌 의미 연결을 통해서 보다 정확하고 효율적인 정보 검색이 가능하게 된다. 이러한 시맨틱 웹의 비전이 구체화되기 위해서는 웹 온톨로지(Web Ontology)를 기반으로 의미 정보로 구성된 시맨틱 문서들에 대한 추론을 통해서 웹상에 존재하는 엄청난 정보들 간의 관련성을 파악하고 사용자가 요구하는 정보를 보다 효율적으로 검색할 수 있는 시스템이 필수적이다. W3C에서 제안한 OWL은 대표적인 온톨로지 언어이다. 시맨틱 웹 상에서 OWL 데이타를 효율적으로 검색하기 위해서는 잘 구성되어진 저장 스키마를 구축해야 한다. 본 논문에서는 Jena2의 경우, 단일 테이블에 문서의 정보를 저장하기 때문에 단순 선택 연산 (Simple Selection), 조인 연산이 요구되는 질의에 대한 성능이 저하되고 대용량의 OWL데이터의 처리에 있어 성능이 저하되는 문제를 해결하기 위하여 본 논문에서는 OWL 문서의 의미를 Class, Property, Individual로 분류하여 각각의 데이터 정보들을 테이블에 저장하기 위한 다중 변환기와 OWL 변환기 기능을 가진 시멘텍 검색 엔진을 설계 및 구현하였다. 본 검색 엔진을 테스트한 결과, 단순정보검색 질의 시 Jena2에서 비정규화된 테이블 구조로 저장할 때보다 질의 응답 속도를 향상 시킬 수 있었고, 조인 연산 시 두 테이블의 크기로 인한 조인비용이 발생하는 문제점을 해결함으로써 빠른 검색 및 질의 속도를 보장할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.157-159
• /
• 2003

본 논문은 인트라넷에서 검색엔진 운용시 발생되는 트랙픽을 감소하여 네트워크 자원을 효율적으로 이용하기 위한 분산 웹 크롤링 에이전트와 인덱싱 에이전트를 제안한다. 일반적인 검색엔진의 구성, 인트라넷의 네트워크 구성 및 인트라넷이 인터넷과 구별되는 몇가지 특징을 제시하고 이에 적합한 분산 검색엔진을 설계하며 분산 검색엔진의 각 에이전트들이 분산 환경에 동작할 수 있도록 하기 위하여 URL Sorter, URL Provider 및 분산 Indexer를 설계한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 1998.03a
• /
• pp.89-92
• /
• 1998

최근 웹 상에서 여러 가지 정보에 대한 접근이 용이하여 많은 사람들이 다양한 검색 시스템을 이용하여 원하는 정보를 얻고 있다. 그러나 웹의 크기가 점점 커지고 그에 따른 사용량 또한 증가함에 딸 원하는 시간 안에 원하는 수준의 정보를 얻기가 매우 어렵다. 본 논문에서는 유전자 알고리즘을 이용하여 사용자의 요구수준에 보다 가까운 저오를 검색하는 학습방법에 대해 고찰한다. 검색 엔진의 초기 검색 결과로부터 만들어진 색인어들이 하나의 염색체로 구성한다. 염색체를 구성하고 있는 각 유전자는 사용자의 기호에 맞는 URL을 추천하기 위해 검색된 문서들과 연관성 값을 비교하여 유전 연산자에 의해 변형된다. 제시된 저오 검색 방식은 기존의 검색 엔진으로부터 반환되는 검색 결과로부터 사용자가 원하는 장보에 연관된 하나 이상의 색인어를 생성한 다음 재검색하여 연관성이 높은 소수의 정보만을 사용자에게 제공한다. 제안된 학습 방식과 기존 검색 엔진으로 검색된 결과를 초기의 사용자 정보 요구와의 연관성에 있어서 비교 분석하였다.