• Journal of the Korean Society for information Management
• /
• v.21 no.1
• /
• pp.173-186
• /
• 2004

This study examines coverage and coverage overlap of the three major Korean web directories, Naver, Yahoo Korea, and Empas. This study also suggests a methodology for collecting and processing web sites provided by these web directories. A method for napping main categories was developed. Each directory provided registered web pages in a slightly different way. Reference links had a significant influence on the coverage of each web directory. The overlap of pages among three directories was quite low, It is expected that this study could contribute to the field of web research by providing insights to how directories provide web pages and suggesting a methodology for the analysis of directory coverage.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.577-580
• /
• 2002

인터넷상의 정보의 급증에 따라 필요한 정보를 발견하고 관련된 정보를 조직화하기가 더욱 어려워지고 있으며 정보 접근의 부하를 줄이기 위한 효율적인 문서 분류의 중요성 및 필요성이 증가하고 있다. 본 논문에서는 디렉토리 내의 학습 문서 집합을 기반으로 구성된 디렉토리 내의 대표 용어 집합으로 구성된 모델을 학습 및 분류하기 위해 SVM을 사용한다. 문서분류를 위해 정보통신 웹 디렉토리 내의 문서로부터 추출된 용어 집합을 기반으로 학습을 수행한 후 문서 분류를 수행한다. 또한 TFiDF를 기반으로 특징을 표현하기 위해 벡터공간 모델을 사용하였고 이를 기반으로 성능 평가를 수행한다.

• Proceedings of the KAIS Fall Conference
• /
• 2001.11a
• /
• pp.75-78
• /
• 2001

본 논문에서는 웹 문서의 자동 분류를 위한 특성 선택 및 추출기법을 기술한다. 최근 인터넷의 급속한 성장과 보급으로 전자우편과 웹을 통해 제공되어지는 정보의 양이 기하급수적으로 증가함에 따라 효율적인 문서 분류의 필요성이 증가하고 있다. 본 논문에서는 웹 디렉토리 내의 문서로부터 추출된 용어 집합을 기반으로 SVM을 사용하여 학습한 후 문서 분류를 수행한다. 본 실험의 문서는 정보통신 분야 디렉토리 서비스 시스템인 itfind로부터 수집된 문서를 대상으로 하였으며 3가지 시나리오에 따라 실험을 수행하여 각 시나리오 별로 재현율/정확율 및 오분류율을 성능 요소로 계산하였다. 본 실험은 학습 벡터 구성과정에서 잡음에 의해 다른 클래스의 문서 분류에 미치는 영향을 평가하여 SVM을 기반으로 한 문서 분류 기법이 강건함을 보였다.

• Journal of the Korean Society for Library and Information Science
• /
• v.43 no.1
• /
• pp.215-234
• /
• 2009

This study aims to perform an evaluation of directory services provided by major Korean search portals: Naver, Daum, Yahoo-Korea, and Empas. A directory service of Open Directory is also compared. These directory services are evaluated in terms of the coverage, category creation criteria, site selection criteria, breadth and depth of hierarchy, clarity and currency of category names, order of category listing, and overall classification system. The results of this study can be implemented for the development and improvement of portal's directory services. Users can refer to the results of this study in choosing directory services from search portals.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.1235-1238
• /
• 2005

P2P(peer-to-peer) 웹 캐슁 모델은 서버 쪽에 집중되는 트래픽을 완화시킴으로써 전통적인 웹 캐슁 모델을 보완할 수 있다는 측면에서 최근에 활발히 연구되어 왔다. P2P 웹 캐슁은 클라이언트들의 로컬 캐쉬를 활용하여 부가적인 인프라의 추가없이 캐쉬 공간이 확대되는 효과를 얻을 수 있지만, 각 클라이언트들은 독립된 피어로서의 자율성(autonomy)을 가지므로 이러한 자율성의 제한을 최소화해야한다. 본 논문에서는 피어의 자율적인 동적 참여와 로컬 캐슁 전략을 보장하여 시스템의 실행 가능성(feasibility)을 높인 환경에서 효율적인 디렉토리 기반 P2P 웹 캐슁 시스템을 제안하였다. 제안하는 P2P 웹 캐슁 시스템은 동적인 P2P 네트워크 상에서의 오브젝트의 lifetime을 예상하여 이를 저장 공간 관리(storage management)에 적용하였다. 시스템의 성능 평가를 위하여 클라이언트의 http 요청 로그 데이터셋을 이용하여 트레이스 기반(trace-driven) 실험을 수행하고, 제안하는 시스템이 기존의 시스템에 비하여 주어진 동일한 환경에서 더 높은 정확성을 가짐을 확인하였다.

• Journal of KIISE:Information Networking
• /
• v.32 no.6
• /
• pp.705-715
• /
• 2005

A peer-to-peer web caching has been studied recently as it can reduce the traffic converged on the server side and can support the traditional web caching model. Although the peer-to-peer web caching has the merit of having additional cache space from the local caches of peers without additional infrastructure, several constraints such as dynamic participation and local caching strategy caused by the autonomy of peers in peer-to-peer networks nay limit the performance of the peer-to-peer web caching. To overcome these limitations, we propose an efficient directory-based peer-to-peer web caching system under dynamic participation of peers. In the proposed caching system, we present new peer selection and replica management schemes by introducing the concept of the object lifetime in P2P networks. We evaluate the effectiveness of the proposed system through trace-driven simulations with a web log dataset. Simulation results show that the proposed system has higher accuracy and fewer redirection failures than the conventional directory-based P2P web caching system in feasible peer-to-peer networks.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.537-539
• /
• 2003

문서 범주화를 위해 자질을 선별하는 기법으로는 자질의 출현 빈도에 따라 범주를 대표하는 자질들을 선별하는 것이 일반적이다. 출현 빈도에 의한 자질을 선별하는 통계적인 기법은 문서의 내용을 대표하는 용어들의 중요도를 간과하는 문제가 발생한다. 본 논문에서는 학습 문서 및 실험 문서에서 자질의 중요도에 의해 범주 대표어를 선별하는 문서 범주화 기법을 제안하였으며, 역범주 빈도 및 카이제곱 통계량에 의해 자질을 선별하는 방법과 비교-실험을 하였다. 문서 범주화 모델로는 나이브 베이지언 확률 모델을 이용하였으며, 성능 평가를 위해서 웹 디렉토리에서 수집된 데이터를 이용하여 실험하였다. 본 논문에서 제안한 자질 중요도에 의한 자질 선별 기법은 용어의 출현 빈도 및 카이제곱 통계량에 의해 자질을 선별한 방법보다 더 나은 성능을 보였다.

• Journal of Korean Library and Information Science Society
• /
• v.45 no.3
• /
• pp.5-36
• /
• 2014

The Web is rich with various sources of information that go beyond the contents of documents, such as hyperlinks and manually classified directories of Web documents such as Yahoo. This research extends past fusion IR studies, which have repeatedly shown that combining multiple sources of evidence (i.e. fusion) can improve retrieval performance, by investigating the effects of combining three distinct retrieval approaches for Web IR: the text-based approach that leverages document texts, the link-based approach that leverages hyperlinks, and the classification-based approach that leverages Yahoo categories. Retrieval results of text-, link-, and classification-based methods were combined using variations of the linear combination formula to produce fusion results, which were compared to individual retrieval results using traditional retrieval evaluation metrics. Fusion results were also examined to ascertain the significance of overlap (i.e. the number of systems that retrieve a document) in fusion. The analysis of results suggests that the solution spaces of text-, link-, and classification-based retrieval methods are diverse enough for fusion to be beneficial while revealing important characteristics of the fusion environment, such as effects of system parameters and relationship between overlap, document ranking and relevance.

• The KIPS Transactions:PartB
• /
• v.16B no.3
• /
• pp.233-238
• /
• 2009

This paper presents an approach to the classifications of small size document using the instance-based feature filtering Relief-F algorithm. In the document classifications, we have not always good classification performances of small size document included a few features. Because total number of feature in the document set is large, but feature count of each document is very small relatively, so the similarities between documents are very low when we use general assessment of similarity and classifiers. Specially, in the cases of the classification of web document in the directory service and the classification of the sectors that cannot connect with the original file after recovery hard-disk, we have not good classification performances. Thus, we propose the Extended Relief-F(ERelief-F) algorithm using instance-based feature filtering algorithm Relief-F to solve problems of Relief-F as preprocess of classification. For the performance comparison, we tested information gain, odds ratio and Relief-F for feature filtering and getting those feature values, and used kNN and SVM classifiers. In the experimental results, the Extended Relief-F(ERelief-F) algorithm, compared with the others, performed best for all of the datasets and reduced many irrelevant features from document sets.