• 제목/요약/키워드: Web of Data

검색결과 5,528건 처리시간 0.037초

웹 서버 성능 가속기 (Web-server accelerator - CDA(Contents Delivery Accelerator))

  • 조준우;최현진;박규호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.73-76
    • /
    • 2003
  • Current web-server deals a multimedia data as well as text data. But dealing a multimedia data is high burden to web-server. So it can degrade web-server response. We introduce H/W feature CDA (Contents Delivery Accelerator). Main function of this H/W is transferring data between SCSI disk and NIC by direct path, and TCP offloading. These 2 functions can accelerate web-server performance. In this paper we will explain problem of current web-server and suggest our new architecture and say various implementation issues.

  • PDF

동기화된 협동을 지원하기 위한 능동형 웹 서버 설계 (A Design of the Active Web Server Supporting Synchronous Collaboration in the Web-Based Groupware Systems)

  • 허순영;배경일
    • 한국경영과학회지
    • /
    • 제24권4호
    • /
    • pp.157-170
    • /
    • 1999
  • The web-based groupware systems hold many possibilities for system developers and users. Especially, web-based group collaborative systems are emerging as enterprise-wide information systems. Since data in group collaborative systems are apt to be shared among multiple concurrent users and modified simutaneously by them, the web-based group collaborative systems must support synchronous collaboration in order to provide users with synchronized and consistent views of shared data. However, current web technologies have limitations in supporting this, largely because the existing Hypertext Transfer Protocol(HTTP) is unidirectional and does not allow web servers to send messages to their web browsers without first receiving requests from them. This paper proposes an active web server that can overcome such limitations and facilitate synchronous collaboration in web-based group collaborative systems. To accomplish such goals, the active web server manages dependency relationships beween shared data and web browsers referencing them and actively propagates changing details of the shared data to all web browsers referencing them. And, this paper examines usefulness and effectiveness of the active web server to apply it to the ball-bearing design example of concurrent engineering design systems. The prototype system of the active web server is developed on a commercial Object-oriented Database Management System(0DBMS) called OBJECTSTERE using the C++ programming language.

  • PDF

웹크롤러의 수집주기 최적화 (Refresh Cycle Optimization for Web Crawlers)

  • 조완섭;이정은;최치환
    • 한국콘텐츠학회논문지
    • /
    • 제13권6호
    • /
    • pp.30-39
    • /
    • 2013
  • 웹 크롤러는 서버의 부담을 최소화하면서도 최신의 데이터를 웹사이트로부터 수집하고 유지해야 한다. 빅데이터 시대와 같이 데이터가 폭발적으로 증가하는 시대에 데이터 소스로부터 자주 모든 데이터를 추출하는 것은 서버에 심각한 부담을 주게 된다. 무선통신 기술과 다양한 스마트 기기들의 확산으로 정보가 급속도로 생성되고 있으며, 어디에서나 어느 시간이나 지속적으로 생성 및 변경되고 있다. 웹크롤러는 이러한 상황을 감안하여 최신의 정보를 적은 오버헤드로 유지해 나가는 것이 중요한 이슈로 부각되고 있다. 본 논문에서는 웹사이트의 변경사항을 체크할 수 있는 효과적인 방안과 웹사이트의 수집 주기를 동적으로 변경함으로써 적은 비용으로 최신성을 유지할 수 있는 방안을 제시한다. 핵심 아이디어는 과거 히스토리로부터 웹사이트 변경이 집중되는 시간을 파악하여 웹수집 주기를 결정하는데 반영한다는 점이다. 논문에서는 특정 웹사이트의 데이터를 추출하는 Java 크롤러를 개발하고, 제안된 방식과 기존 방식의 유용성을 비교하였다. 제안된 기법을 사용하면 정적인 방식보다 서버 오버헤드를 절반정도(46.2%)로 줄이면서도 최신성을 더욱 높게 보장할 수 있게 된다.

웹 기반 제품정보관리 교육 서비스 (A Web Based Training Service for Product Data Management)

  • 도남철
    • 한국CDE학회논문집
    • /
    • 제9권3호
    • /
    • pp.260-265
    • /
    • 2004
  • This paper proposed a Web-based training service for product data management by supporting an integrated product data management system, various technical documents. and efficient communication systems. It also supports a general product development process and a consistent product data model that enable participants to experience management of consistent product information during the product development life cycle. The Web based environment of the service also provides participants with a collaborative workplace with other participants and a Web portal for all the components of the service.

Interoperability of Spatial Data through Open Web Map Server

  • Cho, D.S.;Jang, I.S.;Min, K.W.;Park, J.H.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.488-490
    • /
    • 2003
  • Over the past few years, a number of studies have been made on web map services, which enable the GIS user to access spatial data through the web. They, however, have focused on only implementation techniques separately, such as map client implementation, map server implementation, communication between client and server, and the map data representation. Therefore, it is hard to share and practical use the spatial data, because they does not ensure interoperability in heterogeneous map servers. In this paper, we have designed and implemented the web map server with open architecture, which complies with the standard interfaces proposed by OpenGIS Consortium (OGC). In particular, we have extended the OGC’s interfaces for a map server to support one or more data sources. This paper has contributed to construction and practical use of web map services by newly proposing the method of implementation of a map server, which could be reused regardless of the types of data sources.

  • PDF

정형 및 비정형 데이터 수집을 위한 웹 크롤러 시스템 설계 및 구현 (Design and Implementation of a Web Crawler System for Collection of Structured and Unstructured Data)

  • 배성원;이현동;조대수
    • 한국멀티미디어학회논문지
    • /
    • 제21권2호
    • /
    • pp.199-209
    • /
    • 2018
  • Recently, services provided to consumers are increasingly being combined with big data such as low-priced shopping, customized advertisement, and product recommendation. With the increasing importance of big data, the web crawler that collects data from the web has also become important. However, there are two problems with existing web crawlers. First, if the URL is hidden from the link, it can not be accessed by the URL. The second is the inefficiency of fetching more data than the user wants. Therefore, in this paper, through the Casper.js which can control the DOM in the headless brwoser, DOM event is generated by accessing the URL to the hidden link. We also propose an intelligent web crawler system that allows users to make steps to fine-tune both Structured and unstructured data to bring only the data they want. Finally, we show the superiority of the proposed crawler system through the performance evaluation results of the existing web crawler and the proposed web crawler.

A Study of Web Usage Mining for eCRM

  • Hyuncheol Kang;Jung, Byoung-Cheol
    • Communications for Statistical Applications and Methods
    • /
    • 제8권3호
    • /
    • pp.831-840
    • /
    • 2001
  • In this study, We introduce the process of web usage mining, which has lately attracted considerable attention with the fast diffusion of world wide web, and explain the web log data, which Is the main subject of web usage mining. Also, we illustrate some real examples of analysis for web log data and look into practical application of web usage mining for eCRM.

  • PDF

최신 웹 크롤링 알고리즘 분석 및 선제적인 크롤링 기법 제안 (A proposal on a proactive crawling approach with analysis of state-of-the-art web crawling algorithms)

  • 나철원;온병원
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.43-59
    • /
    • 2019
  • 오늘날 스마트폰의 보급과 SNS의 발달로 정형/비정형 빅데이터는 기하급수적으로 증가하였다. 이러한 빅데이터를 잘 분석한다면 미래 예측도 가능할 만큼 훌륭한 정보를 얻을 수 있다. 빅데이터를 분석하기 위해서는 먼저 대용량의 데이터 수집이 필요하다. 이러한 데이터가 가장 많이 저장되어 있는 곳은 바로 웹 페이지다. 하지만 데이터의 양이 방대하기 때문에 유용한 정보를 가진 데이터가 많은 만큼 필요하지 않은 정보를 가진 데이터도 많이 존재한다. 그렇기 때문에 필요하지 않은 정보를 가진 데이터는 거르고 유용한 정보를 가진 데이터만을 수집하는 효율적인 데이터 수집의 중요성이 대두되었다. 웹 크롤러는 네트워크 대역폭, 시간적인 문제, 하드웨어적인 저장소 등의 제약으로 인해 모든 페이지를 다운로드 할 수 없다. 그렇기 때문에 원하는 내용과 관련 없는 많은 페이지들의 방문은 피하며 가능한 빠른 시간 내에 중요한 페이지만을 다운로드해야한다. 이 논문은 위와 같은 이슈의 해결을 돕고자한다. 먼저 기본적인 웹 크롤링 알고리즘들을 소개한다. 각 알고리즘마다 시간복잡도와 장단점을 설명하며 비교 및 분석한다. 다음으로 기본적인 웹 크롤링 알고리즘의 단점을 개선한 최신 웹 크롤링 알고리즘들을 소개한다. 더불어 최근 연구 흐름을 보면 감성어휘 수집과 같은 특수한 목적을 가진 웹 크롤링 알고리즘의 대한 연구가 활발히 이루어지고 있다. 특수 목적을 가진 웹 크롤링 알고리즘에 대한 연구로써 선제적인 웹 크롤링 기법으로 감성 반응 웹 크롤링(Sentiment-aware Web Crawling) 기법을 소개한다. 실험결과 데이터의 크기가 커질수록 기존방안보다 높은 성능을 보였고 데이터베이스의 저장 공간도 절약되었다.

A Study of the Reliability of Web Services using Client Sides Errors

  • Lee, Sang-Bock;Kim, Mal-Suk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권2호
    • /
    • pp.217-221
    • /
    • 2003
  • Modeling the reliability of distributed systems requires a good understanding the reliability of the components. For thousands of web users, competitiveness in web services means a successful presence on the web. Failure rates for the presence of a web site are considered on client sides errors using RFC2068. Data were collected from some host via the internet.

  • PDF

Mean Time Between Failures of Web Services on SOAP/HTTP

  • Lee, Sang-Bock
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권3호
    • /
    • pp.553-559
    • /
    • 2003
  • The reliability modeling of distributed systems requires a good understanding the reliability of the components. For thousands of web users, competitiveness in web services means a successful presence on the web. Mean time between failures of a web site on SOAP12/HTTP is considered, where SOAP12 is a protocol intended for exchanging structured information in a decentralized, distrbuted environment. Data were collected from statlab.cam.ac.uk/webstat/stat.html via the internet.

  • PDF