• 제목/요약/키워드: internet indexing

검색결과 102건 처리시간 0.022초

웹 모니터링 시스템 구현 및 활용 방안 연구: 쇼핑몰 이용고객에 대한 응답소요시간 평가를 중심으로 (A Study on the Implementation and Practical Application of Web Monitoring System)

  • 박철제;조재균
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제16권2호
    • /
    • pp.35-49
    • /
    • 2007
  • The web monitoring is a procedure to detect and monitor the change of a particular information from the web site. In this paper, we propose a monitoring system to survey the response time for the customers chi an internet shopping mall. This system we designed, decreases the network overload and guarantees the accuracy as well as the reliability of the information by using an interactive agent. This interactive agent we constructed, is written in Java and controlled by the high-level information such as the index or the robot. from the N web site, we extracted the web monitoring results of keyword "LCD Monitor" and verified our system's efficiency. The performance of the system is tested and the result is illustrated.

  • PDF

히스토그램 기반 영상 처리를 위한 압축영역에서의 효율적인 히스토그램 추출 기법 (Effective Histogram Extraction Scheme for Histogram-Based Image Processing)

  • 박준형;엄민영;최윤식;남재열;원치선
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제55권8호
    • /
    • pp.369-374
    • /
    • 2006
  • Due to development of internet network environments and data compression techniques, the size and amount of multimedia data has greatly increased. They are compressed before transmission or storage. Dealing with these compressed data such as video retrieval or indexing requires decompression procedure in most cases. This causes additional computations and increases the processing time. In various applications a histogram is one of the most frequently used tools. Efficiency of extracting such histograms will drop down if decompression is involved. We propose a novel scheme for extracting histograms from images that are transformed into the compressed domain by 8x8 DCT(Discrete Cosine Transform). In this scheme an averaged version of original image is obtained by a simple linear combination of DCT coefficients with the sets of coefficients we designed.

An Implementation and Performance Evaluation of Fast Web Crawler with Python

  • Kim, Cheong Ghil
    • 반도체디스플레이기술학회지
    • /
    • 제18권3호
    • /
    • pp.140-143
    • /
    • 2019
  • The Internet has been expanded constantly and greatly such that we are having vast number of web pages with dynamic changes. Especially, the fast development of wireless communication technology and the wide spread of various smart devices enable information being created at speed and changed anywhere, anytime. In this situation, web crawling, also known as web scraping, which is an organized, automated computer system for systematically navigating web pages residing on the web and for automatically searching and indexing information, has been inevitably used broadly in many fields today. This paper aims to implement a prototype web crawler with Python and to improve the execution speed using threads on multicore CPU. The results of the implementation confirmed the operation with crawling reference web sites and the performance improvement by evaluating the execution speed on the different thread configurations on multicore CPU.

사물인터넷을 위한 이종의 센서 탐색 및 선택 그리고 인덱싱 기법 (Heterogeneous Sensor Search, Selection and Indexing method for Internet of Things)

  • 박예찬;정순교;염상길;손민한;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.337-338
    • /
    • 2015
  • 사물인터넷은 우리 주변에 있는 사물들이 인터넷을 통해 연결되어 다양한 서비스를 제공할 수 있는 기술로 많은 관심을 받고 있다. 각각의 센서들은 한정된 자원을 가지고 통신을 해야 하기 때문에 효율적인 에너지 소비와 신속한 정보전달이 중요하다. 이를 위해서 이종의 센서들의 정보를 찾기 위해 빠른 경로를 선택하고 탐색하는 기법을 제안한다. 제안기법은 효율적인 정보요청을 위한 인덱싱을 사용하여 이를 통해 빠르게 정보를 병합하는 방법으로 기존의 데이터 병합 방법보다 더 빠르고 효율적으로 병합을 할 수 있을 것으로 기대한다.

A Hybrid Index of Voronoi and Grid Partition for NN Search

  • Seokjin Im
    • International journal of advanced smart convergence
    • /
    • 제12권1호
    • /
    • pp.1-8
    • /
    • 2023
  • Smart IoT over high speed network and high performance smart devices explodes the ubiquitous services and applications. Nearest Neighbor(NN) query is one of the important type of queries that have to be supported for ubiquitous information services. In order to process efficiently NN queries in the wireless broadcast environment, it is important that the clients determine quickly the search space and filter out NN from the candidates containing the search space. In this paper, we propose a hybrid index of Voronoi and grid partition to provide quick search space decision and rapid filtering out NN from the candidates. Grid partition plays the role of helping quick search space decision and Voronoi partition providing the rapid filtering. We show the effectiveness of the proposed index by comparing the existing indexing schemes in the access time and tuning time. The evaluation shows the proposed index scheme makes the two performance parameters improved than the existing schemes.

n-Gram 색인화와 Support Vector Machine을 사용한 스팸메일 필터링에 대한 연구 (A study on the Filtering of Spam E-mail using n-Gram indexing and Support Vector Machine)

  • 서정우;손태식;서정택;문종섭
    • 정보보호학회논문지
    • /
    • 제14권2호
    • /
    • pp.23-33
    • /
    • 2004
  • 인터넷 환경의 급속한 발전으로 인하여 이메일을 통한 메시지 교환은 급속히 증가하고 있다. 그러나 이메일의 편리성에도 불구하고 개인이나 기업에서는 스팸메일로 인한 시간과 비용의 낭비가 크게 증가하고 있다. 이러한 스팸메일에 대한 문제들을 해결하기 위하여 많은 방법들이 연구되고 있으며, 대표적인 방법으로 키워드를 이용한 패턴매칭이나 나이의 베이지안 방식과 같은 확률을 이용한 방법들이 있다. 본 논문에서는 기존의 연구에 대한 문제점을 보완하기 위하여 패턴 분류문제에 있어서 우수한 성능을 보이는 Support Vector Machine을 사용하여 정상적인 메일과 스팸메일을 분류하는 방안을 제시하였으며, 특히 n-Gram을 사용하여 생성된 색인어와 단어사전을 학습데이터 생성에 사용함으로서 효율적인 학습을 수행하도록 하였다. 결론에서는 제안된 방법에 대한 성능을 검증하기 위하여 기존의 연구 결과와 비교함으로서 제안된 방법의 성능을 검증하였다.

체계적 분석 기법을 이용한 의미기반 이미지검색 분야 고찰에 관한 연구 (A Systematic Review on Concept-based Image Retrieval Research)

  • 정은경
    • 한국비블리아학회지
    • /
    • 제25권4호
    • /
    • pp.313-332
    • /
    • 2014
  • 디지털 기술과 인터넷의 발달로 인해 이미지 생산, 유통, 이용이 활발하게 이루어지고 있으며, 이미지 검색에 관한 연구도 증가하는 추세이다. 이미지검색 분야는 내용기반과 의미기반으로 나뉘어 연구가 수행되어왔으며, 문헌정보학 관점에서는 특히 의미기반의 색인과 검색에 주목해왔다. 본 연구는 체계적인 분석기법을 이용하여 의미기반 이미지검색 분야 연구 집적의 분석결과를 제시하고자 한다. 이를 위하여 데이터는 Web of Science 수록된 문헌정보학(Information Science/Library Science)분야의 이미지검색 논문 및 학술회의 논문 총 282건을 대상으로 하였으며, 국내 연구와 비교를 위해서는 DBpia에 수록된 문헌정보학 분야의 이미지검색 논문 35건을 수집하였다. 데이터 분석 과정은 우선 개괄적인 현황을 파악하기 위해서 서지사항을 분석하였고, 이와 함께 내용분석을 통한 체계적 분석 고찰을 수행하였다. 연구 결과 이미지 검색은 기존 연구에서 밝힌 바와 같이 의미기반 이미지 검색이 주된 흐름이며, 그 중에서도 이미지 색인과 기술 분야, 이미지 요구와 검색행태 분야의 연구가 주를 이루는 것으로 나타났다. 최근 연구 경향으로 주목할 만한 분야는 집합적 색인, 다언어/다문화 환경에서의 색인과 이미지 요구, 감정색인과 접근 등이다. 이용자 중심의 이미지 검색 연구 측면에서는 특정 이용자 그룹 중에서 대학생이나 대학원생이 주된 연구 대상 이용자 그룹이며 이 외에도 이미지를 업무에 사용하는 이용자 그룹에 대한 연구가 주된 경향이다. 최근에는 일반 이용자를 대상으로 일상생활 환경에서 이미지검색에 관한 연구가 등장하기 시작했다. 국내 연구와 비교하면, 논문의 수적인 차이를 제외하면 세부 연구 주제에 있어서 상당히 유사한 분포를 보이는 것으로 나타났다. 이러한 연구결과는 지금까지의 이미지 검색 분야의 연구 집적을 조명하며, 향후 발전적 방향을 제시하는데 있어서 도움이 될 것으로 기대한다.

멀티 비트 트리 비트맵 기반 패킷 분류 (A Multibit Tree Bitmap based Packet Classification)

  • 최병철;이정태
    • 한국통신학회논문지
    • /
    • 제29권3B호
    • /
    • pp.339-348
    • /
    • 2004
  • 패킷 분류근 인터넷 망에서 QoS(Quality of Service)보장, VPN(Virtual Private Network)등과 같은 사용자들의 다양한 서비스를 수용하기 위한 중요한 요소이다. 패킷 헤더는 기본적으로 IP(Internet Protocol) 패킷 헤더 내의 목적지 주소뿐만 아니라 발신지 주소, 프로토콜, TCP(Transmission Control Protocol)포트 번호 등 여러 필드들을 조합하여 룰 테이블로부터 best matching 룰을 찾는 것이다. 본 논문에서는 멀티 비트 트라이 구조의 트리 비트맵을 이용하여 하드웨어적인 룰 검색이 가능한 패킷 분류 기법을 제안한다. 검색 대상 필드 및 패킷 분류 룰을 구성하는 프레픽스를 비교 단위가 되는 일정한 비트 크기의 멀티 비트로 나누고, 이와 같이 구분된 멀티 비트 단위로 트리 비트맵 기반의 룰 검색 기능을 수행한다. 제안한 기법은 프레픽스의 일정한 상위 비트들에 대해서는 인덱싱 키로 사용하여 룰 검색을 위한 메모리 액세스 횟수를 줄이도록 하였다. 또한 룰 검색시 성능 저하를 초래하는 백트랙킹이 발생하지 않도록 하기 위하여 룰 테이블 구축시 마커 프레픽스에 대한 처리 기법을 제안하였다 그리고 본 논문에서는 IPMA(Internet Performance Measurement Analysis) 프로젝트에서 제공하는 라우팅 테이블의 프레픽스들을 이용하여 2차원 즉, 목적지 주소와 발신지 주소의 2필드로 구성되는 랜덤 룰 셋을 생성하고 제안한 기법에 대한 메모리 소요량 및 성능 비교를 하였다.

지오센서 네트워크의 다중 공간질의 최적화를 위한 공간질의처리비용 예측 알고리즘 연구 (A Study on Cost Estimation of Spatial Query Processing for Multiple Spatial Query Optimization in GeoSensor Networks)

  • 김민수;장인성;이기준
    • Spatial Information Research
    • /
    • 제21권2호
    • /
    • pp.23-33
    • /
    • 2013
  • 최근 IoT (Internet of Things) 기술의 발전과 더불어 무선 환경에서 특정 영역에 위치하는 센서노드의 위치-센서정보를 에너지 효율적으로 수집하는 센서 네트워크 기반 공간질의처리에 대한 관심이 크게 증가하고 있다. 그리하여 센서노드에서 공간 필터링을 직접 수행하여 센서노드들 간의 통신 횟수를 감소시켜 에너지 소모를 최소화하는 다양한 공간질의처리 알고리즘 및 분산 공간색인방법들이 제안되어 왔다. 그러나 단일 공간질의처리 최적화에 중점을 두었던 기존 공간색인방법 및 알고리즘들은 IoT 환경에서 다수 사용자에 의하여 요청되는 다중 공간질의를 최적화하여 수행하기에는 한계가 있었다. 이에 본 논문에서는 센서 네트워크에서 다중 공간질의를 에너지 효율적으로 처리할 수 있는 최적화 알고리즘을 제안하고 있다. 제안된 다중 공간질의 최적화 알고리즘은 인접 영역에 주어지는 공간질의들을 통합하여 수행하는 '질의통합' 개념을 기본으로 하고 있다. 최적화 과정에서 질의들의 통합 또는 개별 수행에 대한 판단은 각 수행비용을 예측하여 결정하며, 본 논문에서는 질의처리 비용 예측 방법을 추가적으로 제안하고 있다. 끝으로, 성능평가에서는 GR-tree, SPIX, CPS의 공간색인방법에 대한 비교 실험을 통하여 제안된 알고리즘의 성능 분석결과를 제시하고 있다.

XML 컴포넌트 명세서 기반의 컴포넌트 검색 기법 (A Search Method for Components Based-on XML Component Specification)

  • 박서영;신영길;우치수
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권2호
    • /
    • pp.180-192
    • /
    • 2000
  • 최근 들어 컴포넌트는 소프트웨어 재사용의 핵심 기술로 인식되고 있다. 컴포넌트는 인터페이스 부분만을 이용하여 개발되는 소프트웨어에 바로 바인딩시켜 재사용될 수 있는 독립적인 바이너리 코드이다. 많은 컴포넌트 사용자들이 인터넷 상에서 적합한 컴포넌트를 검색하고 사용할 수 있도록, 컴포넌트 명세서는 웹 문서 형태를 사용하는 것이 바람직하다. 기존의 HTML 웹 문서 기반의 검색 엔진을 통하여 컴포넌트를 검색할 때 정확한 의미 검색이 불가능하다는 문제점이 있다. 본 논문에서는 정확한 의미 검색을 수행할 수 있도록 컴포넌트 명세서를 HTML 문서 대신 XML 문서로 사용할 것을 제안한다. 또한, XML 컴포넌트 명세서를 통하여 사용자가 원하는 컴포넌트를 정확하게 검색할 수 있는 XML 문맥 기반 검색(context-based search)을 제안한다. 문맥 기반 검색은 컴포넌트의 특성을 나타내는 문맥(context)과 컴포넌트 특성의 실제 값인 용어(term)를 사용하여 사용자가 원하는 컴포넌트의 특성을 정확하게 질의하고 검색할 수 있는 방법이다. 이 검색 방법은 용어-문맥-컴포넌트 명세서 순으로 된 역화일 인덱싱 (Inverted File Indexing) 방법을 사용한다. 이와 함께 사용자의 편의를 위하여, 기존의 소프트웨어 재사용 라이브러리에서 사용되던 검색 방법인 키워드 검색, 퍼싯 검색, 브라우징 검색 방법 등을 지원한다. 이들 다양한 검색 방법들은 인터페이스 레이어, 질의 확장 레이어, XML 검색 엔진 레이어 등 3-레이어 검색엔진 구조를 통한 효율적인 인덱스 스킴에 의해 지원된다. 본 논문에서는 컴포넌트 사용자들이 원하는 컴포넌트를 정확하게 검색할 수 있도록 하기 위하여 컴포넌트 명세서를 대한 XML DTD(Document Type Definition)를 정의하고, HTML 기반 검색 방법과 XML 기반 검색 방법에 대한 컴포넌트 검색 성능을 비교한다.

  • PDF