• 제목/요약/키워드: Download

검색결과 448건 처리시간 0.023초

오디세우스 대용량 검색 엔진을 위한 병렬 웹 크롤러의 구현 (Implementation of a Parallel Web Crawler for the Odysseus Large-Scale Search Engine)

  • 신은정;김이른;허준석;황규영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권6호
    • /
    • pp.567-581
    • /
    • 2008
  • 웹의 크기가 폭발적으로 증가함에 따라 인터넷에서 정보를 얻는 수단으로서 검색 엔진의 중요성이 부각되고 있다. 검색 엔진은 사용자에게 최신의 정보를 검색 결과로서 제공하기 위해 웹 페이지를 주기적으로 수집하고 이를 데이타베이스에 저장한다. 웹 크롤러는 이러한 목적으로 웹 페이지를 수집하는 프로그램이다. 대부분의 검색 엔진은 제한된 시간 내에 많은 수의 웹 페이지를 수집하기 위해 다수의 머신을 사용하는 병렬 웹 크롤러를 이용한다. 그러나, 병렬 웹 크롤러의 아키텍처와 세부 구현 방법이 잘 알려져 있지 않기 때문에 실제로 병렬 웹 크롤러를 구현하는 데에 어려움이 많다. 본 논문에서는 병렬 웹 크롤러(parallel web crawler)의 아키텍처와 세부 구현 방법을 제시한다. 병렬 웹 크롤러는 다수의 머신에서 웹 페이지를 병렬적으로 수집하기 위해 조정자(coordinator) 대리자(agent) 구조의 2-티어(tier) 모델을 사용한다. 조정자/대리자 모델은 각 머신에서 웹 페이지를 수집하기 위한 다수의 대리자들과 이 대리자들을 관리하기 위한 하나의 조정자로 구성된다. 병렬 웹 크롤러는 웹 페이지를 수집하기 위한 크롤링(crawling) 모듈, 수집한 웹 페이지를 데이타베이스 로딩 포맷으로 변환하기 위한 컨버팅(converting) 모듈, 수집된 웹 페이지의 중요도를 계산하기 위한 랭킹(ranking) 모듈로 구성된다. 본 논문에서는 병렬 웹 크롤러의 각 모듈들을 설명하고, 세부 구현 방법을 설명한다. 마지막으로, 실험을 통해 병렬 웹 크롤러의 성능을 평가하였다. 실험 결과, 제안된 병렬, 웹 크롤러가 수집해야할 웹 페이지 개수와 머신 개수에 따라 확장 가능함을 보였다.

N-Screen Service를 위한 HTML5 기반의 Application 설계 및 구현 (A Design and Implementation of Application based on HTML5 of N-Screen Service)

  • 김정재;서주현;최현우;이준호;김준수;조국현
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2012년도 추계학술대회
    • /
    • pp.671-674
    • /
    • 2012
  • 최근 스마트 기기가 발전함에 따라 가정 내에서 사용자의 편의성 추구를 위하여 다양한 서비스들이 제공되고 있다. 다양한 서비스들의 발달로 사용자들의 요구가 다변화 되며 요구의 정도 또한 전보다 한층 명확해지고 있다. 이러한 상황에서 사용자들의 N-Screen에 대한 요구도 다양하게 변모 되고 있으며, 그 흐름 또한 점차 진화해 나가는 실정이다. 기존의 N-Screen 시스템은 클라우드 서버로 해당 멀티미디어 콘텐츠를 모두 업로드 하여 비디오 스트리밍 방식을 사용하기 때문에 재생반응속도가 느리며, 서버의 성능에 따라 사용자수가 제한되는 문제가 발생한다. 또한 기존의 N-Screen 서비스는 웹 형태의 프로토콜을 사용하기 때문에 단방향 통신으로 수반되는 높은 지연과 오버 헤드 등의 여러 가지 문제들이 야기된다. 따라서 이러한 문제들을 해결하기 위하여 본 논문에서는 HTML5 기반의 Application을 제안한다. 제안된 시스템은 HTML5기반의 비디오 태그 (Video tag)와 프로그레시브 다운로드 (Progressive Download)를 지원하여 재생되는 멀티미디어 콘텐츠의 재생반응속도를 개선한다. 이는 비디오 스트리밍 방식에서 오는 고질적인 문제인 콘텐츠 재생반응속도와 비디오 스트리밍을 위한 콘텐츠 인코딩에서 오는 대규모 사용자의 접속제한을 해소할 수 있다. 또한 웹소켓을 통하여 기존의 N-Screen 시스템보다 낮은 지연과 양방향 소통으로 인하여 동적인 연결이 가능한 시스템을 제안한다.

  • PDF

Ad Hoc 네트워크상에서 익명성을 보장하는 방법에 관한 연구 (Provisioning Anonymous Communication in Ad Hoc Networks)

  • 강승석
    • 한국시뮬레이션학회논문지
    • /
    • 제15권1호
    • /
    • pp.77-85
    • /
    • 2006
  • 무선기기가 인터넷에 저장된 자료를 3G 통신을 이용해 내려 받는 경우, 사용자가 부담하는 비용은 인터넷에서 내려 받은 자료의 양과 비례한다. 본 논문은 무선기기(peer 라 호칭함)들이 애드 혹 네트워크를 구성하여 미리 내려 받은 자료를 다른 peer 들과 공유하는 방법을 소개한다. 예를 들어, 스포츠 경기장에서 선수나 경기에 관한 정보를 얻거나, 미술관에서 작품에 관한 내용을 공유하거나, 야외수업에서 선생님이 내려 받은 자료를 학생들이 무료로 그 내용을 공유할 수 있다. 이를 위해서는 무선기기가 3G 통신과 무선 LAN 통신이 가능해야 한다. 만약 무선기기 사용자가 다른 peer 와의 통신과정에서 익명성을 필요로 하고, 트래픽 분석(traffic analysis)을 어렵게 하고자 하는 경우, 본 논문에서는 애드 혹 네트워크 내에 있는 추가적인 두 peer를 이용하여 익명성을 보장하는 통신 방법을 기술한다. 애드 혹 네트워크에서 익명성을 제공하는 통신에 대한 모의실험을 수행한 결과, 통신시간에 대한 오버헤드가 익명성이 제공되지 않는 통신의 경우 보다 50% 이하였으며, 참여하고 있는 peer의 수가 증가하거나 peer 들이 넓은 영역에 흩어져 있는 경우 오버헤드는 더 줄어들었다.

  • PDF

이미지 및 코드분석을 활용한 보안관제 지향적 웹사이트 위·변조 탐지 시스템 (Website Falsification Detection System Based on Image and Code Analysis for Enhanced Security Monitoring and Response)

  • 김규일;최상수;박학수;고상준;송중석
    • 정보보호학회논문지
    • /
    • 제24권5호
    • /
    • pp.871-883
    • /
    • 2014
  • 최근 경제적 이윤을 목적으로 한 해킹조직들이 국가 주요 웹사이트 및 포털사이트, 금융 관련 웹사이트 등을 해킹하여 국가적 혼란을 야기 시키거나 해킹한 웹사이트에 악성코드를 설치함으로서 해당 웹사이트를 접속하는 행위만으로도 악성코드에 감염되는 이른바 'Drive by Download' 공격이 빈번하게 발생하고 있는 실정이다. 이러한 웹사이트를 공격목표로 하는 사이버 위협에 대한 대응방안으로 웹사이트 위 변조 탐지 시스템이 주목을 받고 있으며, 국내에서는 국가사이버안전센터(NCSC)를 중심으로 분야별 사이버 보안을 담당하는 부문 보안관제센터에서 해당 시스템을 구축 운영하고 있다. 그러나 기존 위 변조 탐지기술의 대부분은 위 변조 탐지 시간이 오래 걸리고 오탐율 또한 높기 때문에, 신속성 및 정확성이 중요한 보안관제 분야에서는 직접적 활용이 어렵다는 문제점을 안고 있다. 따라서 본 논문은 웹사이트 위 변조 탐지시스템의 오탐률을 최소화하고 실시간 보안관제에 활용하기 위해 이미지 및 코드 분석기반의 웹사이트 위 변조 탐지 시스템을 제안한다. 제안 시스템은 웹크롤러에 의해 비교검증의 대상이 되는 정보만을 수집하고 정규화를 통해 위 변조 판별에 영향을 미치는 이미지 및 코드를 추출하여 유사도를 분석하고 이를 시각화함으로서 보안관제요원의 직관적인 탐지 및 웹사이트 위 변조에 대한 신속성 및 정확성을 향상하는데 목적을 둔다.

최신 웹 크롤링 알고리즘 분석 및 선제적인 크롤링 기법 제안 (A proposal on a proactive crawling approach with analysis of state-of-the-art web crawling algorithms)

  • 나철원;온병원
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.43-59
    • /
    • 2019
  • 오늘날 스마트폰의 보급과 SNS의 발달로 정형/비정형 빅데이터는 기하급수적으로 증가하였다. 이러한 빅데이터를 잘 분석한다면 미래 예측도 가능할 만큼 훌륭한 정보를 얻을 수 있다. 빅데이터를 분석하기 위해서는 먼저 대용량의 데이터 수집이 필요하다. 이러한 데이터가 가장 많이 저장되어 있는 곳은 바로 웹 페이지다. 하지만 데이터의 양이 방대하기 때문에 유용한 정보를 가진 데이터가 많은 만큼 필요하지 않은 정보를 가진 데이터도 많이 존재한다. 그렇기 때문에 필요하지 않은 정보를 가진 데이터는 거르고 유용한 정보를 가진 데이터만을 수집하는 효율적인 데이터 수집의 중요성이 대두되었다. 웹 크롤러는 네트워크 대역폭, 시간적인 문제, 하드웨어적인 저장소 등의 제약으로 인해 모든 페이지를 다운로드 할 수 없다. 그렇기 때문에 원하는 내용과 관련 없는 많은 페이지들의 방문은 피하며 가능한 빠른 시간 내에 중요한 페이지만을 다운로드해야한다. 이 논문은 위와 같은 이슈의 해결을 돕고자한다. 먼저 기본적인 웹 크롤링 알고리즘들을 소개한다. 각 알고리즘마다 시간복잡도와 장단점을 설명하며 비교 및 분석한다. 다음으로 기본적인 웹 크롤링 알고리즘의 단점을 개선한 최신 웹 크롤링 알고리즘들을 소개한다. 더불어 최근 연구 흐름을 보면 감성어휘 수집과 같은 특수한 목적을 가진 웹 크롤링 알고리즘의 대한 연구가 활발히 이루어지고 있다. 특수 목적을 가진 웹 크롤링 알고리즘에 대한 연구로써 선제적인 웹 크롤링 기법으로 감성 반응 웹 크롤링(Sentiment-aware Web Crawling) 기법을 소개한다. 실험결과 데이터의 크기가 커질수록 기존방안보다 높은 성능을 보였고 데이터베이스의 저장 공간도 절약되었다.

멀웨이 공격을 예방하기 위한 스마트폰 콘텐츠 보호 기법 (Smartphone Content Security Scheme for Protect Malware Attacks)

  • 정윤수
    • 디지털융복합연구
    • /
    • 제12권4호
    • /
    • pp.327-333
    • /
    • 2014
  • 최근 스마트폰은 3G 망은 물론 Wi-Fi, Wibro 등 다양한 인터페이스를 통해 시간과 장소의 제약 없이 인터넷 뿐만 아니라 애플리케이션을 설치 및 삭제가 쉬워 점점 인기가 증가하고 있다. 그러나, 스마트폰의 보급과 활성에 따른 기존 PC에서 발생하던 보안 위협이 스마트폰에서도 발생하여 사회적으로 큰 파장을 일으키고 있다. 본 논문에서는 콘텐츠 서비스를 실시간으로 서비스하기 위해서 콘텐츠의 처음과 마지막에 전자 서명을 삽입하여 둘 중 하나의 서명이 손실되더라도 콘텐츠에 대한 인증과 부인방지를 모두 제공하는 콘텐츠 보호 기법을 제안한다. 제안 기법은 스마트폰 사용자가 콘텐츠를 안전하게 다운로드하여 설치하거나 애플리케이션을 통해 콘텐츠를 다운로드 할 경우 콘텐츠에 대한 안전한 인증을 수행한다.

실시간 행위 분석을 이용한 악성코드 유포 웹페이지 탐지 시스템에 대한 연구 (A Study on the Malicious Web Page Detection Systems using Real-Time Behavior Analysis)

  • 공익선;조재익;손태식;문종섭
    • 정보처리학회논문지C
    • /
    • 제19C권3호
    • /
    • pp.185-190
    • /
    • 2012
  • 최근 웹페이지를 통해 악성코드를 유포하는 공격 방법이 이용되면서, 인터넷을 이용하는 사용자들이 웹페이지에 접속하는 것만으로 악성코드에 감염되는 위험에 노출되어 있다. 특히 웹페이지를 통한 악성코드 유포 방법은 사용자가 인지하지 못하는 사이 악성코드를 다운로드하고 실행하게 된다. 본 논문에서는 기존의 분석서버를 이용한 탐지 방법의 한계점을 보완하기 위해, 사용자 영역에서의 실시간 행위 분석을 방법을 사용하여 정상적인 실행 흐름을 벗어난 비정상 다운로드 파일의 실행을 탐지하고 차단하는 시스템을 제안한다.

멀티미디어 콘텐츠의 안전한 유통을 위한 안드로이드 폰에 기반을 둔 보안에 관한 연구 (A Study on Multi-Media Contents Security Using Android Phone for Safety Distribution)

  • 신승수;김용영
    • 디지털융복합연구
    • /
    • 제10권6호
    • /
    • pp.231-239
    • /
    • 2012
  • 본 논문에서는 기존 WCDRM(Watermark & Cryptography DRM) 모델과 스마트카드를 이용한 모델에서 제안한 방법의 문제점을 해결하기 위해 사용자의 최소한 정보를 이용한 인증과 멀티미디어 콘텐츠에 대한 암호화, DRM(Digital Right Management), 접근제어 등의 기술을 이용하여 사용자의 정보를 보호하고, 저작권자와 배포권자, 사용자의 권리를 보호하는 콘텐츠 유통 모델을 제안하였다. 제안한 시스템은 기존 방식의 단점을 해결하였을 뿐만 아니라 네 가지 유형의 위험, 즉 타 휴대기기에서 다운로드한 콘텐츠의 사용 여부와 복호화 키에 대한 공격, 콘텐츠 유출 공격, 불법 복제 등 내부자 공격 등을 모두 방어할 수 있다는 점에서 가장 안전한 방법으로 평가되었다.

휴대 단말기상의 프로그래머블 가상 머신을 이용한 심전도(ECG) 신호 모니터링 시스템 (Remote ECG Monitoring System Using Mobile Handset with Programmable Virtual Machine)

  • 정궁;민홍기;이응혁;홍승홍
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 V
    • /
    • pp.2899-2902
    • /
    • 2003
  • Mobile communication is one of the fastest growing industries in the world and especially in Korea, where we have well over 30 million voice subscribers. Mobile communication now offers variety of data communication services such as wireless internet, multimedia messages, and color graphic displays. Handsets also have grown to accommodate such services, thus with functionalities such as programmable virtual machines that users can download and execute their own programs. In this paper, we have demonstrated a PCS handset monitoring system which can monitor biometry signals - in this case ECG over wireless internet and wireless data network (IS95C) based on programmable virtual machine architecture. The remote client handset receives data signals from a centralized server and processes and displays them in human friendly form in real time. Since every single handset on sales in Korea has programmable virtual machine and more than 10 million handsets are in distribution already, proper applications may have substantial impact on the related fields.

  • PDF

상용 PDM을 포함한 이기종 시스템 간의 제품정보 교환에 관한 연구 (A Study on Product Information Exchange between Heterogeneous Systems including Commercial PDM Systems)

  • 양태호;윤태혁;최상수;노상도
    • 한국CDE학회논문집
    • /
    • 제13권3호
    • /
    • pp.175-186
    • /
    • 2008
  • For the success to PLM in manufacturing industries, the creation, management and coordination of all product-related information are essential, and the exchange of product information and data has become an important part of the product development. In this paper, we define the neutral schema, and it refers to PLM Services. Based on this neutral schema, we develop the PLM Integrator to exchange product information and data between diverse heterogeneous systems including PDM systems. We apply the PLM Integrator developed in this paper to commercial PDM systems such as SmarTeam, Teamcenter Engineering and MEMPHIS which is a data exchange middleware system for VR applications. By implementations, exchanges of product information and data can be done without loss of information. Also, the PLM Integrator can upload and download product information, data and related files. The result of this paper can not only reduce unnecessary efforts for data exchanging between different information systems including PDM/PLM systems but also provide a collaborative environment for PLM.