• 한국정보통신학회논문지
• /
• 제21권1호
• /
• pp.17-28
• /
• 2017

최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

• Journal of Computing Science and Engineering
• /
• 제7권3호
• /
• pp.147-158
• /
• 2013

This invited paper introduces results on Web science and technology obtained during work with the Korea Advanced Institute of Science and Technology. In the first part, we discuss algorithms for exploring the deep Web, which refers to the collection of Web pages that cannot be reached by conventional Web crawlers. In the second part, we discuss sorting algorithms on the MapReduce system, which has become a dominant paradigm for massive parallel computing.

• 지식경영연구
• /
• 제19권1호
• /
• pp.119-132
• /
• 2018

Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large data analysis computing platform using open source with low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.

• Journal of Computing Science and Engineering
• /
• 제8권4호
• /
• pp.181-186
• /
• 2014

Web data mining aims at discovering useful knowledge from various Web resources. There is a growing trend among companies, organizations, and individuals alike of gathering information through Web data mining to utilize that information in their best interest. In science, cloud computing is a synonym for distributed computing over a network; cloud computing relies on the sharing of resources to achieve coherence and economies of scale, similar to a utility over a network, and means the ability to run a program or application on many connected computers at the same time. In this paper, we propose a new system framework based on the Hadoop platform to realize the collection of useful information of Web resources. The system framework is based on the Map/Reduce programming model of cloud computing. We propose a new data mining algorithm to be used in this system framework. Finally, we prove the feasibility of this approach by simulation experiment.

• 한국정보통신학회논문지
• /
• 제27권1호
• /
• pp.1-7
• /
• 2023

심층 웹 수집은 검색 양식에 질의어를 입력하고 응답 결과를 수집하는 것을 의미한다. 심층 웹이 가진 정보는 정적으로 구성되는 표면 웹보다 약 450~550배 이상의 정보를 가지고 있을 것으로 추산한다. 정적인 방식에서는 웹페이지가 새로 고쳐지기 전까지 변화된 정보를 보여주지 못한다. 동적 웹페이지 방식은 실시간으로 필요한 정보가 갱신되어 웹페이지를 새로 불러오지 않아도 실시간 정보 제공이 가능한 장점이 있지만, 일반적인 크롤러는 갱신된 정보에 접근하는 데 어려움이 있다. 따라서 이들 심층 웹에 있는 정보들을 크롤러를 이용해 자동으로 수집할 방안이 필요하다. 이에 본 논문은 스크립트를 일반적인 링크로 활용하는 방법을 제안하였으며, 이를 위해 클라이언트 스크립트를 일반 URL처럼 활용이 가능한 알고리즘을 제안하고 실험하였다. 제안된 알고리즘은, 검색 양식에 데이터를 입력하는 일반적인 방법 대신 메뉴 탐색 및 스크립트 실행으로 웹 정보를 수집하는 데 중점을 두었다.

• 한국학교수학회논문집
• /
• 제8권2호
• /
• pp.167-181
• /
• 2005

통계학을 좀 더 쉽게 이해하며 흥미를 가지고 접근할 수 있도록 하기 위해 다양한 통계교육 방법의 연구가 계속되어지고 있다. 그러나 동계교육에 있어서 항상 겪는 어려운 점 중의 하나는 학생들이 쉽게 받아들일 수 있는 실제 자료가 많지 않다는 것이다. 이는 학생들에게 통계학을 현실과 전혀 관계없는 학문으로 인식시키며 학습 의욕을 저하시키고 통계학을 재미없는 학문으로 인식하게 되는 부정적 결과를 낳게 하였다. 본 연구에서는 웹과 데이터베이스를 활용한 자료 수집 및 공유 프로그램을 활용하여 수업에서 현실감 있고 학생들과 관련이 높은 자료를 활용할 수 있도록 하고 엑셀을 활용하여 학생들이 통계학의 개념과 응용에 더 집중할 수 있는 통계교육 수업방안을 제안한다.

• 서비스연구
• /
• 제5권2호
• /
• pp.83-92
• /
• 2015

웹 상에는 수 많은 데이터가 존재하고 있지만 원하는 데이터를 수집하여 서비스 제공을 위한 콘텐츠로 가공해 내는 것은 쉽지 않다. 그 이유 중 하나가 바로 표준화된 데이터 제공 방식이 없기 때문이다. 따라서 사이트 콘텐츠의 일부 또는 전체를 다른 서비스에서 이용할 수 있도록 해주는 콘텐츠 신디케이션은 매우 중요하다고 볼 수 있다. 콘텐츠 신디케이션의 대표적 포맷으로 XML에 기반한 RSS와 Atom, OPML 등이 있다. 이러한 신디케이션 포맷에서 제공하는 링크를 통틀어 피드 주소라고 한다. 피드 주소를 이용하면 기존 HTML을 파싱하는 것 보다 빠르게 데이터를 수집할 수 있고 데이터 제공자는 간편하게 데이터를 외부로 제공할 수 있다는 장점이 있다. 본 논문에서는 피드 주소를 기반으로 하는 웹 데이터 수집 시스템을 구현하여 수집하여 얻은 데이터를 바탕으로 해당 데이터를 가공하고 활용하는 방법을 제안하였다.

• 한국멀티미디어학회논문지
• /
• 제21권2호
• /
• pp.199-209
• /
• 2018

Recently, services provided to consumers are increasingly being combined with big data such as low-priced shopping, customized advertisement, and product recommendation. With the increasing importance of big data, the web crawler that collects data from the web has also become important. However, there are two problems with existing web crawlers. First, if the URL is hidden from the link, it can not be accessed by the URL. The second is the inefficiency of fetching more data than the user wants. Therefore, in this paper, through the Casper.js which can control the DOM in the headless brwoser, DOM event is generated by accessing the URL to the hidden link. We also propose an intelligent web crawler system that allows users to make steps to fine-tune both Structured and unstructured data to bring only the data they want. Finally, we show the superiority of the proposed crawler system through the performance evaluation results of the existing web crawler and the proposed web crawler.

• 한국멀티미디어학회논문지
• /
• 제10권11호
• /
• pp.1496-1506
• /
• 2007

기존의 웹 서비스가 정적이고 수동적인데 반해 최근의 웹 서비스는 점차 동적이고 능동적으로 변화하고 있는데, 이러한 웹 서비스 변화의 흐름을 잘 반영하는 것이 웹 2.0이다. 웹 2.0의 특징은 사용자가 능동적으로 참여하여 정보를 생산하는 것인데, 이렇게 되면, 생산되는 정보의 양이 지속적으로 증가하게 되므로 더 빠르고 정확한 정보를 공유할 필요가 있다. 이러한 필요성을 충족시키는 기술이 웹 2.0의 웹 신디케이션 기술과 태그 기술이다. 웹 신디케이션은 웹 사이트의 내용을 다른 사이트나 사용자가 받아볼 수 있도록 피드를 만든다. 태그는 정보의 핵심이 되는 단어로, 여러 인터넷 사용자들이 태그를 통한 검색으로 좀 더 빠른 정보의 공유를 가능하게 한다. 이 논문에서는 웹 2.0의 핵심 기술인 웹 신디케이션과 태그의 활용을 높이기 위한 방법으로 데이터 수집 엔진을 만들어 데이터를 효율적으로 관리하는 기법을 제안하였다. 데이터 수집 엔진은 데이터베이스에 저장된 사용자의 웹 사이트 정보를 이용하여 사용자의 웹 사이트에 접속하여 업데이트된 데이터를 수집한다. 이 논문에서 제안한 데이터 수집 엔진을 사용하여 실험한 결과 기존의 기법에 비해 검색 속도가 최대 3.14배 향상되었고, 연관 태그를 구성하는데 사용되는 데이터 건수가 최대 66%까지 감소함을 확인할 수 있었다.

• 한국정보과학회논문지:데이타베이스
• /
• 제28권3호
• /
• pp.406-417
• /
• 2001

웹에서의 멀티미디어 데이터베이스가 발달함에 따라 분산 멀티미디어 데이터에 대한 검색 기능의 필요성이 높아지고 있다. 그러나 지금까지는 주로 웹상에 분산된 텍스트 데이터베이스를 선택하고 선택된 텍스트 데이터베이스에 대해소 질의 결과를 결합하는 연구가 이루어졌을 뿐 멀티미디어 데이터베이스에 대해서는 연구가 미진하였다. 웹상의 멀티미디어 데이터베이스는 자율적이고 이질적인 특성을 가지고 있고 주로 내용 기반으로 검색된다. 멀티미디어 데이터베이스에서의 수집 융합 문제는 웹상의 이질적인 멀티미디어 데이터베이스에서 내용 기반 검색으로 검색된 경과를 병합하는 것을 다룬다. 이 문제는 분산 멀티미디어 데이터베이스의 검색에 매우 중요하지만 아직까지 연구된 바가 없다. 본 논문은 웹상에서 이질적인 멀티미디어 데이터베이스의 수집 융합을 처리하는 새로운 알고리즘을 제안한다. 본 논문은 데이터베이스에서 검색할 객체의 개수를 추정하는 휴리스틱 방법과 선형 회귀분석을 이용한 알고리즘을 사용한다. 그리고 실험에 의해서 이 알고리즘들의 효율성을 보였다. 이 알고리즘들은 향후 웹상의 멀티미디어 데이터베이스들에 대한 분산 내용 기반 검색 알고리즘들의 기본이 될 수 있다.