Journal of the Korea Institute of Information and Communication Engineering (한국정보통신학회논문지)

The Korea Institute of Information and Commucation Engineering (한국정보통신학회)
권호 표지
DOI QR코드

DOI QR Code

Crawling algorithm design and experiment for automatic deep web document collection

심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험

  • Received : 2022.11.24
  • Accepted : 2022.12.15
  • Published : 2023.01.31
Download PDF
⟨ Previous Next ⟩

Abstract

Deep web collection means entering a query in a search form and collecting response results. It is estimated that the information possessed by the deep web has about 450 to 550 times more information than the statically constructed surface web. The static method does not show the changed information until the web page is refreshed, but the dynamic web page method updates the necessary information in real time and provides real-time information without reloading the web page, but crawler has difficulty accessing the updated information. Therefore, there is a need for a way to automatically collect information on these deep webs using a crawler. Therefore, this paper proposes a method of utilizing scripts as general links, and for this purpose, an algorithm that can utilize client scripts like regular URLs is proposed and experimented. The proposed algorithm focused on collecting web information by menu navigation and script execution instead of the usual method of entering data into search forms.

심층 웹 수집은 검색 양식에 질의어를 입력하고 응답 결과를 수집하는 것을 의미한다. 심층 웹이 가진 정보는 정적으로 구성되는 표면 웹보다 약 450~550배 이상의 정보를 가지고 있을 것으로 추산한다. 정적인 방식에서는 웹페이지가 새로 고쳐지기 전까지 변화된 정보를 보여주지 못한다. 동적 웹페이지 방식은 실시간으로 필요한 정보가 갱신되어 웹페이지를 새로 불러오지 않아도 실시간 정보 제공이 가능한 장점이 있지만, 일반적인 크롤러는 갱신된 정보에 접근하는 데 어려움이 있다. 따라서 이들 심층 웹에 있는 정보들을 크롤러를 이용해 자동으로 수집할 방안이 필요하다. 이에 본 논문은 스크립트를 일반적인 링크로 활용하는 방법을 제안하였으며, 이를 위해 클라이언트 스크립트를 일반 URL처럼 활용이 가능한 알고리즘을 제안하고 실험하였다. 제안된 알고리즘은, 검색 양식에 데이터를 입력하는 일반적인 방법 대신 메뉴 탐색 및 스크립트 실행으로 웹 정보를 수집하는 데 중점을 두었다.

Keywords

Acknowledgement

This paper was supported by Wonkwang University in 2021.

References

  1. I. Hernandez, C. R. Rivero, and D. Ruiz "Deep Web crawling: a survey," World Wide Web, vol. 22, pp. 1577-1610, May 2019. DOI: 10.1007/s11280-018-0602-1.
  2. White Paper: The Deep Web: Surfacing Hidden Value [Internet]. Available: https://quod.lib.umich.edu/j/jep/3336451.0007.104?view=text;rgn=main.
  3. M. A. Kausar, V. S. Dhaka, and S. K. Singh, "Web Crawler: A Review," International Journal of Computer Applications, vol. 63, pp. 31-36, Feb. 2013. DOI: 10.5120/10440-5125.
  4. B. Ahuja, A. Anuradha, and A. Ashish, "Hidden Web Data Extraction Tools," International Journal of Computer Applications, vol. 82, no. 15, pp. 9-15, Nov. 2013. DOI: 10.5120/14238-2377.
  5. M. Alvarez, J. Raposo, A. Pan, F. Cacheda, F. Bellas, and V. Carneiro, "DeepBot: a focused crawler for accessing hidden web content," in Proceedings of the 3rd international workshop on Data enginering issues in E-commerce and services: In conjunction with ACM Conference on Electronic Commerce, San Diego: CA, USA, pp. 18-25, 2007. DOI: 10.1145/1278380.1278385.
  6. S. Raghavan and H. Garcia-Molina, "Crawling the Hidden Web," in Proceedings of 27th International Conference on Very Large Data Bases (VLDB 2001), Rome, Italy, pp. 129-138, 2001.
  7. J. Edwards, K. McCurley, and J. Tomlin, "An adaptive model for optimizing performance of an incremental web crawler," in Proceedings of the 10th international conference on World Wide Web, HongKong, pp.106-113, 2001. DOI: 10.1145/371920.371960.
  8. H. Oh, D. Won, C. Kim, S. Park, and Y. Kim, "Design and implementation of crawling algorithm to collect deep web information for web archiving," Data Technologies and Applications, vol. 52, no. 2, pp. 266-277, Mar. 2018. DOI: 10.1108/DTA-07-2017-0053.
  9. Beautiful Soup [Internet]. Available: https://www.crummy.com/software/BeautifulSoup/bs4/doc/.
  10. ChromeDriver [Internet]. Available: https://chromedriver.chromium.org.
  11. MongoDB [Internet]. Available: https://www.mongodb.com/.
  12. WordCloud [Internet]. Available: https://pypi.org/project/wordcloud/.