Journal of Korean Society of Archives and Records Management (한국기록관리학회지)

Korean Society of Archives and Records Management (한국기록관리학회)
권호 표지
DOI QR코드

DOI QR Code

The Development of Automatic Collection Method to Collect Information Resources for Wed Archiving: With Focus on Disaster Safety Information

웹 아카이빙을 위한 정보자원의 자동수집방법 개발 - 재난안전정보를 중심으로 -

  • 이수진 (전북대학교 기록관리학과 대학원) ;
  • 한희영 (전북대학교 기록관리학과 대학원) ;
  • 심민정 (전북대학교 기록관리학과 대학원) ;
  • 원동현 (전북대학교 재난정보표준화사업단) ;
  • 김용 (전북대학교 문헌정보학과, 문화융복합 아카이빙연구소)
  • Received : 2017.07.24
  • Accepted : 2017.11.20
  • Published : 2017.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study aims to provide the efficient sharing and utilization method of disasters scattered by each institution and develop automated collection algorithm using web crawler for disaster information in deep web accounts. To achieve these goals, this study analyzes the logical structure of the deep web and develops algorithms to collect the information. With the proposed automatic algorithm, it is expected that disaster management will be helped by sharing and utilizing disaster safety information.

본 연구는 각 기관별로 산재되어 있는 재난안전정보의 효율적인 공유 및 활용과 일반 이용자들의 재난안전정보의 접근성 향상을 위하여 웹 크롤러를 활용한 자동수집방안을 제시하고자 한다. 그러나 현재 웹은 심층 웹이 대부분을 차지하고 있어 일반적인 아카이빙 전략에 사용되는 크롤러로 수집이 불가능하다. 이에 따라 본 연구에서는 심층 웹의 논리적 구조를 분석하여 정보 자원을 수집할 수 있는 알고리즘을 개발하고 실제 크롤러를 구현하였다. 이를 통해 재난안전정보의 자동수집을 수행하였고 이는 재난안전정보의 공유 및 활용으로 효율적인 재난 업무에 도움을 줄 것으로 예상된다. 나아가 본 연구에서 구현한 크롤러의 범용화를 통해 심층 웹 형태의 정보 자원을 자동수집할 수 있다는 점에 의의가 있다.

Keywords

References

  1. 김광영, 이원구, 이민호, 윤화목, 신성호 (2011). 웹 자원 아카이빙을 위한 웹 크롤러 연구 개발. 한국콘텐츠학회논문지, 11(9), 9-16.(Kim, Kwang-Young, Lee, Won-Goo, Lee, Min-Ho, Yoon, Hwa-Mook, & Shin, Sung-Ho (2011). Development of web crawler for archiving web resources. Journal of the Korea Contents Association, 11(9), 9-16.) https://doi.org/10.5392/JKCA.2011.11.9.009
  2. 김용섭 (2016). 재난 및 안전 관리 법제의 현황과 법정책적 과제. 행정법연구, 45, 51-79.(Kim, Yong-Sup (2016). Status of Disasters and Safety Management Legislation and its Legal and Policy Issues. Administrative Law Journal, 45, 51-79.)
  3. 김유승 (2008). 복합적 웹 아카이빙 정책에 관한 고찰: 프랑스국립도서관의 사례를 중심으로. 한국문헌정보학회지, 42(4), 159-179.(Kim, You-Seung (2008). A Study of Combined Web Archiving Policy: BnF's Three Layers Web Archiving Strategy. Journal of the Korea Social for Library and Information Science, 42(4), 159-179.) https://doi.org/10.4275/KSLIS.2008.42.4.159
  4. 김정심 (2008). 행정부처 웹 사이트의 아카이빙 방안에 관한 연구. 석사학위논문. 중앙대학교 대학원, 기록물관리학과.(Kim, Jung-Sim (2008). The Plan Research of Administration Ministries and Offices Website Archiving. Master's Thesis. Major of Records and Archives Management, Chung-Ang University. Seoul.)
  5. 김희정 (2011). 웹 아카이빙 도구 비교분석 연구. 제 18회 한국정보관리학회 학술대회 논문집, 95-98.(Kim, Hee-jung (2011). Comparative Analysis of Web Archiving Tools. Korea Society for Information Management Conference Proceeding, 95-98.)
  6. 류상일, 안혜원 (2007). 네트워크를 통한 효율적 재난대응체계 구축. 한국콘텐츠학회논문지, 7(2), 170-179.(Ryu, Sang-ll & Ahn, Hye-Won (2007). Improving Disaster Response System Using Network: Focused on Korea and Japan's Disaster Cases. Journal of the Korea Contents Association, 7(2), 170-179.) https://doi.org/10.5392/JKCA.2007.7.2.170
  7. 박병식 (2008). 민간부문 재난관리 대응체제의 실태와 구축방안. 한국정책과학학회보, 12(4), 203-226.(Park, Byoung Silk (2008). The Reality of Private Sector for Disaster Management and the Response System Construction: In the Focus of Busan Disaster Safe Network. Korean Policy Science Review, 12(4), 203-226.)
  8. 서혜란 (2004). 웹 아카이빙의 성과와 과제. 한국비블리아, 15(1), 5-22.(Suh, Hye-Ran (2004). Web archiving: What we have done and what we should do. Journal of the Korean Biblia Society for Library and Information Science, 15(1), 5-22.)
  9. 성시애 (2009). 중앙행정기관의 웹 기록물 수집방안에 관한 연구. 석사학위논문. 중앙대학교 대학원, 기록관리학과.(Seong, Si-Ae (2009). A research on how to collect web records of state administrative agencies. Master's Thesis. Major of Records and Archives Management, Chung-Ang University. Seoul.)
  10. 손영진 (2014). 웹 표준을 이용한 공공기관 웹 아카이빙 개선방안 연구. 석사학위논문. 전남대학교 대학원, 기록관리협동과정.(Son, Young Jin (2014). A Study on web archiving improvement using web standardization of public Institutions. Master's Thesis. Interdisciplinary Program of Archival Studies, Chonnam National University. Gwangju.)
  11. 이규희 (2009). 심층웹 아카이빙 방안 연구. 석사학위논문. 명지대학교 기록정보과학전문대학원, 기록관리학과.(Lee, Kyu-He (2009). A Study on Deep web Archiving. Master's Thesis. Major of Records and Archival Information Management, Myongji University. Seoul.)
  12. 이미옥 (2015). 대구지하철화재참사 기록의 단계별 관리 방안. 석사학위논문. 경북대학교 대학원, 기록학과.(Lee, Me-Ok (2015). A Study on Phased Management Plan of 'Daegu Subway Disaster' Record. Master's Thesis. Department of Archival Science, Kyungpook National University. Daegu.)
  13. 이상명 (2014). 재난안전관리체계의 개선에 관한 법적 고찰. 한양법학, 25(4), 397-417.(Lee, Sang-Myeong (2014). Legal Considerations on Improvement of the Disaster Safety Management System: Focused on 'Laws Related to Safe Management of Vessels'. Hanyang Law Review, 25(4), 397-417.)
  14. 이성숙 (2005). 웹 아카이빙 도구에 관한 연구. 한국정보관리학회 학술대회 논문집, 185-193.(Lee, Sung-Sook (2005). A Study on Web Archiving Tools. Korea Society for Information Management Conference Proceeding, 185-193.)
  15. 이연수, 남성운, 박성배 (2010). 공공기관 웹 사이트 기록물 수집 사례분석. 한국멀티미디어 학회 학술발표논문집, 644-647.(Lee, Yeon-Soo, Nam, Sung-Un, & Park, Sung-Bae (2010). A study on the analysis of the web archiving case of public institutions. Korea Multimedia Society Conference Proceeding, 644-647.)
  16. 이연수, 남성운, 윤대현 (2013). 대규모 웹 기록물의 원격수집을 위한 콘텐츠 중복 필터링 개선 연구. 기록학연구, 35, 133-160.(Lee, Yeon-Soo, Nam, Sung-Un, & Yoon, Dai-Hyun (2013). A study on the enhanced filtering method of the deduplication for bulk harvest of web records. The korean Journal of Archival Studies, 35, 133-160.)
  17. 장문수, 정준영 (2007). URL 패턴 스크립트를 이용한 효율적인 웹문서 수집 방안. 퍼지 및 지능시스템학회논문지, 17(6), 849-854.(Chang, Moon-Soo & Jung, June-Young (2007). A Method of Efficient Web Crawling Using URL Pattern Scripts. Journal of Korean Institute of Intelligent Systems, 17(6), 849-854.)
  18. 장진욱 (2014). 웹 페이지 비교통합 기반의 정보 수집 시스템 설계 및 개발에 대한 연구. 한국IT서비스학회지, 13(1), 147-159.(Jang, Jin-Wook (2014). A Study on Design and Development of Web Information Collection System Based Compare and Merge Method. Journal of information technology services, 13(1), 147-159.) https://doi.org/10.9716/KITS.2014.13.1.147
  19. 정영철, 최익수, 배용근 (2016). 사회안전을 위한 빅데이터 활용의 재난대응 정책. 한국정보통신학회논문지, 20(4), 683-690.(Choung, Young-chul, Choy, Ik-su, & Bae, Youg-guen (2016). Social security aimed disaster response policy based on Big Data application. Journal of the Korea Institute of Information and Communication Engineering, 20(4), 683-690.) https://doi.org/10.6109/JKIICE.2016.20.4.683
  20. 정혜지 (2016). 미국 9.11 메로리얼의 재난기록물 수집에 관한 연구. 석사학위논문. 명지대학교 기록정보과학전문대학원, 기록관리학과.(Chung, Hye-Ji (2016). A study of acquisition for disaster collections on The National September 11 Memorial & Museum. Master's Thesis. Major of Records and Archival Information Management, Myongji University. Seoul.)
  21. 차세영, 임도빈 (2014). 재난관리 단계별 대응 체계에 대한 연구 - 구미 불산 누출 사고 사례의 네트워크 방법론적 분석. 지방정부연구, 18(1), 727-754.(Cha, Se-Yeong & Im, Tobin (2014). Study on Disaster Management System: Case Study Using Social Network Analysis on Hydrofluoric Acid Leakage Accident in Gumi, Korea. The Korean Journal of Local Government Studies, 18(1), 727-754.)
  22. 차승준, 이규철 (2008). 웹 기록물 아카이빙 기반기술 연구 개발. 한국전자거래학회 심포지움 및 기타간행물, 359-368.(Cha, Seung-Jun & Lee, Kyu-Chul (2008). Research and development of base technology for archiving web records. Federation of Knowledge Information Societies Conference, 359-368.)
  23. 차승준, 최윤정, 이규철 (2009). 공공기관 심층 웹 기록물 아카이빙을 위한 메타데이터설계. 한국전자거래학회, 14(4), 181-193.(Cha, Seung-Jun, Choi, Yun-Jeong, & Lee, Kyu-Chul (2009). Metadata design for archiving public deep web records. The Journal of Society for e-Business Studies, 14(4), 181-193.)
  24. 한국기록관리학회 (2013). 기록관리론: 증거와 기억의 과학. 성남: 아세아문화사.(Korean Society of Archival and Records Management(ed) (2013). Theory of Records Management: Science of Evidence and Memory (3rd). Seongnam: AsiaMunHwaSa.)
  25. 한국기록학회 (2008). 기록학 용어 사전. 서울: (주)역사비평사.(Korean Society of Archival Studies (2008). Dictionary of Records and Archival Terminology. Seoul: Yuksabipyeongsa.)
  26. 현석환 (2015). 한국의 재난관리 시스템의 문제점과 효율화 방안. 한국사회안전학회지, 10(1), 39-56.(Hyun Suk-Hwan (2015). Problems of Korean disaster management system and methods for its efficiency. The Journal of Korean Association of Security and Safety, 10(1), 39-56.)
  27. Heydon, Allan & Najork, Marc (1999). Mercator: A scalable, extensible Web crawler. World Wide Web. 2, 219-229. https://doi.org/10.1023/A:1019213109274
  28. 공공기록물 관리에 관한 법률 (2014.11.19.)
  29. 재난 및 안전관리 기본법 (2017.1.17.)
  30. 국가법령정보센터. 검색일자: 2017. 1. 17. http://www.law.go.kr/
  31. 국민안전처. 검색일자: 2016. 12. 15. http://www.mpss.go.kr/home/index.html
  32. 국민재난안전포털. 검색일자: 2016. 12. 15. http://www.safekorea.go.kr/idsiSFK/index.jsp