• 한국컴퓨터정보학회논문지
• /
• 제25권12호
• /
• pp.165-172
• /
• 2020

웹에서 접근하는 정보의 폭발적인 증가에 따라 사용자의 다음 웹 페이지 사용을 예측하는 문제의 중요성이 증가되었다. 사용자의 다음 웹 페이지 접근을 예측하는 방법 중 하나가 딥 러닝 기법이다. 웹 페이지 예측 절차는 데이터 전처리 과정을 통해 웹 로그 정보들을 분석하고 딥 러닝 기법을 이용하여 분석된 웹 로그 결과를 가지고 사용자가 접근할 다음 웹 페이지를 예측한다. 본 논문에서는 웹 페이지 예측을 위한 효율적인 웹 로그 전처리 작업과 분석을 위해 딥 러닝 기법을 사용하는 웹 페이지 예측 프레임워크를 제안한다. 대용량 웹 로그 정보의 전처리 작업 속도를 높이기 위하여 Hadoop 기반 맵/리듀스(MapReduce) 프로그래밍 모델을 사용한다. 또한 웹 로그 정보의 전처리 결과를 이용한 학습과 예측을 위한 딥 러닝 기반 웹 예측 시스템을 제안한다. 실험을 통해 논문에서 제안한 방법이 기존의 방법과 비교하여 성능 개선이 있다는 사실을 보였고 아울러 다음 페이지 예측의 정확성을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.357-361
• /
• 2006

매일 새롭게 생기는 웹 페이지 수가 수천만 개, 온라인 문서들의 수가 수십억 개에 이르게 되자, 웹 사이트를 설계함에 있어서 웹 서버 로그 파일에 기록된 사용자의 행동을 분석하는 것이 중요한 부분이 되어가고 있다. 분석가들은 전체 웹 사이트에서 사용자 행동의 완전한 개요를 알기 원하기 때문에 고객이 방문했던 모든 다른 웹 서버를 통하여 사용자의 패스(path)를 다시 수집해야만 한다. 본 연구에서는 모든 로그 파일을 연결해서 방문했던 곳을 재구성하는 향상된 데이터 전처리 방법에 의하여 실험을 하여 로그 파일 크기를 감소시키게 되어 데이터 전처리의 성능이 향상되었음을 보였다.

• 인터넷정보학회논문지
• /
• 제9권5호
• /
• pp.23-34
• /
• 2008

웹 기반 서비스가 다양한 형태로 제공되면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 그러나 웹 서버에 대한 SQL Injection, Parameter Injection 및 DoS 등의 공격 등의 취약점이 발견되고 있다. 이와 같은 형태의 웹 공격에 능동적으로 대응하기 위해 현재 웹 IDS 시스템을 구축하여 룰 기반 대응 시스템을 구축하고 있으나, 웹 서버에서 생성되는 로그 정보에 대한 전처리 과정 없이 룰 기반 IDS 시스템이 구동되기 때문에 효율적인 웹 공격 대응체계가 구축되지 못하고 있다. 이에 본 연구에서는 웹 로그 정보를 웹 IDS 기반 공격 탐지 시스템의 룰 비교 특성에 적합한 형태로 전처리하는 알고리즘을 제시하고 이를 구현하였다. 제안한 알고리즘은 웹 로그 정보에 대한 필드 단위 파싱 및 중복 문자열 처리 과정을 고속으로 수행하여 대용량의 로그 처리시 성능을 향상시켜 개선된 웹 IDS 시스템 구축이 가능하다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.118-120
• /
• 2001

웹 이용 마이닝은 거대만 웹 데이터 저장소의 로그들을 이용하여 웹 사용자의 사용 패턴을 분석하는 데이터 마이닝 기술이다. 마이닝 기술을 적용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 웹 로그만으로는 사용자를 완전히 구분할 수 없다. 따라서 정확한 결과를 얻기 위해 사용자와 세션을 구분할 수 있는 모듈을 웹 서버에서 제공하거나, 각각의 페이지에 적당한 실행 필드를 삽입해야 한다. 사용자와 세션을 구분하는 데는 캐시 문제, 방화벽 문제. IP(ISP)문제, 프라이버시 문제, 쿠키 문제 등 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 이 논문은 참조 로그와 에이전트 로그, 그리고 액세스 로그 등 서버측 클릭스트림 데이터만을 이용하여 사용자와 세션을 구분하는 방법을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 추계학술발표대회
• /
• pp.264-267
• /
• 2007

인터넷 사이트가 증가하면서 서비스 제공자는 사용자의 요구나 행동패턴을 파악하기 위하여 웹 마이닝 기법을 활용한다. 하지만 서버에 저장된 웹 로그 정보를 활용한 마이닝 기법은 전처리 과정에 많은 노력이 필요하고 사용자의 행동패턴이나 요구를 정확하게 파악하는데 한계가 있다. 이를 극복하기 위해 본 논문에서는 사용자 생성 로그정보를 이용한 방법을 제안한다. 제안 방법은 기존 서버에 저장되는 로그파일이 아닌 사용자의 행동에 의해 웹 페이지가 로딩될 때 마다 웹 마이닝에 필요한 정보를 수집하여 DB 에 저장하는 방법을 사용하였다. 이때 기존 로그파일에 로딩시간과 조회시간, 파라메타 정보를 추가하여 보다 사실적으로 사용자의 행동패턴을 파악하고자 하였다. 이렇게 생성된 로그파일을 기 등록된 메뉴정보, 쿼리정보와 조합하면 웹 마이닝에 필수적인 데이터정제, 사용자식별, 세션식별, 트랜잭션 식별등 전처리 과정의 효율성을 향상시키고 사용자의 행동패턴파악을 위한 정보 수집을 용이하게 해준다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2000년도 춘계정기학술대회 e-Business를 위한 지능형 정보기술 / 한국지능정보시스템학회
• /
• pp.283-291
• /
• 2000

인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 춘계학술발표대회
• /
• pp.969-972
• /
• 2007

국내 웹 사이트의 증가 및 초고속 인터넷의 보급으로 웹 사용자는 꾸준히 증가 추세에 있다. 그러나 사용자에 대한 정보 보호 실태는 심각한 수준이다. 그 피해 사항으로는 사용자 개인 신상정보의 유출, 피싱 사이트로 인한 개인정보 유출 등 그 유형 및 목적이 다양하다. 이런 웹 공격에 대한 기존의 대응책으로 IDS/IPS를 통한 네트워크 기반의 공격 탐지 및 방지가 주류를 이뤘다. 그러나 이런 대응책은 누구에게나 공개되는 웹서버 보안에는 적합한 시스템이 아니다. 본 논문에서는 웹 공격의 특성에 맞는 문자열 처리 중심의 로그 분석을 통해 대용량의 로그로부터 공격을 탐지하는 웹 로그 전처리 시스템을 제안한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권9호
• /
• pp.843-849
• /
• 2003

웹 이용 마이닝은 거대한 웹 로그들을 이용하여 웹 사용자의 이용 패턴을 분석하는 데이타 마이닝 기술이다. 이러한 웹 이용 마이닝 기술을 사용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 로그 파일만으로는 완전히 구분할 수 없다. 사용자와 세션을 구분하기 위해서는 로컬캐시, 방화벽, ISP, 사용자 프라이버시, 쿠키 등과 같은 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 특히, 로컬캐시 문제는 웹 마이닝 시스템의 입력으로 사용되는 사용자 세션을 구분하는데 가장 어려운 문제이다 본 연구에서는 참조 로그와 에이전트 로그, 그리고 액세스 로그 둥의 서버측 클릭스트림 데이타만을 이용하여 로컬캐시 문제를 해결하고, 사용자 세션을 구분하고 세션을 보정하는 휴리스틱 방법을 제안한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
• /
• pp.499-501
• /
• 2004

웹 로그, 바이오정보학 둥 여러 분야에서 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 조건부 평균이나 나무 모형과 같은 기본적인 Imputation 방법을 이용하여 추정된 값에 의해 대체되기도 하고 일부는 제거되기도 한다. 특히, 결측치 비율이 매우 크게 되면 기존의 결측치 대체 방법의 정확도는 떨어진다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 Imputation 방법들의 수는 극히 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형한 Support Vector Regression을 제안하여 이러한 문제점들을 해결하였다. 제안 방법을 통하여 결측치의 비율이 상당히 큰 희소 데이터의 전처리도 가능하게 되었다. UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권5호
• /
• pp.416-427
• /
• 2005

웹 네비게이션 마이닝은 웹 접근 로그 데이타를 분석하여 웹을 항해하는 패턴을 발견하는 기법이다. 하지만 사용자들은 웹을 항해할 때 정상적인 계층적 경로를 따르지 않는 경우가 많기 때문에 웹 접근 로그 데이타에는 웹 항해 패턴 발견에 장애가 되는 잡음 정보가 많이 포함된다. 결과적으로 웹 접근 로그 데이타만을 이용한 기존의 웹 네비게이션 마이닝은 이런 잡음을 해결하기 위한 전처리 과정의 복잡성 등으로 인하여 웹 항해 패턴을 효율적으로 발견하는 데 좋은 성능을 보여주지 못했다. 이런 문제를 해결하기 위해 본 논문에서는 웹 접근 로그 데이타 외에 웹의 하이퍼링크 구조 정보를 함께 이용하여 웹 네비게이션 패턴을 효율적으로 발견하는 기법을 제시하였다. 웹 사이트의 계층적인 하이퍼링크 구조로부터 생성된 WebTree라 불리는 구조를 이용하여 웹 접근 로그 데이타에 포함된 비정상적인 경로에 대한 잡음을 효율적으로 제거하였다. 이 기법을 이용해 구현된 SPMiner(Sequence Pattern Miner) 시스템은 로그 데이타와 하이퍼링크 계층구조를 함께 이용함으로써 전처리의 오버헤드를 현저히 감소시켰고 결과적으로 효율적으로 네비게이션 패턴을 찾아주고 이를 추천에 이용할 수 있는 기반을 제시하였다.