• Title/Summary/Keyword: 로그 데이터

Search Result 888, Processing Time 0.025 seconds

Web log Data Analysis Apply to Web Contents Analysis Result data (웹로그 분석을 적용한 웹사이트내의 웹컨텐츠 분석 연구 결과)

  • 정선경;이칠우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.579-581
    • /
    • 2003
  • 본 논문은 웹사이트를 구성하는 웹컨텐츠의 합목적성 및 사용성 평가를 위하여 웹사이트 사용자들의 흔적인 웹로그 분석 데이터를 적용하여 정량적인 평가를 한 결과 에 대하여 보고 하고자 한다. 웹로그파일은 사용자가 웹사이트를 이용하면 이에 대한 기록이 로그라는 형태로 흔적이 남는다. 로그분석이란 이 데이터를 기반으로 위에서 말한 다양한 정보를 추출해 내는 것이라 할 수 있다. 로그분석은 사용자에 따라 단지 로그 정보를 분석하는 것에 한정시키기도, 로그 정보를 기반으로 한 보다 다양한 정보를 분석하는 확장된 개념으로 확대시키기도 한다. 본 논문은 웹트랜즈[로그분석 툴]를 사용하여 웹사이트내의 웹컨텐츠 분석에 웹 로그 분석 결과가 같는 정량적인 개념을 활용하여 정상적인 분석으로 일관되었던 웹사이트 분석에 새로운 결과를 도출하였다. 또한 마케팅을 수행하는 데 있어서 고객의 요구에 천저히 대응하기 위해서 고객을 철저히 파악하여야 한다. 로그파일 분석을 통해서 주요 고객층, 고객의 구매 패턴, 주 구매시간, 구매탐색 경로등의 데이터를 추출할 수 있다. 로그파일 분석 데이터를 기반으로 인터페이스 설계나 상품의 레이아웃등의 설계, 고객 서비스 강화등의 다양한 대 고객 마케팅을 펼칠 수 있다. 본 논문은 단순 수치해석의 개념이었던 로그 분석에 웹컨텐츠분석 기법을 접목하여 웹사이트내에서 사용되고 있는 컨텐츠의 사용성에 대안 연구 결과에 대해서 발표하고자 한다.

  • PDF

Web Log Data Sparsity Analysis for OLAP (웹 로그 데이터의 OLAP 연산을 위한 희박성 분석)

  • 김지현;용환승
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.58-60
    • /
    • 2001
  • 하루에도 수십 수백 메가 바이트까지 증가하는 웹 로그 데이터를 이용하여 실시간에 다차원분석을 가능하게 하기 위해서는 OLAP의 적용이 필요하다. 하지만 OLAP을 적용하는데 있어서 빠른 응답시간을 얻기 위해 사전처리(Precomputation)를 수행 할 시 심각한 데이터의 희박성으로 인해 데이터 폭발 현상이 발생된다. 본 논문에서는 실제 웹 로그 데이터를 사용하여 OLAP적용 시 희박성을 일으키는 원인들을 밝히고, 2, 3 차원에서의 희박성 형태를 분석함으로써 웹 로그 데이터의 희박성 처리 방식 및 성능평가에 기반이 되게 한다.

  • PDF

Study of Drone HIL Simulation Technique Extension Using Log of External Sensor (외부 센서의 로그를 활용한 드론 HIL 시뮬레이션 기법 확장 연구)

  • Kim, Deok Yeop;Seo, Kang Bok;Lee, Gwoncheol;Lee, Woo-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.342-345
    • /
    • 2019
  • 드론의 동작 검증을 위한 테스트는 최종적으로 드론이 운용될 환경에서 이루어진다. 그러나 테스트 비용이 크고 테스트 비행 중 파손의 위험이 있기 때문에 시뮬레이션을 통한 사전 검증을 수행하는 것이 중요하다. 시뮬레이션은 SIL 방식이나 HIL 방식으로 이루어지는데 추가적인 외부 센서를 활용하는 경우 검증하기가 어렵다. SIL에서는 검증을 위해 가상의 외부 센서 구현이 필요하다. HIL 에서는 실제 센서를 사용하므로 가상의 외부 센서 구현은 필요 없다. 그러나 테스트 환경이기 때문에 실제 환경과 비슷한 데이터나 동작 검증에 적합한 데이터를 얻기 어렵다. 이러한 HIL에서의 문제를 해결하기 위해 외부 센서를 실제 환경에서 사용한 로그나 테스트 환경에서 센서 검증에 사용한 로그를 이용할 수 있다. 본 논문에서 제안하는 외부 센서의 로그를 활용한 HIL 시뮬레이션 기법 확장 내용은 외부 센서 데이터 입력기가 로그로부터 얻은 센서 데이터를 비행 컨트롤러로 보내 검증을 수행하기 때문에 데이터를 재사용할 수 있고 테스트 비용을 줄일 수 있다. 또 외부 센서 데이터 입력기는 로그 파서, 뷰어, 슬라이서, 데이터 전송기로 구성되어 로그로부터 검증에 적합한 데이터를 쉽게 얻어 활용할 수 있다.

An Efficient Log Data Management Architecture for Big Data Processing in Cloud Computing Environments (클라우드 환경에서의 효율적인 빅 데이터 처리를 위한 로그 데이터 수집 아키텍처)

  • Kim, Julie;Bahn, Hyokyung
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.13 no.2
    • /
    • pp.1-7
    • /
    • 2013
  • Big data management is becoming increasingly important in both industry and academia of information science community. One of the important categories of big data generated from software systems is log data. Log data is generally used for better services in various service providers and can also be used as information for qualification. This paper presents a big data management architecture specialized for log data. Specifically, it provides the aggregation of log messages sent from multiple clients and provides intelligent functionalities such as analyzing log data. The proposed architecture supports an asynchronous process in client-server architectures to prevent the potential bottleneck of accessing data. Accordingly, it does not affect the client performance although using remote data store. We implement the proposed architecture and show that it works well for processing big log data. All components are implemented based on open source software and the developed prototypes are now publicly available.

Design and implementation of a Large-Scale Security Log Collection System based on Hadoop Ecosystem (Hadoop Ecosystem 기반 대용량 보안로그 수집 시스템 설계 및 구축)

  • Lee, Jong-Yoon;Lee, Bong-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.461-463
    • /
    • 2014
  • 네트워크 공격이 다양해지고 빈번하게 발생함에 따라 이에 따라 해킹 공격의 유형을 파악하기 위해 다양한 보안 솔루션이 생겨났다. 그 중 하나인 통합보안관리시스템은 다양한 로그 관리와 분석을 통해 보안 정책을 세워 차후에 있을 공격에 대비할 수 있지만 기존 통합보안관리시스템은 대부분 관계형 데이터베이스의 사용으로 급격히 증가하는 데이터를 감당하지 못한다. 많은 정보를 가지는 로그데이터의 유실 방지 및 시스템 저하를 막기 위해 대용량의 로그 데이터를 처리하는 방식이 필요해짐에 따라 분산처리에 특화되어 있는 하둡 에코시스템을 이용하여 늘어나는 데이터에 따라 유연하게 대처할 수 있고 기존 NoSQL 로그 저장방식에서 나아가 로그 저장단계에서 정규화를 사용하여 처리, 저장 능력을 향상시켜 실시간 처리 및 저장, 확장성이 뛰어난 하둡 기반의 로그 수집 시스템을 제안하고자 한다.

Behavior analysis of entrance applicants using web log data (웹 로그데이터를 이용한 대학입시 지원자 행태 분석)

  • Choi, Seung-Bae;Kang, Chang-Wan;Cho, Jang-Sik
    • Journal of the Korean Data and Information Science Society
    • /
    • v.20 no.3
    • /
    • pp.493-504
    • /
    • 2009
  • The web log data analysis is to analysis traces which visitors remain while they drop by a web-site. Ultimately it can help to obtain a lot of useful information that can efficiently manage homepage and perform CRM(customer relationship management) using obtained information. In this paper, we provide a basic information to manage efficiently homepage of D university and to establish strategy for invitation of new pupil, as analyzing web log data for D university.

  • PDF

Using the Rule to Combination Commands and Arguments in Packet Filtering (패킷 필터링에서 명령어와 인자 결합 규칙을 이용한 로그 데이터의 감축 방법)

  • 서현진;박성인;이재영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.321-323
    • /
    • 1999
  • UNIX 시스템에서 로그 시스템은 공격시 쉽게 변경 및 삭제되는 위험성이 있고 제한된 시스템 및 네트워크 정보를 제공하므로, 보다 안전하고 풍부한 정보의 제공을 위해 패킷 필터링을 이용한 로그 시스템 등이 제안되어 왔다. 그러나 기존의 패킷 필터링을 이용한 로그 시스템에서는 모든 패킷을 기록하여 많은 양의 데이터가 발생하였으므로, 관리자가 그 정보를 분석하기란 어려웠다. 본 논문에서는 패킷을 처리하는 과정에서 각종 유형의 침입에 대한 사전 조사와 분석으로 얻은 명령어와 인자들의 결합에 의한 판정 규칙을 적용하여, 위험가능성이 내재된 패킷만을 수집, 기록함으로서 데이터의 양을 줄이고 보다 효율적인 로그 정보를 기록할 수 있었다.

  • PDF

Lifelog Analysis and Future using Artificial Intelligence in Healthcare (헬스케어에서 인공지능을 활용한 라이프로그 분석과 미래)

  • Park, Minseo
    • The Journal of the Convergence on Culture Technology
    • /
    • v.8 no.2
    • /
    • pp.1-6
    • /
    • 2022
  • Lifelog is a digital record of an individual collected from various digital sensors, and includes activity amount, sleep information, weight change, body mass, muscle mass, fat mass, etc. Recently, as wearable devices have become common, a lot of high-quality lifelog data is being produced. Lifelog data shows the state of an individual's body, and can be used not only for individual health care, but also for causes and treatment of diseases. However, at present, AI/ML-based correlation analysis and personalization are not reflected. It is only at the level of presenting simple records or fragmentary statistics. Therefore, in this paper, the correlation/relationship between lifelog data and disease, and AI/ML technology inside lifelog data are examined, and furthermore, a lifelog data analysis process based on AI/ML is proposed. The analysis process is demonstrated with the data collected in the actual Galaxy Watch. Finally, we propose a future convergence service roadmap including lifelog data, diet, health information, and disease information.

Consumer behavior prediction using Airbnb web log data (에어비앤비(Airbnb) 웹 로그 데이터를 이용한 고객 행동 예측)

  • An, Hyoin;Choi, Yuri;Oh, Raeeun;Song, Jongwoo
    • The Korean Journal of Applied Statistics
    • /
    • v.32 no.3
    • /
    • pp.391-404
    • /
    • 2019
  • Customers' fixed characteristics have often been used to predict customer behavior. It has recently become possible to track customer web logs as customer activities move from offline to online. It has become possible to collect large amounts of web log data; however, the researchers only focused on organizing the log data or describing the technical characteristics. In this study, we predict the decision-making time until each customer makes the first reservation, using Airbnb customer data provided by the Kaggle website. This data set includes basic customer information such as gender, age, and web logs. We use various methodologies to find the optimal model and compare prediction errors for cases with web log data and without it. We consider six models such as Lasso, SVM, Random Forest, and XGBoost to explore the effectiveness of the web log data. As a result, we choose Random Forest as our optimal model with a misclassification rate of about 20%. In addition, we confirm that using web log data in our study doubles the prediction accuracy in predicting customer behavior compared to not using it.

Design of Component-Base Analysis System (컴포넌트 기반의 웹 로그 분석 시스템 설계)

  • 심민석;유대승;엄정섭;이명재
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.592-594
    • /
    • 2001
  • 분석 도구들의 필요성이 증대되고 있다 웹 분석 도구들 중 웹 로그 분석 도구들은 축적된 웹 로그를 분석하여 분석 가능한 정보를 산출하고 이를 효율적인 웹 운영의 기초 정보로 이용할 수 있도록 한다. 그러나 기존의 웹 로그 분석 도구들은 웹사이트에 따라 요구되는 로그 분석 목적을 충족시키기 위해서 변형되어야 하거나 특정한 목적이 맞게 새롭게 개발되어야 한다. 본 연구에서는 로그 분석 시스템 또는 로그 분석 도구 개발에서 공통적으로 수행되는 과정(로그 파일로부터 필요한 항목들을 추출하고 정제하여 분석 가능한 데이터로 저장 루틴)을 컴포넌트화하였다. 이 컴포넌트는 로그로부터 추출한 정보를 XML 문서 또는 데이터베이스에 저장한다. 본 연구에서 개발한 컴포넌트는 로그 데이터를 XML 문서 형식과 데이터베이스에 로그 정보를 저장하여 쉽게 다른 시스템에서 저장된 정보를 유용하게 사용하도록 한다. 또한 생성한 컴포넌트의 효용성을 검증하기 위하여 웹 로그 분석 시스템을 설계하였다.

  • PDF