• Title/Summary/Keyword: 로그 구조

Search Result 304, Processing Time 0.028 seconds

Transaction management in a client-server main memory DBenvironment (클라이언트-서버 주기억 데이타베이스 환경에서의 트랜잭션 관리)

  • 조성제;김경창;김기룡
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.21 no.7
    • /
    • pp.1765-1776
    • /
    • 1996
  • 클라이언트=서버 DBMS구조는 많은 사람들에 의해서 연구되고 있으나 고장회복과 동시성 제어에 관한 연구는 아직까지 미흡한 상태다. 기존의 회복 기법은 클라이언트에서 생성된 로그 레코드들과 해당 데이터 페이지들을 서버에 전송 함으로써 발뱅하는 문제점들에 대한 해결점이 필요하였다. 본 논문에서는 클라이언트가 서버에 수행 완료된 로그 레코드들만을 전송하여 기존의 회복 기법에서 발생하였던 문제점을 제거한다. 또한 서버는 수행 완료된 로그 레코드들만을 관리하여 서버 파손 발생시 분석, 재수행 동작만을 수행하는 간단한 회복 알고리즘을 제안한다. 클라이언트에서 철회 동작을 함으로써 시스템의 병렬성을 높이고 서버 파손시 전체 데이터베이스 회복에 소요되는 시간을 줄이기 위해서 페이지 단위의 회복 기법도 제안한다. 또한 기존의 동시성 제어기법은 같은 페이지를 동시 사용하지 못함으로써 불필오한 대기시간(waiting time)이 증가된다. 본 논뭉에서는, 기존의 기법과 달리, 같은 페이지 내에 다른 데이터를 접근하는 트랜잭션에게 페이지를 허용함으로써 불필요한 대기시간을 최소화 할 수 있도록 하여 시스템의 병렬성을 향상시켰다.

  • PDF

Design and Implementation of Web-Based Mail Statistics System (웹 기반의 메일 통계 분석 시스템 설계 및 개발)

  • Lee, Sang-Do;Kim, Kwang-Hyuk;Lee, Sang-Young;Kim, Tae-Hyung;Jang, Bum-Hwan;Chung, Tai-Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04b
    • /
    • pp.1089-1092
    • /
    • 2002
  • 인터넷의 급속한 성장으로 인하여 메일을 이용하는 사용자가 급격히 증가하고있다. 따라서 메일 서버를 운영하는 관리자는 메일 분석에 대한 전문적인 로그 분석 도구들을 점차 요구하게 되었다. 현재 시중에 샌드메일 로그 분석에 관한 여러 구현된 상용 제품들이 있으나 단순한 통계 정보만을 제공하거나 특정 제품에만 맞도록 구현되었다. 이 논문에서는 시스템 로그 파일만을 분석하여 메일에 대한 상세한 통계 정보를 제공하는 웹 기반의 메일 분석 도구의 전체 설계 구조 및 구현 결과에 대해서 살펴보고자 한다.

  • PDF

Performance Evaluation of Catalog Management Schemes for Distributed Main Memory Database : Compilation Cases (분산 주기억장치 데이타베이스에서 컴파일 시 카탈로그 관리 기법의 성능평가)

  • 정한라;홍의경
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.118-120
    • /
    • 2001
  • 분산 DBMS에 대한 연추는 디스크에 데이타가 저장되어 있는 환경을 가정한 관계 DBMS에서 주로 진행되어 왔다. 디스크에 데이타가 저장되어 있다고 가정하는 시스템은 질의 최적화, 버퍼 관리기, 인덱스관리 기법 등 여러 가지 측면에서 주기억 장치 DBMS와 크게 다르기 때문에 이런 분산 DBMS에서 연구된 결과들을 그대로 주기억장치 상주 DBMS의 분산 시스템에 적용하기에는 어려움이 있다. 본 논문에서는 이러한 주기억장치 상주 중앙 집중형 DBMS를 분산 시스템으로 확장할 때 고려해야 한 여러 문제 중 캐시의 유무에 따른 카탈로그의 구조에 대해 살펴보고 시뮬레이션을 통해 카탈로그 관리기법에 대한 성능을 평가한다. 카탈로그 관리 기법의 성능평가 대상으로는 사이트의 자치성을 고려하여 분할된 카탈로그 방식을 택하였다. 실험의 결과는 캐시를 이용하는 카탈로그가 캐시를 사용하지 않는 카탈로그보다 좋은 성능을 나타냈다.

  • PDF

An Auxiliary Log Area for In-Page Logging Scheme (In-Page 로깅 기법을 위한 보조 로그 영역)

  • Van, Jae-Kwang;Jin, Rize;Kim, Sungsoo;Chung, Tae-Sun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.729-731
    • /
    • 2014
  • 플래시 메모리에서 B-tree 데이터를 저장하고 관리[4, 5]할 때 빈번한 수정과 구조변동으로 인해 발생하는 블록에 대한 쓰기와 지우기 연산의 비용으로 인해 플래시 메모리의 사용 수명을 단축시키는 문제를 해결하기 위해 현재 많이 쓰이고 있는 로그 저장방식을 검토하고 이를 효율적으로 B-tree에 저장하고 관리하도록 동적 블록 그룹핑과 순환 순서 기반의 저장 알고리즘으로 제안 된 GRR (Ground Round Robin) 기법을 보조 로그 블록을 할당하여 머지횟수를 줄일 수 있는 알고리즘을 제안한다.

Anomaly Detection Technique of Log Data Using Hadoop Ecosystem (하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법)

  • Son, Siwoon;Gil, Myeong-Seon;Moon, Yang-Sae
    • KIISE Transactions on Computing Practices
    • /
    • v.23 no.2
    • /
    • pp.128-133
    • /
    • 2017
  • In recent years, the number of systems for the analysis of large volumes of data is increasing. Hadoop, a representative big data system, stores and processes the large data in the distributed environment of multiple servers, where system-resource management is very important. The authors attempted to detect anomalies from the rapid changing of the log data that are collected from the multiple servers using simple but efficient anomaly-detection techniques. Accordingly, an Apache Hive storage architecture was designed to store the log data that were collected from the multiple servers in the Hadoop ecosystem. Also, three anomaly-detection techniques were designed based on the moving-average and 3-sigma concepts. It was finally confirmed that all three of the techniques detected the abnormal intervals correctly, while the weighted anomaly-detection technique is more precise than the basic techniques. These results show an excellent approach for the detection of log-data anomalies with the use of simple techniques in the Hadoop ecosystem.

OLAP System and Performance Evaluation for Analyzing Web Log Data (웹 로그 분석을 위한 OLAP 시스템 및 성능 평가)

  • 김지현;용환승
    • Journal of Korea Multimedia Society
    • /
    • v.6 no.5
    • /
    • pp.909-920
    • /
    • 2003
  • Nowadays, IT for CRM has been growing and developed rapidly. Typical techniques are statistical analysis tools, on-line multidimensional analytical processing (OLAP) tools, and data mining algorithms (such neural networks, decision trees, and association rules). Among customer data, web log data is very important and to use these data efficiently, applying OLAP technology to analyze multi-dimensionally. To make OLAP cube, we have to precalculate multidimensional summary results in order to get fast response. But as the number of dimensions and sparse cells increases, data explosion occurs seriously and the performance of OLAP decreases. In this paper, we presented why the web log data sparsity occurs and then what kinds of sparsity patterns generate in the two and t.he three dimensions for OLAP. Based on this research, we set up the multidimensional data models and query models for benchmark with each sparsity patterns. Finally, we evaluated the performance of three OLAP systems (MS SQL 2000 Analysis Service, Oracle Express and C-MOLAP).

  • PDF

Log processing using messaging system in SSD Storage Tester (SSD Storage Tester에서 메시징 시스템을 이용한 로그 처리)

  • Nam, Ki-ahn;Kwon, Oh-young
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.21 no.8
    • /
    • pp.1531-1539
    • /
    • 2017
  • The existing SSD storage tester processed logs in a 1-N structure between server and client using TCP and network file system. This method causes some problems for example, an increase in CPU usage and difficulty in exception handling, etc. In this paper, we implement a log processing message layer that can deal with asynchronous distributed processing using open source messaging system such as kafka, RabbitMQ and compare this layer with existing log transmission method. A log simulator was implemented to compare the transmission bandwidth and CPU usage. Test results show that the transmission using the message layer has higher performance than the transmission using the message layer, and the CPU usage does not show any significant difference The message layer can be implemented more easily than the conventional method and the efficiency is higher than that of the conventional method.

Development of Recommendation Agents through Web Log Analysis (웹 로그 분석을 이용한 추천 에이전트의 개발)

  • 김성학;이창훈
    • Journal of the Korea Computer Industry Society
    • /
    • v.4 no.10
    • /
    • pp.621-630
    • /
    • 2003
  • Web logs are the information recorded by a web server when users access the web sites, and due to a speedy rising of internet usage, the worth of their practical use has become increasingly important. Analyzing such logs can use to determine the patterns representing users' navigational behavior in a Web site and restructure a Web site to create a more effective organizational presence. For these applications, the generally used key methods in many studies are association rules and sequential patterns based by Apriori algorithms, which are widely used to extract correlation among patterns. But Apriori inhere inefficiency in computing cost when applied to large databases. In this paper, we develop a new algorithm for mining interesting patterns which is faster than Apriori algorithm and recommendation agents which could provide a system manager with valuable information that are accessed sequentially by many users.

  • PDF

Elastic Analysis of Steel Frame with Semi-rigid Connections using the Log Model (로그 모델을 사용한 반강접 철골 골조의 탄성 해석)

  • Lee, Sang Sup;Moon, Tae Sup
    • Journal of Korean Society of Steel Construction
    • /
    • v.12 no.5 s.48
    • /
    • pp.527-535
    • /
    • 2000
  • Accurate determination of the relative restraint of beam-to-column connections is important for both the strength and the serviceability of structural frames. But steel frame analysis is carried out under the assumption that the connections are either fixed or pinned. Overestimating the connection restraint can result in underestimating lateral sway and underestimating the connection restraint can lead to underestimating forces developed in the beams and columns. This implies that the exact stiffness of connections as well as the geometric effects should be considered in the frame analysis and the overall behavior of connections could be described adequately. Therefore, the stiffness matrix which is able to consider the moment-rotation of connection was derived previously and the modified exponential model, power model and the proposed log model are adopted for modeling the semi-rigid connections. The main purpose of this study is to examine the feasibility of the derived stiffness matrix and to show the validity of log model proposed.

  • PDF

The Parallel Recovery Method for High Availability in Shared-Nothing Spatial Database Cluster (비공유 공간 데이터베이스 클러스터에서 고가용성을 위한 병렬 회복 기법)

  • You, Byeong-Seob;Jang, Yong-Il;Lee, Sun-Jo;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1529-1532
    • /
    • 2003
  • 최근 인터넷과 모바일 시스템이 급속히 발달함에 따라 이를 통하여 지리정보와 같은 공간데이터를 제공하는 서비스가 증가하였다. 이는 대용량 데이터에 대한 관리 및 빠른 처리와 급증하는 사용자에 대한 높은 동시처리량 및 높은 안정성을 요구하였고, 이를 해결하기 위하여 비공유 공간 데이터베이스 클러스터가 개발되었다. 비공유 공간 데이터베이스 클러스터는 고가용성을 위한 구조로서 문제가 발생할 경우 다른 백업노드가 대신하여 서비스를 지속시킨다. 그러나 기존의 비공유 공간 데이터베이스 클러스터는 클러스터 구성에 대한 회복을 위하여 로그를 계속 유지하므로 로그를 남기기 위해 보통의 질의처리 성능이 저하되었으며 로그 유지를 위한 비용이 증가하였다. 또한 노드단위의 로그를 갖기 때문에 클러스터 구성에 대한 회복이 직렬적으로 이루어져 고가용성을 위한 빠른 회복이 불가능 하였다. 따라서 본 논문에서는 비공유 공간 데이터베이스 클러스터에서 고가용성을 위한 병렬 회복 기법을 제안한다. 이를 위해 클러스터 구성에 대한 회복을 위한 클러스터 로그를 정의한다. 정의된 클러스터 로그는 마스터 테이블이 존재하는 노드에서 그룹내 다른 노드가 정지된 것을 감지할 때 남기기 시작한다. 정지된 노드는 자체회복을 마친 후 클러스터 구성에 대한 회복을 하는 단계에서 존재하는 복제본 테이블 각각에 대한 클러스터 로그를 병렬적으로 받아 회복을 한다. 따라서 정지된 노드가 발생할 경우에만 클러스터 로그를 남기므로 보통의 질의처리의 성능 저하가 없고 클러스터 로그 유지 비용이 적으며, 클러스터 구성에 대한 회복시 테이블단위의 병렬적인 회복으로 대용량 데이터인 공간데이터에 대해 빠르게 회복할 수 있어 가용성을 향상시킨다.들을 문법으로 작성하였으며, PGS를 통해 생성된 어휘 정보를 가지고 스캐너를 구성하였으며, 파싱테이블을 가지고 파서를 설계하였다. 파서의 출력으로 AST가 생성되면 번역기는 AST를 탐색하면서 의미적으로 동등한 MSIL 코드를 생성하도록 시스템을 컴파일러 기법을 이용하여 모듈별로 구성하였다.적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이용될 수 있을 것이다.었으나 움직임 보정 후 영상을 이용하여 비교한 경우, 결합능 변화가 선조체 영역에서 국한되어 나타나며 그 유의성이 움직임 보정 전에 비하여 낮음을 알 수 있었다. 결론: 뇌활성화 과제 수행시에 동반되는

  • PDF