• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3182-3202
• /
• 2015

Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.645-648
• /
• 2017

기존의 Embedded Tester는 Log 처리를 위해 TCP와 공유 파일 시스템을 이용한 Server - Client간 1-N 구조로 처리 되었다. 이러한 방식은 구현 난이도에 따른 시간적 손실과 예외처리에 따른 Tester의 리소스 낭비가 발생한다. 이에 메시징 시스템을 이용하여 분산처리가 가능한 Log 처리 메시지 레이어를 구현하고 기존의 TCP, 공유 파일 시스템 전송방식과 비교하였다. 비교 결과 메시지 레이어를 이용한 전송이 TCP 보다 더 높은 전송 대역폭을 보였다. CPU 사용량에서 메시지 레이어가 TCP 보다 낮은 효율을 보였으나 큰 차이를 보이지 않았다. 이를 통해 메시지 레이어를 이용한 Log 처리가 더 높은 효율을 보임을 알 수 있었다.

• 한국IT서비스학회지
• /
• 제13권4호
• /
• pp.231-243
• /
• 2014

Of the various data that corporations can approach, web log data are important data that correspond to data analysis to implement customer relations management strategies. As the volume of approachable data has increased exponentially due to the Internet and popularization of smart phone, web log data have also increased a lot. As a result, it has become difficult to expand storage to process large amounts of web logs data flexibly and extremely hard to implement a system capable of categorizing, analyzing, and processing web log data accumulated over a long period of time. This study thus set out to apply Hadoop, a distributed processing system that had recently come into the spotlight for its capacity of processing large volumes of data, and propose an efficient analysis plan for large amounts of web log. The study checked the forms of web log by the effective web log collection methods and the web log levels by using Hadoop and proposed analysis techniques and Hadoop organization designs accordingly. The present study resolved the difficulty with processing large amounts of web log data and proposed the activity patterns of users through web log analysis, thus demonstrating its advantages as a new means of marketing.

• 한국IT서비스학회지
• /
• 제12권4호
• /
• pp.165-174
• /
• 2013

Log scaling which decides a quality grade of log is influence the price of log at the market. It is the one of important works at the field until now. So it remains using a ruler traditionally. This study evaluated the automating program through compared the automating program with using a ruler for log. The automating program used libraries of OpenCV concerning image processing algorithm to measure log diameter for scaling. In addition, it applies two panels of checkered pattern beside a pile of logs and tapes on the surface of a log diameter to find a correct value. We analyzed statistical mean difference of both log diameter and volume. In conclusion, the automating program after applying check panel and taping ins't different using a ruler. Therefore we need to considerate about applying it for improving Forest Administration.

• 한국수산과학회지
• /
• 제45권5호
• /
• pp.445-453
• /
• 2012

This study examined microbial contamination during seasoned and dried squid Dosidicus gigas processing, including the apparatus, machines, and employee's gloves at each step in processing at two companies. The numbers of bacteria floating in air in each processing area were also examined. The numbers of Staphylococcus aureus (3.6-6.0 log CFU/g) and Escherichia coli (1.3-1.4 log MPN/100 g) in domestic and imported daruma (a semi-processed product of seasoned and dried squid) at companies A and B exceeded the regulatory limits of the Food Sanitary Law of Korea (S. aureus, ${\leq}2.0$ log CFU/g; E. coli, negative). S. aureus in both daruma was reduced to below the detection limit or 3.6 log CFU/g after the roasting step, but increased again to 3.3 and 5.5 log CFU/g after the mechanical tearing step at companies A and B, respectively. E. coli showed similar tendencies at both companies. The surfaces of the apparatus, machines, and employee's gloves that contacted daruma were also contaminated with S. aureus (1.0-5.5 log CFU/$m^2$) and E. coli (negative-to 3.5 log MPN/$m^2$). The numbers of bacteria floating in air were high (1.7-5.1 log CFU/$m^3$) at both companies. These results suggest that sanitation standard operating procedures (SSOP) must be developed to control of microbial cintamination in seasoned and dried squid.

• 한국정보통신학회논문지
• /
• 제15권2호
• /
• pp.331-338
• /
• 2011

선박 통합 네트워크는 선박에 탑재된 여러 장비에서 발생하는 다양한 정보를 상호 교환하고 통합 관리하기 위한 목적을 가진다. 선박 통합 네트워크에서는 UDP(User Datagram Protocol) 멀티캐스팅 방식으로 시스템 간의 정보를 송수신하는데, UDP는 신뢰성을 보장하지 않기 때문에 정보의 소실 혹은 손상이 발생할 수 있다. 따라서 선박 통합 네트워크 표준은 정보의 소실 혹은 손상으로 인해 발생되는 오류를 기록하기 위한 기능을 정의한다. 이 논문에서는 시스템에서 발생한 오류를 내부적으로 기록하는 내부 로그와 외부의 로그 서버로 송신하여 기록하는 외부 로그 기능에 관하여 분석한다. 또한 분석된 내용을 바탕으로 선박 통합 네트워크에서 오류를 로그 메시지로 만들어 처리 및 송수신하는 모듈을 개발하고, 외부 로그를 기록하고 관리하기 위한 로그 서버를 개발한다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.39-42
• /
• 2018

Log analysis and monitoring have a significant importance in most of the systems. Log management has core importance in applications like distributed applications, cloud based applications, and applications designed for big data. These applications produce a large number of log files which contain essential information. This information can be used for log analytics to understand the relevant patterns from varying log data. However, they need some tools for the purpose of parsing, storing, and visualizing log informations. "Elasticsearch, Logstash, and Kibana"(ELK Stack) is one of the most popular analyzing tools for log management. For the ingestion of log files configuration files have a key importance, as they cover all the services needed to input, process, and output the log files. However, creating configuration files is sometimes very complicated and time consuming in many applications as it requires domain expertise and manual creation. In this paper, an auto configuration module for Logstash is proposed which aims to auto generate the configuration files for Logstash. The primary purpose of this paper is to provide a mechanism, which can be used to auto generate the configuration files for corresponding log files in less time. The proposed module aims to provide an overall efficiency in the log management system.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권9호
• /
• pp.589-594
• /
• 2013

웹의 특징인 개방과 공유의 사고방식이 더욱 일반화 되면서 개발자 뿐 만 아니라 사용자가 직접 발생시키는 데이터도 복합적으로 늘어나고 있는 실정이다. 이러한 상황에서 모바일 디바이스 User eXperience(UX) 분석에서 다른 무엇보다도 디바이스에 기록되는 대용량의 로그 기록에서 필요한 데이터들을 자동으로 요약 정리해 주는 기법이 필요하다. 이에, 본 논문에서는 분석하고자 하는 모바일 디바이스 특성에 맞게 사전에 로그 데이터 속성에 대한 정의를 먼저하고, 직접 이를 반영한 사용자의 로그를 수집하여 저장하였다. 또한, 발생되는 대용량의 로그 기록에 기초한 UX를 분석하고자 다양한 로그 데이터 타입을 설정 및 처리할 수 있는 Hadoop(하둡)에서 제공하는 MapReduce 기법을 활용하여 데이터를 분산 처리하였다. 이를 통해, Map과 Reduce의 다양한 조합으로 대용량의 모바일 디바이스에서 발생되는 로그 데이터 셋에서 복잡한 스키마를 단순화시켜 분산 데이터 처리 환경에 맞게 UX 분석 방안을 제시하였다.

• 한국식품위생안전성학회지
• /
• 제15권3호
• /
• pp.252-255
• /
• 2000

본 연구는 육류와 가금육, 유가공 공장의 생산라인에서 미생물 오염수준을 측정함에 있어 ATP bioluminescence법이 적용될 수 있는지를 조사하기 위해 수행되었다. 도축장, 도계장, 유가공 공장 생산라인에서 시료를 채취하였으며 ATP bioluminescence법과 표준평판법을 병행하여 나타난 결과치(log RLU/ml, CFU(log/ml))를 상호 비교하여 상관계수를 측정하였다. 모든 시료(n=408)에서의 상관계수는 0.93이었으며 이중 쇠고기, 돼지고기, 닭고기는 0.93(n=220), 육, 유가공장 생산라인 또한 0.93(n=187)로 비교적 높게 나타나 ATP bioluminescence법이 기존의 표준평판법에 비해 상관계수가 높으므로 식품생산현장에서 신속하고 편리하게 세균의 오염여부를 판정할 수 있는 방법이라고 생각된다.