• 제목/요약/키워드: Log processing

검색결과 560건 처리시간 0.031초

An Efficient Log Data Processing Architecture for Internet Cloud Environments

  • Kim, Julie;Bahn, Hyokyung
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제8권1호
    • /
    • pp.33-41
    • /
    • 2016
  • Big data management is becoming an increasingly important issue in both industry and academia of information science community today. One of the important categories of big data generated from software systems is log data. Log data is generally used for better services in various service providers and can also be used to improve system reliability. In this paper, we propose a novel big data management architecture specialized for log data. The proposed architecture provides a scalable log management system that consists of client and server side modules for efficient handling of log data. To support large and simultaneous log data from multiple clients, we adopt the Hadoop infrastructure in the server-side file system for storing and managing log data efficiently. We implement the proposed architecture to support various client environments and validate the efficiency through measurement studies. The results show that the proposed architecture performs better than the existing logging architecture by 42.8% on average. All components of the proposed architecture are implemented based on open source software and the developed prototypes are now publicly available.

ARMA 필터를 이용한 로그 에너지 특징의 정규화 방법 (A Log-Energy Feature Normalization Method Using ARMA Filter)

  • 신광호;정호열;정현열
    • 한국멀티미디어학회논문지
    • /
    • 제11권10호
    • /
    • pp.1325-1337
    • /
    • 2008
  • 훈련과 인식의 환경적 차이가 음성 인식 성능 저하의 주요 요인이며, 이러한 환경적 불일치를 줄이기 위한 다양한 잡음 처리 방법들이 연구되고 있다. 이 가운데 로그 에너지 특징에 대한 ERN(log-Energy dynamic Range Normalization), SEN(Silence Energy Normalization) 등이 우수한 성능을 보이고 있다. 그러나 이들 방법은 상대적으로 큰 갈을 갖는 로그 에너지 특징에 대해서는 처리가 불가능한 문제점이 이으며, 특히 SNR값이 작은 환경에서는 이러한 문제로 인하여 환경적 불일치가 더욱 크게 나타나고 있다. 이를 해결하기 위해서 본 논문은 자동 회귀 방식으로 이동 평균을 계산하여 로그 에너지 특징을 스무딩(smoothing)하는 ARMA(Auto-Regression and Moving Average) 필터를 후처리로 적용하는 방법을 제안한다. Aurora 2.0 DB를 이용한 인식 실험 결과, 제안 방법이 기존의 방법들에 비해 향상된 인식 결과를 얻을 수 있었다.

  • PDF

다중 시그니처 비교를 통한 트랜잭셔널 메모리의 충돌해소 정책의 성능향상 (Multiple Signature Comparison of LogTM-SE for Fast Conflict Detection)

  • 김덕호;오두환;노원우
    • 정보처리학회논문지A
    • /
    • 제18A권1호
    • /
    • pp.19-24
    • /
    • 2011
  • 다중 코어 프로세서가 널리 보급되면서 멀티 쓰레디드 프로그램 상의 동기화를 용이하게 구현할 수 있는 해결 방안으로 트랜잭셔널 메모리가 각광을 받고 있다. 이를 위해 고성능의 하드웨어 트랜잭셔널 메모리에 관한 연구가 활발히 진행되고 있으며, 대표적인 연구결과로 UTM, VTM, FastTM, LogTM, LogTM-SE 등이 소개되었다. 특히, 충돌 감지 정책으로 시그니처를 사용한 LogTM-SE는 효율적인 메모리 관리와 쓰레드 스케쥴링을 통해 고성능의 트랜잭셔널 메모리를 구현하였다. 하지만, 이 방식은 프로세서 내부의 코어 수가 증가하는 것에 비례하여 한 코어가 비교해야 하는 시그니처의 수가 증가하는 문제점을 갖고 있다. 이는 시그니처 처리 과정에서 병목현상을 야기하여 전체 성능을 저해하는 요인이 될 수 있다. 본 논문에서는 시그니처 비교 과정에서 나타날 수 있는 이러한 병목 현상을 개선하여 전체 트랜잭셔널 메모리의 성능 향상을 이루고자 다중 시그니처 비교 방식의 새로운 구조를 제안한다.

로그폴라 사상과 어파인 변환을 이용한 새로운 템플릿 기반 얼굴 인식 (New Template Based Face Recognition Using Log-polar Mapping and Affine Transformation)

  • 김문갑;최일;진성일
    • 대한전자공학회논문지SP
    • /
    • 제39권2호
    • /
    • pp.1-10
    • /
    • 2002
  • 이 논문에서는 크기와 영상 평면상에서 회전 (in-plane rotation) 변화를 가지는 정면 얼굴 영상의 인식성능을 향상시키기 위하여, 새로운 템플릿 (template) 기반 접근 방법들을 제안한다. 인식 성능을 향상시키기 위한 템플릿들은 크기와 회전 변화가 다른 다수의 영상들을 선형 또는 비선형 연산에 의하여 생성된다. 얼굴의 크기와 영상 평면에서 회전 변화에 무관한 얼굴의 특징을 추출하기 위하여 어파인 (affine) 변환, 로그폴라 (log-polar) 사상, 그리고 로그폴라 영상에 기반한 FFT들이 이용된다. 제안된 방법들은 인식률과 수행 시간 측면에서 비교된다. 실험 결과로부터 제안된 템플릿을 이용한 방법들의 인식률이 한 장의 영상으로 생성된 템플릿을 이용한 방법들의 인식률보다 우수함을 나타낸다. 어파인 변환을 이용한 방법의 인식률이 로그폴라 사상을 이용한 방법과 로그폴라 영상에 기반한 FFT 방법의 인식률보다 우수하며, 수행 시간 측면에서는 로그폴라 사상을 이용한 방법이 가장 빠르다.

국내 식품가공공장 현장에서의 살균소독제 유효성 평가 (Evaluation of Effectiveness of Sanitizers and Disinfectants used in Domestic Food Processing Plants)

  • 박희경;박병규;신혜원;박대우;김용수;조양희;이광호;강길진;전대훈;박기환;하상도
    • 한국식품과학회지
    • /
    • 제37권6호
    • /
    • pp.1042-1047
    • /
    • 2005
  • 작업 현장에서 사용하는 살균소독제의 유효성을 평가하고 사용되는 제품의 저장기간별 안정성을 조사하였다. 다양한 식품을 생산하는 공장에서 식품가공 시 살균소독제 사용전후 미생물 오염정도를 파악하고 네 가지 대표 살균소독제의 보관기간 별 살균력의 안정성을 조사하기 위하여 2개월 간 저장성 시험을 실시하였다. 8개 식품가공공장에서 실제 사용 중인 살균소독제를 테스트한 결과, 살균소독제 사용 전 일반세균수는 $10^1-10^5CFU/cm^2$, 대장균군수는 $10^1-10^2CFU/cm^2$, 대장균은 $10CFU/cm^2$ 미만이었으며 살균소독제 사용 후 일반세균수는 $10^1-10^3$ 수준으로 감소하였으나 모두 사멸시키지는 못하였다. 살균소독력 지속여부를 S. aureus 와 E. coli를 이용하여 검증한 결과, 권장사용농도에서 alcohol계, hydrogen peroxide계, QAC계 제품은 2개월간 그 효과가 유지되었으나 chlorine계 제품은 개봉 2주 이내에 8 log에서 4 log로 효과가 감소되는 것으로 나타났다. 실제 법적으로 인정을 받은 살균소득제는 in vitro에서 S. aureus와 E. coli를 5 log 감소시켜 그 살균력을 인정받았으나 실제 현장에서는 그 정도의 효과를 거두지 못하고 있으며 개봉 후 즉시 사용하지 않고 보관될 경우 그 효력이 현저히 감소되는 것으로 파악되었다.

Log-Hough 변환을 이용한 직선검출 (Line Detection Using Log Hough Transform)

  • 정헌상;황의봉
    • 조명전기설비학회논문지
    • /
    • 제13권3호
    • /
    • pp.118-123
    • /
    • 1999
  • 영상처리에서나 컴퓨터 비젼에서 직선검출 및 인식에 Hough 변환이 잘쓰이는데 거리데어터를 log를 취하여 방위각에 대한 관게를 곡선으로 그리면 그 형상의데이터에 관계없이 일정하므로 이를 이용하여 계산 시간을 대폭 줄일 수 있다. 그 방법과 효율적 알고리즘을 제시하자 한다.

  • PDF

신경 회로망과 Log-Polar Sampling 기법을 사용한 항공기 영상의 연상 연식 (Neural-Network and Log-Polar Sampling Based Associative Pattern Recognizer for Aircraft Images)

  • 김종오;김인철;진성일
    • 전자공학회논문지B
    • /
    • 제28B권12호
    • /
    • pp.59-67
    • /
    • 1991
  • In this paper, we aimed to develop associative pattern recognizer based on neural network for aircraft identification. For obtaining invariant feature space description of an object regardless of its scale change and rotation, Log-polar sampling technique recently developed partly due to its similarity to the human visual system was introduced with Fourier transform post-processing. In addition to the recognition results, image recall was associatively performed and also used for the visualization of the recognition reliability. The multilayer perceptron model was learned by backpropagation algorithm.

  • PDF

최소 자료 이동을 위한 최적 병렬 정렬 알고리즘 (An Optimal Parallel Sort Algorithm for Minimum Data Movement)

  • 홍성수;심재홍
    • 한국정보처리학회논문지
    • /
    • 제1권3호
    • /
    • pp.290-298
    • /
    • 1994
  • 본 논문은 p(p= $n^{1-x}$, 0〈x〈1)개 프로세서가 존재하는 EREW-PRAM 모델 병 렬 컴퓨터에서 시간 복잡도가 0( $n^{x}$ log n)이며 비용 (최악의 실행시간*프로세서 수)은 0(nlogn)이고, 자료 이동도가 0( $n^{1-}$x+ $n^{x}$ )인 병렬 정렬 알고리즘을 제안한다. 병렬 정렬 알고리즘은 리스트를 p개 특정키를 중심으로 분리한 다음 블럭 의 크기를 거의 일정하게 할 수 있는 엔코딩 기법을 사용했다.다.

  • PDF

Effective Partitioning of Static Global Buses for Small Processor Arrays

  • Matsumae, Susumu
    • Journal of Information Processing Systems
    • /
    • 제7권1호
    • /
    • pp.85-92
    • /
    • 2011
  • This paper shows an effective partitioning of static global row/column buses for tightly coupled 2D mesh-connected small processor arrays ("mesh", for short). With additional O(n/m (n/m + log m)) time slowdown, it enables the mesh of size $m{\times}m$ with static row/column buses to simulate the mesh of the larger size $n{\times}n$ with reconfigurable row/column buses ($m{\leq}n$). This means that if a problem can be solved in O(T) time by the mesh of size $n{\times}n$ with reconfigurable buses, then the same problem can be solved in O(Tn/m (n/m + log m)) time on the mesh of a smaller size $m{\times}m$ without a reconfigurable function. This time-cost is optimal when the relation $n{\geq}m$ log m holds (e.g., m = $n^{1-\varepsilon}$ for $\varepsilon$ > 0).

An Efficient DVS Algorithm for Pinwheel Task Schedules

  • Chen, Da-Ren;Chen, You-Shyang
    • Journal of Information Processing Systems
    • /
    • 제7권4호
    • /
    • pp.613-626
    • /
    • 2011
  • In this paper, we focus on the pinwheel task model with a variable voltage processor with d discrete voltage/speed levels. We propose an intra-task DVS algorithm, which constructs a minimum energy schedule for k tasks in O(d+k log k) time We also give an inter-task DVS algorithm with O(d+n log n) time, where n denotes the number of jobs. Previous approaches solve this problem by generating a canonical schedule beforehand and adjusting the tasks' speed in O(dn log n) or O($n^3$) time. However, the length of a canonical schedule depends on the hyper period of those task periods and is of exponential length in general. In our approach, the tasks with arbitrary periods are first transformed into harmonic periods and then profile their key features. Afterward, an optimal discrete voltage schedule can be computed directly from those features.