• Title/Summary/Keyword: oriented graph

검색결과 98건 처리시간 0.028초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

래피드 프로토토입핑 기법을 사용한 객체 지향 클래스 계층 구조 설계 방법 (The Object-Oriented Class Hierarchy Structure Design Method using the Rapid Prototyping Techniques)

  • 허계범;최영근
    • 한국정보처리학회논문지
    • /
    • 제5권1호
    • /
    • pp.86-96
    • /
    • 1998
  • 객체 지향 설계 모델에서 클래스 계층구조는 소프트웨어 재사용성과 복잡한 시스템 설계시에 효율적이다. 본 논문에서는 래피드 프로토타입핑 기법을 사용한 객체 지향 클래스 계층 구조 설계 방법을 제시한다. 이 방법은 객체 모델링 단계에서 식별된 클래스들을 새로운 분류 방법을 사용하여 관계성 식별과 유사성을 측정한다. 여기에는 클래스의 속성과 메소드의 측정이 요구된다. 하나의 설계 모듈인 클래스 계층구조는 대화식으로 반복적인 작업을 통하여 생성되며, 각 모듈은 참조 관계, 상속 관계, 복합 관계로 구성된다. 이들 정보는 구형 및 프로그램 유지보수시에 도움을 주기 위하여 테이블에 저장하여 클래스 관계성을 그래프로 표현하고 노드클래스를 아이콘화 하였다. 따라서 새로운 클래스 추가 및 삭제 작업이 용이하여 클래스 계층 구조 재구성과 설계정보 재사용시에 효율적이다. 본 논문에서 제시하는 방법은 프로토타입 시스템으로 뿐만 아니라 실제 시스템에 최종 전환할 수 있기 때문에 시스템 분석, 설계, 구현의 능률을 높일 수 있다.

  • PDF

크로스커팅 개념을 이용한 시스템 최적화 기법 (System Optimization Technique using Crosscutting Concern)

  • 이승형;유현
    • 디지털융복합연구
    • /
    • 제15권3호
    • /
    • pp.181-186
    • /
    • 2017
  • 시스템 최적화는 소스코드의 변경 없이 중복된 모듈을 추출하고, 추출된 모듈의 재사용을 위하여 프로그램의 구조를 변경하는 기법이다. 구조지향 개발과 객체지향 개발은 크로스커팅 영역의 모듈화에는 효율적이나 크로스커팅 개념을 모듈화 할 수 없다. 기존 시스템에서 크로스커팅 개념을 적용하기 위해, 각 시스템 내에 분산되어 있는 시스템 최적화 대상 모듈을 크로스커팅 영역으로 추출하는 기술이 필요하다. 본 논문에서는 개발이 완료된 시스템에서 중복 모듈을 추출하기 위한 방법을 제안한다. 제안하는 방법은 소스코드 분석을 통해 데이터 의존관계와 제어 의존관계를 분석하여 중복되는 요소를 추출한다. 추출된 중복된 요소는 시스템 최적화를 위하여 프로그램 의존 관계 분석에 사용될 수 있다. 중복된 의존관계 분석 결과는 제어 흐름 그래프로 변환되며, 이를 활용하여 최소 크로스커팅 모듈을 생성할 수 있다. 의존 관계 분석을 통해 추출된 요소는 크로스커팅 영역 모듈로 설정함으로써 시스템 내 중복된 코드를 최소화 할 수 있는 시스템 최적화 방법을 제시한다.

AOP를 이용하여 진화된 프로그램의 회귀테스트 기법 (Regression Testing of Software Evolution by AOP)

  • 이미진;최은만
    • 정보처리학회논문지D
    • /
    • 제15D권4호
    • /
    • pp.495-504
    • /
    • 2008
  • 관점지향 프로그래밍(AOP)은 횡단 관심사까지 모듈화 하여 소프트웨어의 모듈화를 높여주는 새로운 프로그래밍 패러다임이다. 이를 이용하면 레거시 시스템에 손대지 않고 소프트웨어를 확장시킬 수 있다. 관점지향 프로그래밍 자체 혹은 레거시 시스템만의 테스트 기법은 많이 있으나 확장된 프로그램의 테스트 기법에 대해선 많은 연구가 진행되지 않고 있다. 이 논문에서는 관점지향 프로그래밍을 이용하여 소프트웨어를 확장한 경우의 테스트 기법에 대해 관점지향 프로그래밍의 결함 모델에 맞춰 제시한다. 우선 AOP의 반사기능의 객체를 이용하여 교차점 패턴의 부정확한 강도 및 부정확한 애스펙트의 우선순위를 테스트하고, 증명 규칙을 이용하여 기대하는 사후 조건 성립의 실패에 대해 테스트하였다. 또한 set() 교차점을 이용하여 불변 조건 보존의 실패에 대해 테스트하고, 제어흐름 그래프를 이용하여 제어 의존의 부정확한 변형에 대해 확인하는 방법을 제시한다. 실증을 위하여 셋탑박스의 채널 관리 시스템을 구현하여 제시한 각각의 테스트 기법들에 대해 실험하였다.

The Ecology of the Scientific Literature and Information Retrieval (I)

  • Jeong, Jun-Min
    • 정보관리학회지
    • /
    • 제2권2호
    • /
    • pp.3-37
    • /
    • 1985
  • 본 논문은 좀 더 효율적이고 효과적인 정보 시스팀을 개발하고자 다음 두가지 가설을 제시하였다. 1) 인용 문헌 분석을 통하여 인용빈도가 높고 시간의 흐름에 따른 인용율이 증가하는 문헌은 그 문헌적 가치가 상대적으로 높다(Quality Filtering). 2) 정보 검색에 있어서 확률이론을 통한 문헌간의 상관관계를 규명짓는 클러스터링 기법이 재현율과 정확율을 모두 증가시킬 수 있다(Clustering Technique). 실제로 고프만(Goffman)의 전염성 이론의 미시적 응용(Micro-epidemic process) 데이터 베이스 내에서의 문헌의 질적 여과(Quality Filtering)를 위한 한 기법으로서 좋은 결과를 얻어냈으며 많은 정보를 이런 식으로 여과시킴으로써 정보 검색 시스팀의 효율성 또한 높일 수 있었다. 한편, 질적 여과를 거친 소규모 데이터 베이스 내에서 클러스터링 기법에 의한 정보 검색 효율은 수학의 커널 기법(Kernel Technique)의 활용으로 높은 재현율과 정확율을 나타냈을 뿐만 아니라 검색의 폭에 있어서도 많은 융통성을 제시하여 주었다.

  • PDF

The Ecology of the Scientific Literature and Information Retrieval (II)

  • Jeong, Jun-Min
    • 정보관리학회지
    • /
    • 제3권1호
    • /
    • pp.3-16
    • /
    • 1986
  • 본 논문은 좀 더 효율적이고 효과적인 정보 시스팀을 개발하고자 다음 두가지 가설을 제시하였다. 1) 인용 문헌 분석을 통하여 인용빈도가 높고 시간의 흐름에 따른 인용율이 증가하는 문헌은 그 문헌적 가치가 상대적으로 높다(Quality Filtering). 2) 정보 검색에 있어서 확률이론을 통한 문헌간의 상관관계를 규명짓는 클러스터링 기법이 재현율과 정확율을 모두 증가시킬 수 있다(Clustering Technique). 실제로 고프만(Goffman)의 전염성 이론의 미시적 웅용(Micro-epidemic process)은 데이타 베이스 내에서의 문헌의 질적 여과(Quality Filtering)을 위한 한 기법으로서 좋은 경과를 얻어냈으며 많은 정보를 이런 식으로 여과시킴으로써 정보 검색 시스팀의 효율성 또한 높일 수 있었다. 한편, 질적 여과를 거친 소규모 데이터 베이스 내에서 클러스터링 기법에 의한 정보 검색 효율은 수학의 커널 기법(Kernel Technique)의 활용으로 높은 재현율과 정확율을 나타냈을 뿐만 아니라 검색의 폭에 있어서도 많은 융통성을 제시하여 주었다.

  • PDF

모바일 어플리케이션을 위한 에너지-인식 달빅 바이트코드 리스트 스케줄링 기술 (Energy-aware Dalvik Bytecode List Scheduling Technique for Mobile Applications)

  • 고광만
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권5호
    • /
    • pp.151-154
    • /
    • 2014
  • 모바일 기기에서 어플리케이션의 에너지 소비는 운영체제, 실행시간 환경, 컴파일러, 어플리케이션 등이 복잡한 상호 작용을 통해 이루어진다. 최근까지 에너지-지향적인 고수준 및 저수준의 컴파일러 기술을 적용하여 모바일 기기에서 어플리케이션의 에너지 소비를 줄이기 위한 노력이 진행되고 있다. 본 논문에서는 안드로이드 달빅에서 실행되는 dex 파일로부터 달빅 바이트코드를 추출한 후 에너지 소비 최적화를 위한 리스트 인스트럭션 스케줄링을 적용하여 어플리케이션의 에너지 소비를 줄이고자 한다. 이러한 연구는 급속도로 확산되고 있는 안드로이드 기반 어플리케이션이 전력 공급이 제한적인 모바일 환경에서 최적화된 전력 에너지 소비할 수 있는 환경을 구축하는 데 활용할 수 있다.

초중등학생 교육용 통계패키지 통그라미 개발 (A Statistics Education Package Tong-Gramy for 5-8 Graders)

  • Lee, Jung Jin;Lee, Tae Rim;Kang, Gunseog;Kim, Sungsoo;Park, Heon Jin;Lee, Yoon-Dong;Sim, Songyong
    • 응용통계연구
    • /
    • 제27권3호
    • /
    • pp.487-500
    • /
    • 2014
  • 초중등 교과과정에 기본적인 통계 개념과 다양한 그래프가 사용된다. 하지만 통계적 개념은 이해하기 쉽지 않으며 사용된 그래프는 손으로 구현하는 경우가 많다. 본 연구에서는 그래프 및 수치요약을 직관적으로 할 수 있는 교육용 통계 패키지 '통그라미'를 개발하여 학생 및 교사에 도움이 되고자 하였다. 통그라미는 초중등학교 교과서에 나오는 그래프 및 수치요약을 포함하였다. 그래프는 동적 연결을 통하여 원자료와 연결되었으며, 원자료도 그래프에 연동하였다. 통그라미의 모든 그래프는 동적 그래프이며, 적용 가능한 경우 모핑 기법을 사용하였다.

한국어 음성인식 플랫폼(ECHOS)의 개선 및 평가 (Improvement and Evaluation of the Korean Large Vocabulary Continuous Speech Recognition Platform (ECHOS))

  • 권석봉;윤성락;장규철;김용래;김봉완;김회린;유창동;이용주;권오욱
    • 대한음성학회지:말소리
    • /
    • 제59호
    • /
    • pp.53-68
    • /
    • 2006
  • We report the evaluation results of the Korean speech recognition platform called ECHOS. The platform has an object-oriented and reusable architecture so that researchers can easily evaluate their own algorithms. The platform has all intrinsic modules to build a large vocabulary speech recognizer: Noise reduction, end-point detection, feature extraction, hidden Markov model (HMM)-based acoustic modeling, cross-word modeling, n-gram language modeling, n-best search, word graph generation, and Korean-specific language processing. The platform supports both lexical search trees and finite-state networks. It performs word-dependent n-best search with bigram in the forward search stage, and rescores the lattice with trigram in the backward stage. In an 8000-word continuous speech recognition task, the platform with a lexical tree increases 40% of word errors but decreases 50% of recognition time compared to the HTK platform with flat lexicon. ECHOS reduces 40% of recognition errors through incorporation of cross-word modeling. With the number of Gaussian mixtures increasing to 16, it yields word accuracy comparable to the previous lexical tree-based platform, Julius.

  • PDF

텍스트 마이닝 처리로 품질경영학회지 연구동향 분석 (Analysis of Research Trends in Journal of Korean Society for Quality Management by Text Mining Processing)

  • 이상복
    • 품질경영학회지
    • /
    • 제47권3호
    • /
    • pp.597-613
    • /
    • 2019
  • Purpose: The purpose of this study is to analyze the trend of quality research by analyzing the entire JKSQM(Journal of the Korean Society for Quality Management). Methods: This study is to analyze the frequency of words used in the abstract of the all JKSQM by applying the text mining processing. We use wordcrowd among text mining techniques. Results: 22 words of high frequency were presented in the abstract of the paper published in the JKSQM for 42 years. The frequency of words was shown on a 10 year basis, and the four important words were plotted on a change graph for each Vol. Frequent words of each Vol. are added in the appendix. Conclusion: The main research results are as follows. First, there has been no significant change in research trends over the last 40 years. Second, the early SQC words have been widely used, and since 1990, many words such as service-oriented words have been used, indicating a change in the times. Third, the use of the words of the 4th industrial revolution since 2010 is weak. In the above analysis, the trend of quality research in Korea is within the quality category and can be considered conservative. Now, it is expected that everything will be changed in the period of the 4th Industrial Revolution, and it is time to study the direction of quality in Korea.