• 제목/요약/키워드: Database module

검색결과 453건 처리시간 0.028초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

웹 데이터베이스 기반의 건축자재 관리 시스템 (Construction Materials Management System Based on Web Database)

  • 문지윤;황석승
    • 한국전자통신학회논문지
    • /
    • 제12권1호
    • /
    • pp.195-200
    • /
    • 2017
  • 인터넷 기술의 발달로 웹 서비스의 질은 꾸준히 향상되고 있으며, 다양한 분야에서 해당 분야에 적합한 정보를 효율적으로 관리하기 위해 웹 데이터베이스 시스템이 활발히 활용되고 있다. 본 논문에서는 건축자재의 재사용을 목적으로 자재를 효율적으로 관리하기 위한 웹 데이터베이스를 제안한다. 제안된 건축자재관리 시스템은 위치추정 모듈을 탑재한 RFID(: Radio Frequency IDentification) 시스템을 사용하여 획득한 데이터를 바탕으로 자재의 태그 ID, 위치, 자재명, 상태, 주기 등의 데이터를 수집하여 데이터베이스를 구축한 후, 스프링 프레임워크을 이용한 웹기반의 건축자재관리 시스템을 구현한다. 최근 건축현장에서 건물의 해체 시 발생하는 대량의 잔재를 처리하는 것에 대한 여러 문제점들이 부각되고 있다. 본 논문에서 제안된 웹 데이터베이스 기반의 건축자재관리 시스템을 활용함으로써 자재의 재사용율을 향상시켜 잔재처리의 문제점을 개선하고, 재사용 가능한 건축자재를 효율적으로 관리함으로써 건축비용 절감 효과를 가져 올 수 있을 것으로 기대된다.

IOT기술을 이용한 유무선 통합 가스검출 시스템 구현 (System of gas sensor for conbinating wire and wireless using Internet of Things)

  • 방용기;강경식
    • 대한안전경영과학회지
    • /
    • 제17권4호
    • /
    • pp.297-304
    • /
    • 2015
  • This study concerns the integrated gas sensor system of wire and wireless communication by using IoT(Internet of Things) technology. First, communication part is that it delivers the detection information, which transferred by wire or wireless communication and required control procedure based on a wireless module that receives the gas leakage information from wired or wireless detector, to administrator or user's terminal. Second, receiver part is that it shows the location and information, which received from the wired detector formed by a detecting sensor's node as linking with the communication part, and transfers these to the communication part. Third, wireless detector formed as a communication module of a detecting sensor node is that it detects gas leakage and transfers the information through wireless as a packet.Fourth, wired detector communicated with the receiver part and formed as a communication module of a detecting sensor node is that it detects gas leakage, transfers and shows the information as a packet. Fifth, administrator's terminal is that it receives gas leakage information by the communication part, transfers the signal by remote-control, and shut off a gas valve as responding the information. Sixth, database is that it is connected with the communication part; it sets and stores the default values for detecting smoke, CO., and temperature; it transfers this information to the communication part or sends a gas detecting signal to user's terminal. Seventh, user's terminal is that it receives each location's default value which stored and set at the database; it manages emergency situation as shutting off a gas valve through remote control by corresponding each location's gas leakage information, which transferred from the detector to the communication part by wireless.It is possible to process a high quality data regarding flammable or toxic gas by transferring the data, which measured by a sensor module of detector, to the communication part through wire and wireless. And, it allows a user to find the location by a smart phone where gas leaks. Eventually, it minimizes human life or property loss by having stability on gas leakage as well as corresponding each location's information quickly.

CDR을 이용한 웹 기반 음성 트래픽 관리시스템의 설계 및 구현 (Design and Implementation of Web based Voice Traffic Management System using CDR)

  • 김은성;안성진;정진욱
    • 정보처리학회논문지C
    • /
    • 제8C권5호
    • /
    • pp.657-666
    • /
    • 2001
  • 본 논문에서는 글로벌 캐리어들이 고객 중심으로 음성 트래픽을 효율적으로 처리 및 관리할 수 있도록 CDR을 이용하여 음성 트래픽 관리 항목들을 제안하였으며, 관리 항목을 산출하기 위한 계산 수식들을 정의하였다. 이러한 관리 항목들을 웹 인터페이스 모듈, 분석 모듈, 데이터 수집 모듈, 데이터베이스 관리 모듈로 분리하여 시스템을 설계하였으며 웹 기술을 이용하여 시스템을 구현함으로써 가용성 및 사용의 편의성을 높였다. 또한, 규정된 관리 항목의 유효성을 검증하기 위하여 실제로 글로벌 캐리어에 의해 수집된 CDR을 바탕으로 관리 항목들을 실험하였다. 제안된 웹 기반 음성 트래픽 관리 시스템은 글로벌 캐리어들에게 네트워크 정보 수집, 장애 판단 및 원인 해결, 고객의 성향 분석을 통한 보다 질 높은 서비스 제공 등 도움을 줄 것으로 기대된다.

  • PDF

Cell Transmission Model 시뮬레이션을 기반으로 한 클라우드 환경 아래에서의 고속도로 교통 예측 및 최적 제어 시스템 개발 (Development of Traffic Prediction and Optimal Traffic Control System for Highway based on Cell Transmission Model in Cloud Environment)

  • 탁세현;여화수
    • 한국ITS학회 논문지
    • /
    • 제15권4호
    • /
    • pp.68-80
    • /
    • 2016
  • 자율주행 차량은 다양한 센서를 활용하여 사람과 유사한 수준으로 실시간 도로환경 변화를 인지, 환경 변화에 대한 적절한 판단 및 제어를 수행하여야 한다. 특히 영상센서는 차선인식 기능을 통해 주행방향 결정 및 차로이탈 방지 등 조향제어 수행을 위한 인지에 활용된다. 하지만 관련 성능기준은 ADAS(Advanced Driver Assistance System)와 연계된 '운전자 보조' 역할에 초점이 맞춰져, 자율주행시 요구되는 '주체적 상황 인지'를 위한 성능조건과 다를 것으로 판단된다. 본 연구에서는 자율주행시 차선인식 기능이 정상적으로 작동되지 않는 상황이 지속될 때 차량 진행방향과 도로 선형방향의 불일치에 따라 발생되는 횡방향 차로이탈을 차량의 이동 궤적을 기반하여 추정하고, 안전성 확보를 위한 차로이탈 허용 수준 및 영상센서 성능수준을 제시하였다. 분석 결과 승용차 조건에서 차선인식 기능이 1초 이상 연속적인 오작동을 일으킨다면 차로이탈에 의한 위험한 상황에 놓일 수 있는 것으로 나타났다. 따라서 자율주행 차량을 위한 차선인식 기능 평가 시 현재 기준보다 큰 횡방향 차로이탈상황에 대한 검토가 필요할 것으로 판단된다.

변형된 FP-Tree를 기반한 상품 추천 시스템 (The Goods Recommendation System based on modified FP-Tree Algorithm)

  • 김종희;정순기
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권11호
    • /
    • pp.205-213
    • /
    • 2010
  • 연관규칙 마이닝 기법 중에 하나인 FP-트리 알고리즘을 이용하는 추천시스템이 시도되고 있다. 본 논문에서는 트랜�Ъ� 데이터베이스로부터 빈발 2-항목집합만을 추출하여 연관규칙을 생성하는 변형된 FP-알고리즘을 사용하는 추천시스템을 제안하였다. 제안된 추천시스템은 전처리 모듈, 학습 모듈, 추천 모듈 및 평가 모듈로 구성되었다. 제안된 추천시스템의 실험을 통하여 상품 추천의정확률과 재현율과 F-Measure와 성공률과 추천실행시간을 수행하였으며, 순차패턴 마이닝 기법을 사용하는 추천시스템과의 성능을 비교분석 하였다. 순차패턴 마이닝기법을 사용하는 추천시스템과 학습 성능, 추천 성능을 비교한 결과 학습 성능은 5배 이상 향상되었으며, 추천 성능은 20%이상 향상 되었다. 결론적으로, 순차패턴 추천시스템과 같은 데이터를 가지고 실험하여 추천시스템 성능의 타당성에는 보다 나은 시스템임을 입증 하였다.

VoiceXML 기반 영어 교육 평가 시스템 설계 및 구현 (Design and Implementation of the English Education Testing System Interface Based on VoiceXML)

  • 장승주
    • 컴퓨터교육학회논문지
    • /
    • 제8권6호
    • /
    • pp.75-83
    • /
    • 2005
  • 본 논문에서는 외국어 학습 영역인 영어 듣기와 말하기 평가를 웹과 VoiceXML 기반 교육 평가 시스템을 이용하여 장소와 시간적 제한을 받지 않고 평가하는 방법을 연구하였다. VoiceXML 기반교육 평가 시스템은 사용자 등록 모듈, 평가 모듈, 평가 결과 모듈로 구성된다. 사용자 등록 모듈은 사용자 이름과 아이디, 비밀번호를 사용자 데이터베이스에 등록하여, 학습자가 평가를 하기 위해 전화를 했을 때 vxml 시나리오에 의해 제공되어지는 음성을 듣고 로그인을 하여 사용자를 확인할 수 있도록 하였다. VoiceXML 기반 전화 평가 시스템에서 출제자는 문제 출제와 평가, 평가 결과를 얻기 위한 시간, 노력을 경감할 수 있으며, 학습자는 언제 어디서나 유무선 전화기를 이용하여 VoiceXML 마크업 언어로 제공되는 시나리오에 의해 대화형 음성으로 제공되는 평가 문항을 듣고 직접 음성으로 평가함으로써 외국어 학습에 대한 효과를 올릴 수 있다.

  • PDF

실시간 지형정보 획득을 위한 GPS Lap-top Computer System 구축 (Development of GPS Lap-top Computer System to acquire geographic information in real-time)

  • 강준묵;최종현;송승호
    • 대한공간정보학회지
    • /
    • 제6권2호
    • /
    • pp.81-90
    • /
    • 1998
  • 지형정보시스템의 수요 급증과 함께 다변화되는 공간정보들의 신속하고 정확한 입력 및 갱신 시스템이 요구되고 있으며, 주제도 제작에 따른 데이터베이스 구축을 위해 보다 효율적인 현장측량시스템이 요구되고 있다. 이를 위해 본 연구에서는 저렴한 GPS 수신기를 이용한 GPS Lap-top Computer System을 구축하고자 GPS 수신기와 휴대용 컴퓨터간의 인터페이스 구성, 일반 GPS 및 실시간 DGPS 자료처리 모듈, 실시간 3차원 좌표변환 및 수치지도 입력, 수정 모듈을 개발하였으며, GPS 위치정보와 속성정보를 관리할 수 있도록 수치지도의 표준안에 따른 지형지물코드와 속성값 입력 모듈을 개발하였다 이를 토대로 GPS Lap-top Computer System을 이용한 지형공간정보의 획득, 입력 및 수정방안의 효용성을 제시하였다.

  • PDF

낮은 피사계 심도 영상에서 관심 물체의 효율적인 추출 방법 (An Efficient Object Extraction Scheme for Low Depth-of-Field Images)

  • 박정우;이재호;김창익
    • 한국멀티미디어학회논문지
    • /
    • 제9권9호
    • /
    • pp.1139-1149
    • /
    • 2006
  • 본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.

  • PDF

A Development of DCS Binding Delay Analysis System based on PC/Ethernet and Realtime Database

  • Gwak, Kwi-Yil;Lee, Sung-Woo;Lim, Yong-Hun;Lee, Beom-Seok;Hyun, Duck-Hwa
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.1571-1576
    • /
    • 2005
  • DCS has many processing components and various communication elements. And its communication delay characteristic is affected diverse operating situation and context. Especially, binding signal which traversed from one control-node to another control-node undergo all sort of delay conditions. So its delay value has large deviation with the lapse of time, and the measurement of delay statistics during long time is very difficult by using general oscilloscope or other normal instruments. This thesis introduces the design and implementation of PC-based BDAS(Binding Delay Analysis System) System developed to overcomes these hardships. The system has signal-generator, IO-card, data-acquisition module, delay-calculation and analyzer module, those are implemented on industrial standard PC/Ethernet hardware and Windows/Linux platforms. This system can detect accurate whole-system-wide delay time including io, control processing and network delay, in the resolution of msec unit, and can analyze each channel's delay-historic data which is maintained by realtime database. So, this system has strong points of open system architecture, for example, user-friendly environment, low cost, high compatibility, simplicity of maintenance and high extension ability. Of all things, the measuring capability of long-time delay-statistics obtained through historic-DB make the system more valuable and useful, which function is essential to analyze accurate delay performance of DCS system. Using this system, the verification of delay performance of DCS for nuclear power plants is succeeded in KNICS(Korea Nuclear Instrumentation & Control System) projects

  • PDF