• 융합정보논문지
• /
• 제9권1호
• /
• pp.136-141
• /
• 2019

본 논문은 Cortex-M4 기반 소형 데이터수집, 융합 및 고속 전송시스템 대해서 기술하였다. 본 논문에서 설계한 데이터 수집 및 전송 시스템은 산업현장에서 발생되는 각종 데이터를 실시간 수집하여 서버 컴퓨터로 직접 자료를 전송할 수 있으며 간단한 필드-프레임을 개발해서 데이터 전송 속도를 향상 시켰다. 또한 각종 센서에서 수집된 여러종류의 데이터를 데이터 수집장치로 쉽게 전달할 수 있도록 디지털 신호 입력부와 아나로그 신호 입력부, 디지털 신호 출력부와 아나로그 신호 출력부가 별도로 구성되도록 설계하였다. 이러한 소형 데이터수집 시스템은 실시간으로 각종 데이터의 수집 및 고속 데이터 전송이 실시되어 산업현장에서 정밀한 제품들의 품질향상에 크게 기여하리라 판단된다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권5호
• /
• pp.380-384
• /
• 2009

모바일 장치에서 수집되는 로그 데이터는 개인의 일상에 대한 다양하고 지속적인 정보를 담고 있다. 이로부터 얻을 수 있는 사용자의 위치, 사진, 사용중인 모바일장치 기능 및 서비스의 종류를 통하여 사용자의 상태를 추론하고 개인의 일상을 이해하는 연구가 많은 관심을 받고 있다. 본 논문에서는 모바일 장치로부터 실시간으로 로그 데이터를 수집, 분석하고 이를 지도기반으로 시각화하여 개인 일상에 대한 정보를 효과적으로 관리할 수 있도록 하며 다른 사용자와 이 정보를 공유하여 상호 사용 가능한 어플리케이션을 개발한다. 제안하는 어플리케이션은 베이지안 네트워크 확률 모델을 채택하여 개인의 상황을 추론한다. 실험에서는 실제로 수집된 로그 정보를 바탕으로 효율적 시각화 및 다른 사용자와의 정보 공유 기능의 유용성을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.321-323
• /
• 2016

최근 SNS, 클라우드 서비스, IoT 등 신기술이 발전함에 따라서 개인 정보 보호와 보안에 관심이 대두 되었다. 때문에 기업들은 고객 정보 보호를 위한 보안 솔루션 구축이 필수불가결해졌다. 이러한 기업의 니즈를 충족시키기 위해 ESM이라는 보안 관리 시스템이 등장하고 최근에는 SIEM으로 넘어가고 있는 추세이다. SIEM은 관리자가 로그들을 모니터링 하는 방식으로 많은 양의 로그가 발생하거나 축적된 로그들을 분석하는 것은 한계가 있다. 따라서 본 논문에서는 빅 데이터 시스템을 이용하여 로그들을 축적하고 머하웃을 이용하여 축적된 로그들을 분석하는 자동화 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1215-1218
• /
• 2015

본 논문에서는 디지털 콘텐츠 거래 모니터링 시스템의 로그 저장 장치의 안정성을 개선하는 방법을 제안한다. 디지털 콘텐츠 거래 모니터링 시스템은 디지털 콘텐츠의 거래 내용을 정확하게 파악하기 위해서 콘텐츠 거래 로그를 영속적으로 관리할 수 있어야 한다. 그러나 최근에 본 연구팀에 의해서 개발된 프로토타입 시스템에서는 대량의 트랜잭션이 실행될 경우에 저장 로그 데이터의 안정성이 훼손되는 경우가 발생할 수 있음이 보고되었다. 따라서 본 연구에서는 디지털 콘텐츠 거래 모니터링 시스템에 동시에 다수의 트랜잭션이 발생하여 검색엔진에 문제가 생기더라도 저장하고 있는 데이터의 안정성을 보장하면서 다수의 이용자들로부터 수집한 로그를 처리할 수 있도록 로그 저장시스템의 안정성 증진 방안을 제안한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.249-251
• /
• 2021

본 논문에서는 WEB대상으로 UI테스트를 최초 설계할 때, 웹로그를 분석하여 사용자들의 패턴을 파악하고 자동으로 테스트 시나리오와 케이스를 설계하여 제공하는 시스템을 제안한다. 이 시스템은 메세지큐를 활용하여 로그 데이터를 효율적으로 수집할 수 있고, 분석 시스템과 사용자들이 사용하는 웹서버를 분리하여 로그분석으로 인한 시스템 과부하 현상을 예방 할 수 있다. 또한 로그분석을 통해 추출된 데이터를 통해 사용자들이 실제로 자주 사용하거나 사용했던 사용 경로를 이용하여 자동으로 테스트 시나리오와 테스트 케이스에 대한 자료들을 접할 수 있어 테스트 분석, 설계 과정에서의 소요되는 시간이 감축되는 것을 기대할 수 있으며, 실제 사용자들이 자주 이용하는 패턴으로 테스트 대상을 정할 수 있기 때문에 후에 테스트를 통한 결함이 조치가 된다면 사용자들이 결함 경험을 줄일 수 있을 것이라 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.57-58
• /
• 2017

사물인터넷 환경의 다양한 기기에서는 매초마다 시스템 로그 데이터, 온도, 습도, 조도 및 위치 정보 등과 같은 데이터를 지속적으로 생성한다. 이렇게 생성된 데이터는 기기 안에서 대부분 소멸되거나 수집된다 하더라도 시스템 개선의 일부 목적으로 활용하는데 그칠 뿐이다. 본 논문에서는 각각의 사물인터넷 기기에서 발생하는 비정형 데이터를 스트리밍 방식을 통해 수집 서버로 전송하고 이를 유연한 스키마 구조를 가지는 NoSQL 데이터베이스에 적재하는 프레임워크 설계를 제안한다. 이렇게 수많은 장비로부터 수집된 로그 및 센싱 데이터는 빅데이터 분석을 통해 산업의 현장에서 생산성 향상을 위해 사용할 수 있으며 공공의 목적으로 도심지의 교통문제 해소와 재난 및 재해 예측에 활용될 수 있다.

• 디지털콘텐츠학회 논문지
• /
• 제9권3호
• /
• pp.491-498
• /
• 2008

최근 몇 년간 악의적 내부자에 의해 기업의 기밀정보가 유출된 사례들이 급속도로 증가하고 있으며, 이는 기업의 경쟁력 약화와 심지어 기업의 생존을 좌우하고 있음에도 불구하고 내부자에 의한 기밀정보 유출을 대비한 보안대책과 보안기술은 미비한 실정이다. 이에, 본 논문에서는 현재 구축 운영 중인 기업 내부 지향적인 보안 기술들에 대한 특징과 한계들을 분석하여 기업정보 유출 사고 발생 시 그 피해를 최소화하기 위한 통합 로그분석 시스템을 제안한다. 통합 로그분석 시스템은 사전에 분석된 위협 룰에 근거하여 내부 구성원의 기밀정보 유출 가능 행위들을 사전에 탐지하는 시스템으로, 보안 및 업무단위 시스템을 연동하여 사용자의 모든 행위 로그를 수집하는 로그수집 모듈, 룰에 의해 비정상 유출행위를 탐지하며 보안지수를 생성하는 로그분석 모듈, 탐지 결과 보고서를 생성하는 모듈로 구성된다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 한국IT서비스학회:학술대회논문집
• /
• 한국IT서비스학회 2010년도 춘계학술대회
• /
• pp.291-295
• /
• 2010

최근 급격한 하드웨어 기술과 데이터베이스 시스템의 발전은 우리 주변에서 발생하는 다양한 분야의 데이터를 자동으로 수집하는 것을 가능하게 하였다. 흔히 데이터 스트림(data stream)이라고 언급되는 끊임없이 생산되는 대용량의 데이터를 효율적으로 처리하여 유용한 정보를 얻어내는 기술은 이미 많은 응용 분야에서 광범위하게 연구되고 있다. 인터넷은 이러한 데이터 스트림을 양산해 내는 주요 원천 중의 하나이다. 인터넷 비즈니스의 활성화와 더불어 웹로그 데이터 스트림은 마케팅, 전략 수립, 고객관리 등 여러 부분에 광범위하게 활용되기 시작했으며, 보다 정확하고 효율적인 분석에 대한 요구사항도 점점 늘어나고 있다. 데이터 웨어하우스(Data Warehouse)는 수집된 데이터를 주제 기반으로 통합하여 시계열 형태로 적재하는 저장소서 유용한 분석이나 의사결정에 많이 사용되어 왔다. 데이터웨어하우스는 데이터를 요약하고 통합 및 정제하는 기능을 제공하여 대용량의 데이터 처리에 적합하고 데이터의 품질을 향상시키기 때문에 데이터 마이닝 분야에서 전처리 과정으로도 많이 이용되어 왔다. 본 논문에서는 웹로그 데이터 스트림에 대한 데이터 웨어하우스를 구축하여 보다 고품질의 유용한 정보를 효율적으로 얻어내는 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.60-63
• /
• 2008

개인화 장비 기술의 발달과 함께 최근 모바일 디바이스는 카메라, MP3 플레이어 등 다양한 기능을 포함하고 있으며, 많은 사용자가 이를 사용하고 있다. 모바일 디바이스는 사용자가 항상 휴대하기 때문에 사용자 정보를 습득하기에 유용하며 따라서 이로부터 수집된 다양한 정보를 바탕으로 최근 여러가지 서비스를 제공하기 위한 노력이 이루어지고 있다. 본 논문에서는 사용자의 모바일 로그를 바탕으로 행동 패턴을 파악하여 사용자가 앞으로 취할 행동을 예측하고자 하며, 이 과정에서 다양한 행동 패턴 중 정확한 행동 예측을 수행하기 위해 다음과 같은 방법을 활용하였다. 장소, 시간, 요일 정보를 함께 사용하여 동적 베이지안 네트워크를 이용해 시간 변화에 따른 사용자 행동 패턴을 학습하였으며, 개인 사용자 모델과 전체 사용자 모델을 따로 학습함으로써 더 정확한 행동 패턴의 학습이 가능하도록 하였다. 실험을 위해 대학생들로부터 수집된 모바일 로그를 통해 제안하는 행동 예측 모델의 성능을 확인한 결과 77~94%의 예측 정확도를 보임을 확인하였다.