• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.545-546
• /
• 2020

스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

• Annual Conference of KIPS
• /
• 2016.04a
• /
• pp.72-75
• /
• 2016

스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2015.05a
• /
• pp.290-293
• /
• 2015

개개인의 데이터가 비즈니스적으로 중요하지 않을 수 있지만, 대량으로 모으면 그 안에 숨겨진 새로운 정보를 발견할 가능성이 있는 데이터의 집합체로 빅데이터 분석 활용 사례는 점차 늘어나는 추세이다. 빅데이터 분석 기술 중 전통적인 데이터 분석방법인 하둡(Hadoop)은 예전부터 현재에 이르기까지 정형 비정형 빅데이터 분석에 널리 사용되고 있는 기술이다. 하지만 하둡은 배치성 처리 시스템으로 데이터가 많아질수록 응답 지연이 발생할 가능성이 높아, 현재 기업 경영환경과 시장환경에 대한 엄청난 양의 고속 이벤트 데이터에 대한 실시간 분석이 어려운 상황이다. 본 논문에서는 급변하는 비즈니스 환경에 대한 대안으로 오픈소스 CEP(Complex Event Processing)기반 기술을 사용하여 초당 수백에서 수십만건 이상의 이벤트 스트림을 실시간으로 지연 없이 분석가능하게 하는 실시간 분석 시스템을 개발하여 병원 ERP시스템에 적용하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.22 no.4
• /
• pp.21-30
• /
• 2016

Risk management system should be able to support a decision making within a short time to analyze stream data in real time. Many analytical systems consist of CPU computation and disk based database. However, it is more problematic when existing system analyzes stream data in real time. Stream data has various production periods from 1ms to 1 hour, 1day. One sensor generates small data but tens of thousands sensors generate huge amount of data. If hundreds of thousands sensors generate 1GB data per second, CPU based system cannot analyze the data in real time. For this reason, it requires fast processing speed and scalability for analyze stream data. In this paper, we present a fast visualization technique that consists of hybrid database and GPU computation. In order to evaluate our technique, we demonstrate a visual analytics system that analyzes pipeline leak using sensor and tweet data.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.172-175
• /
• 2013

사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10a
• /
• pp.278-280
• /
• 1999

실시간 GIS 응용 프로그램에서는 기존의 GIS 시스템과는 달리 동적인 공간데이터가 신뢰성을 위해 일정한 시간 내에 갱신되어야 유효성을 유지하며, 사용자가 요청하는 질의는 일정 시간 내에 처리되어야 하는 시간제약조건을 갖는다. 이러한 GIS응용프로그램을 지원하기 위한 실시간 공간데이터베이스 시스템에서는 기존의 실시간 데이터베이스 시스템에서 고려되지 않은 동적 실시간 공간데이터와 실시간 공간질의에 대한 처리가 필요하며 질의 처리 시 실시간 데이터와 실시간트랜잭션의 시간제약조건의 만족을 초대화하기 위한 고려가 필요하다. 본 논문에서는 실시간 공간질의 처리 시 예측성을 최대화 하기 위해 질의에서 빈번히 사용되는 데이터를 주기억상주 데이터베이스에 저장하였고, 실시간 공간데이터의 관리를 위하여 공간질의어를 확장하였다. 또한 실시간 공간질의 처리 시에 실시간 데이터와 실시간트랜잭션의 시간제약조건을 최대한 만족시키기 위해 공간질의 분석과 연산 순서의 재배치 기법을 사용하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.165-166
• /
• 2017

It is demanding to receive information of data in real time anywhere and analyze it with meaningful data. Research on the platform for such analysis is actively underway. In this paper, we try to find out what are important factors in solving the problems of collecting and analyzing IoT data in real time. How much better than existing data collection methods and analytical methods can be the basis for judging the value of the data. It is important to accurately collect and store data more quickly and quickly from many sensors in real time in real time, and analytical methods that can derive values from the stored data. Therefore, an important requirement of the analysis platform in the IoT environment is to process large amount of data in real time and to centralize and manage it.

• Annual Conference of KIPS
• /
• 2005.05a
• /
• pp.81-84
• /
• 2005

유비쿼터스 의료 기술이 본격화되면서 센서 네트워크를 통해 환자의 건강 관련 데이터 스트림을 수집하여 위험상황을 탐지하고 지속적인 건강 상태를 모니터링할 수 있게 되었다. 그러나 방대한 양의 스트림 데이터로부터 의미 있는 데이터를 효과적으로 찾아내기 위해서는 실시간으로 데이터의 갱신과 집계 연산이 가능해야 하고 데이터의 압축이 효율적으로 처리 될 수 있는 다차원 저장구조가 필요하다. 기존의 다차원 데이터 분석 도구인 OLAP 큐브 저장구조는 실시간 업데이트가 힘들고, 스트림 데이터 저장 구조인 DSMS들은 다차원 데이터 분석이 용이하지 않다. 이에 본 연구에서는 건강 스트림 데이터의 특징과 질의를 분석하고, 이러한 스트림 데이터에 적합한 저장구조의 요건을 제시하였다. 또한 점진적 갱신이 가능하고, 대용량 데이터를 시간 차원으로 압축, 삭제하기 용이하며 실시간에 분석 데이터 구축이 가능한 저장구조를 제안하고 그 효율성을 보였다.

• 한국IT서비스학회:학술대회논문집
• /
• 2005.05a
• /
• pp.215-221
• /
• 2005

최근 RFID가 비즈니스의 여러 분야에서 추적시스템을 중심으로 도입되기 시작하고 있으며, 이러한 시스템들이 기업에 괄목할만한 효율성의 중가와 비용의 감소를 가져올 것으로 기대되고 있다. 한편, 기업의 대용량 정보저장고로 사용되어 온 데이터 웨어하우스는 생태적으로 과거의 정적인 데이터를 분석하도록 디자인 되었으며, 온라인 분석도구인 OLAP은 데이터 웨어하우스에 저장된 정적 데이터를 분석하는 도구로 사용됨으로 의사결정 지원의 역할을 하고 있다. 그렇다면 RFID를 통하여 실시간으로 수집되는 정보가 OLAP과 결합할 경우 그 정보는 추적과 같은 단순한 정보분석이 아니라 실시간 기반의 보다 중요한 의사결정을 위하여 사용될 수 있을 것이다. 본 연구에서는 데이터 웨어하우스의 정보소스를 확장하기 위한 노력의 일환으로 RFID와 데이터 웨어하우스의 통합모델을 제안한다. 그와 함께 RFID 기기를 통하여 수집된 실시간 기반의 동적인 정보를 분석할 수 있는 OLAP을 제시하고 있다. 그리고 이러한 개념을 프로토타입으로 구현함으로서 유비쿼터스 컴퓨팅 기술의 핵심을 이루고 있는 RFID가 데이터 웨어하우스에 정보소스를 제공할 수 있으며 온라인 분석도구와 결합될 경우 보다 강력한 의사결정 지원도구가 될 수 있음을 보여 준다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.1-4
• /
• 2019

Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.