• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10c
• /
• pp.70-72
• /
• 2002

본 논문에서는 분산된 XML 문서를 수집 처리하여 상호 제공하는 과정에서 활용될 통합된 XML 문서의 전역 스키마를 생성하는 시스템을 제안한다. 제안된 시스템에서는 분산 환경에 존재하는 개별적인 XML 문서들에 대한 지역 스키마 정보를 관계형 데이터베이스로 구축하고, 통합된 XML 문서의 데이터를 기반으로 각각의 지역 스키마 데이터베이스를 검색한 후 데이터에 적합한 스키마 정의를 추출하게 된다. 또한 추출과정에서 중복 정의에 의한 충돌 범주를 분석하고, 이를 해결하는 방법도 제시하였다. 시스템 모델링 결과 XML 문서의 구조와 검증을 명확하게 보장하는 통합된 XHL 문서의 전역 스키마 생성과 지역 스키마간 발생되는 충돌문제 해결이 가능함을 알 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10c
• /
• pp.73-75
• /
• 2002

본 논문에서는 분산된 XML 문서를 수집 처리하여 상호 제공하는 과정에서 활용될 통합된 XML 문서의 전역 스키마를 생성하는 시스템을 제안한다. 제안된 시스템에서는 분산 환경에 존재하는 개별적인 XML 문서들에 대한 지역 스키마 정보를 관계형 데이터베이스로 구축하고, 통합된 XML 문서의 데이터를 기반으로 각각의 지역 스키마 데이터베이스를 검색한 후 데이터에 적합한 스키마 정의를 추출하게 된다. 또한 추출과정에서 중복 정의에 의한 충돌 범주를 분석하고, 이를 해결하는 방법도 제시하였다. 시스템 모델링 결과 XML 문서의 구조와 검증을 명확하게 보장하는 통합된 XHL 문서의 전역 스키마 생성과 지역 스키마간 발생되는 충돌문제 해결이 가능함을 알 수 있었다.

• Annual Conference of KIPS
• /
• 2015.10a
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.6
• /
• pp.273-282
• /
• 2016

Visualization tool can be divided by three components - data I/O, visual transformation and interactive rendering. In this paper, we present requirements of three major components on visualization tools for massive scientific dataset and propose strategies to develop the tool which satisfies those requirements. In particular, we present how to utilize open source softwares to efficiently realize our goal. Furthermore, we also study the way to combine several open source softwares which are separately made to produce a single visualization software and optimize it for realtime visualization of massiv espatio-temporal scientific dataset. Finally, we propose a distributed shared memory based scientific visualization tool which is called "GLOVE". We present a performance comparison among GLOVE and well known open source visualization tools such as ParaView and VisIt.

• Annual Conference of KIPS
• /
• 2003.11b
• /
• pp.709-712
• /
• 2003

이동체의 위치를 기반으로 하는 다양한 응용 어플리케이션들은 그 영역을 점차 확대하고 있다. 위치를 기반으로 한다는 것은 이동체의 현재위치 뿐만 아니라 과거 및 미래 위치에 대한 예측을 모두 포함한다. 이런 이동체의 위치를 효율적으로 적용할 수 있는 분야가 이동체의 위치 기반 라우팅 분석 이다. 이는 특정 이동체의 과거 위치 궤적, 실시간 현재 위치 추적, 그리고 지도정보와 결합된 최단 및 최적 경로 산출 등의 다양한 분야를 포함한다. 본 논문에서는 이런 위치 기반 라우팅 서비스를 웹 서비스 환경으로 확장한 내용을 언급한다. 웹 지리정보시스템은 사용자에게 친숙한 방법으로 지리, 속성데이터의 디스플레이 및 분석 등 다양한 서비스를 제공한다. 이는 위치기반 라우팅 서비스를 웹 지리정보시스템과의 결합하여 분산 웹 환경에서 효율적으로 라우팅 서비스를 제공할 수 있는 구조를 서술한다. 이동체의 위치는 GPS 기반의 획득 방법으로 얻어지고 지리정보와의 맵 매칭을 통해 실세계의 좌표로 변환하게 된다. 또한, 대용량 위치 데이터를 엑세스 하기 위한 메모리와 기억장치 간의 효율적인 데이터 엑세스 기법이 제시된다. 위치 기반 라우팅 분석의 결과물은 웹상에서 제공되기 위해 XML 기반의 웹 서비스 데이터로 변형된다. 이를 위한 XML 기반의 지리정보 데이터 스카마인 GML 의 적용 기술을 언급한다.

• Journal of KIISE
• /
• v.45 no.2
• /
• pp.99-105
• /
• 2018

One of the spatial statistical analysis, hotspot analysis is one of easy method of see spatial patterns. It is based on the concept that "Adjacent ones are more relevant than those that are far away". However, in hotspot analysis is spatial adjacency must be considered, Therefore, distributed processing is not easy. In this paper, we proposed a distributed algorithm design for hotspot spatial analysis. Its performance was compared to standalone system and Hadoop, Spark based processing. As a result, it is compare to standalone system, Performance improvement rate of Hadoop at 625.89% and Spark at 870.14%. Furthermore, performance improvement rate is high at Spark processing than Hadoop at as more large data set.

• KIPS Transactions on Computer and Communication Systems
• /
• v.5 no.2
• /
• pp.33-40
• /
• 2016

Due to the growth of social network systems (SNS), big data are realized and Hadoop was developed as a distributed platform for analyzing big data. Enterprises analyze data containing users' sensitive information by using Hadoop and utilize them for marketing. Therefore, researches on data encryption have been done to protect the leakage of sensitive data stored in Hadoop. However, the existing researches support only the AES encryption algorithm, the international standard of data encryption. Meanwhile, Korean government choose ARIA algorithm as a standard data encryption one. In this paper, we propose a HDFS data encryption scheme using ARIA algorithms on Hadoop. First, the proposed scheme provide a HDFS block splitting component which performs ARIA encryption and decryption under the distributed computing environment of Hadoop. Second, the proposed scheme also provide a variable-length data processing component which performs encryption and decryption by adding dummy data, in case when the last block of data does not contains 128 bit data. Finally, we show from performance analysis that our proposed scheme can be effectively used for both text string processing applications and science data analysis applications.

• Annual Conference of KIPS
• /
• 2023.05a
• /
• pp.342-344
• /
• 2023

클라우드 시장의 성장과 마이크로 서비스 접근식이 제기됨에 따라 IT인프라를 관리하기 위한 연구가 최근 활발히 이루어지고 있다. 하지만 고도화 및 분산된 환경에서 관찰 가능성 응용을 확보하기 어렵다는 문제점을 가지고 있다. 따라서 본 연구에서는 모니터링 시스템을 통한 데이터 분석 중 수집한 데이터의 분석이 난해하다는 문제를 해결하기 위한 방법을 제안한다. 제안된 방법은 NAB 데이터셋을 대상으로 STUMPY를 이용하여 데이터를 시각화하고, CNN을 이용하여 분류 작업을 수행한다. 분류를 수행한 데이터셋은 이상치 데이터와 이상 전조 데이터, 정상 데이터셋으로 분류하여 데이터셋을 구성한다. 구성한 학습 데이터셋에 대해 훈련을 마친 딥러닝 모델은 부하 테스트 환경에서 수집한 데이터에 대한 그래프 패턴을 분석하여 이상치 데이터와 이상 전조 데이터를 탐지한다.

• KIISE Transactions on Computing Practices
• /
• v.21 no.10
• /
• pp.651-657
• /
• 2015

The amount of web traffic has increased as a result of the rapid growth of the use of web-based applications. In order to obtain valuable information from web logs, we need to develop systems that can support interactive, flexible, and efficient ways to analyze and handle large amounts of data. In this paper, we present CERES, a log-based, interactive web analytics system for backbone networks. Since CERES focuses on analyzing web log records generated from backbone networks, it is possible to perform a web analysis from the perspective of a network. CERES is designed for deployment in a server cluster using the Hadoop Distributed File System (HDFS) as the underlying storage. We transform and store web log records from backbone networks into relations and then allow users to use a SQL-like language to analyze web log records in a flexible and interactive manner. In particular, we use the data cube technique to enable the efficient statistical analysis of web log. The system provides users a web-based, multi-modal user interface.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.403-404
• /
• 2014

원 업무 효율성을 높이기 위해 최근 다양한 병원 정보 시스템들이 도입되어 왔다. 이러한 시스템들을 통해 병원에서는 다양한 데이터를 전자적인 형태로 기록하고 공유하고 있으나, 이러한 데이터들은 일반적으로 간단한 통계량을 집계하는 데에만 사용되고 있어, 보다 체계적인 방법으로 병원 운영 관리에 유용한 숨겨진 지식이나 패턴을 추출하는 방법이 필요하다. 이에 본 논문에서는 기존 병원 정보 시스템들에 의해 축적되어진 환자 이력 데이터를 분석하여 임상 서비스 프로세스 모형을 추출하는 방법을 제안한다. 환자 이력 데이터는 검사나 처방 등을 실시한 기록을 포함하는데, 일반적으로 구조가 복잡하고 데이터 소스가 분산되어 있어 단순한 방법으로 분석하는 것이 까다롭다. 따라서, 본 논문에서는 먼저 단순한 형태의 프로세스 모형을 생성하고 이를 확장해나가는 단계적인 분석 방법을 소개한다. 이러한 목적을 위해 적절한 데이터 전처리, 데이터 마이닝, 프로세스 마이닝 기법 등이 활용되었으며, 제안하는 방법을 실제 류머티스과 환자 이력 데이터에 적용하여 임상 서비스 프로세스 모형을 추출할 수 있었다.