• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10c
• /
• pp.16-18
• /
• 2002

다차원 데이터를 온라인으로 분석하기 위해서는 사전에 집계 테이블들을 계산해 둔다. 대용량 고차원 데이터의 경우는 집계 테이블의 분량이 천문학적으로 방대하기 때문에 사전 집계 계산이 현실적으로 불가능한 경우가 많다. 고차원 데이터 처리에 관한 연구로는 데이터의 차원 수를 감소시키거나 인덱스를 압축하여 질의처리 시간을 단축하려는 연구를 들 수 있는데, 이러한 방법들은 고차원 데이터의 온라인 분석시에 발생하는 데이터 폭발 현상을 근본적으로 해결하지는 못한다. 본 연구에서는 고차원 데이터가 분석될 때 실제로 저차원 집계 테이블들이 주로 사용된다는 점에 착안하여 데이터 폭발 현상을 감소시키면서 데이터를 분석하는 방안을 제시한다 이 방법은 사전 집계 연산을 할 때 크기가 방대한 고차원 집계 테이블들의 생성을 생략하고, 3-6차원 또는 그 이하 차원의 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.

• Journal of Korea Multimedia Society
• /
• v.11 no.5
• /
• pp.567-578
• /
• 2008

For analyzing a huge amount of web pages available in the Internet, we need to extract the encoded information in web pages. In this paper, we propose a method to extract and convert web information from web pages into XML documents for multidimensional analysis. For extracting information from web pages, we propose two languages: one for describing web information extraction rules based on the object-oriented model, and another for describing regular expressions of HTML tag patterns to search for target information. For multidimensional analysis on XML documents, we propose a method for constructing an XML warehouse and various XML cubes from it like the way we do for relational data. Finally, we show the validness of our method through the application to US patent web pages.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.423-426
• /
• 2008

한국증권선물거래소의 유가증권 매매체결시스템은 안정적이고 신속한 데이터 처리에 초점을 둔 시스템이다. 인터넷과 HTS(Home Trading System)의 대중화로 인해 대량의 데이터로부터 적시에 정보를 추출하고 분석하고자 하는 요구가 증가하고 있다. 그러나 현재의 통계정보시스템은 이와 같은 요구를 수용하기 어려우며 개발자의 별도 노력이 요구된다. 또한 목표성능에 대한 요구가 매우 높아짐에 따라 시스템 및 어플리케이션의 증설과 개선작업이 빈번하지만 그 효과를 예측하기 어려우며 정량화 된 근거자료의 부재로 의사결정을 지연시킨다. 따라서 이와 같은 요구사항들을 해결하기 위해 기존의 통계정보시스템을 활용하고 추가적인 데이터들을 다양한 차원에서 분석 가능하도록 웨어하우스 데이터베이스를 구축하며 성능예측을 위한 요소들을 추출하고 데이터마이닝을 수행하여 의사결정에 도움을 줄 수 있는 다차원 모델링 기반의 거래분석 시스템을 제안한다. 거래분석 시스템의 구축으로 사용자는 웹상에서 적시에 다차원 분석보고서를 생성할 수 있다. 또한 관리자는 외부적 환경변화에 따른 향후 시스템 성능 감소를 예측할 수 있으며 내부적 요인을 제어하여 이를 상쇄할 수 있는 방안을 찾을 수 있게 된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.313-315
• /
• 2000

클러스터링에 있어서 K-means와 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최소 해에 수렴될 문제와 사전에 클러스터 개수를 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 병렬 탐색을 통해 최적 해를 찾는 진화 알고리즘을 사용하여 지역적 최소 해에 수렴되는 문제점을 개선하였으며, 클러스터의 특성을 표준편차 벡터를 계산하여 중심으로부터 포함된 데이터가 얼마나 분포되어 있는지 알 수 있는 분산도와 임의의 데이터와 모든 중심들간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터간의 간격을 알 수 있는 분리도를 정의함으로써 자동으로 클러스터 개수를 결정할 수 있게 하였다. 실험데이터와 가우시안 분포에 의해 생성된 다차원 실험데이터를 사용하여 제안한 알고리즘이 이러한 문제점들을 해결하고 있음을 보인다.

• Journal of Korea Multimedia Society
• /
• v.9 no.11
• /
• pp.1395-1409
• /
• 2006

A spatial data warehouse has spatial data cube composed of multi-dimensional data for efficient OLAP(On-Line Analytical Processing) operations. A spatial data cube supporting concept hierarchies holds huge amount of data so that many researches have studied a incremental update method for minimum modification of a spatial data cube. The Cube, however, compressed by eliminating prefix and suffix redundancy has coalescing paths that cause update inconsistencies for some updates can affect the aggregate value of coalesced cell that has no relationship with the update. In this paper, we propose incremental batch update method of a spatial data cube. The proposed method uses duplicated nodes and extended node structure to avoid update inconsistencies. If any collision is detected during update procedure, the shared node is duplicated and the duplicate is updated. As a result, compressed spatial data cube that includes concept hierarchies can be updated incrementally with no inconsistency. In performance evaluation, we show the proposed method is more efficient than other naive update methods.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.5
• /
• pp.135-145
• /
• 2011

These days, the research of a sensor data management system for USN based real-time monitoring application is active thanks to the development and diffusion of sensor technology. The sensor data is rapidly changeable, continuous and massive row level data. However, end user is only interested in high level data. So, it is essential to effectively process the row level data which is changeable, continuous and massive. In this paper, we propose a sensor data management system with multi-analytical query function using OLAP and anomaly detection function using learning based classifier. In the experimental section, we show that our system is valid through the some experimental scenarios. For the this, we use a sensor data generator implemented by ourselves.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04a
• /
• pp.743-745
• /
• 2003

R-tree는 공간 데이터나 다차원 데이터의 효율적인 질의 처리를 위한 인덱스 구조이다. 다량의 데이터로부터 빠르게 인덱스를 생성하기 위해서 많은 다량로딩 기법들이 제안되었으나 이들은 공간이용률을 극대화하는 데에 초점을 맞춰 R-tree의 목적인 효율적인 질의 처리를 위한 개선의 여지가 남아 있다. 본 논문에서는 다량로딩 과정에서 인접한 노드들간의 겹치는 영역을 감소시켜 전체적으로 질의 처리 성능을 향상시킬 수 있는 기법을 제안한다. 실험 결과에서 보이듯이 지금까지 가장 효율적이라고 알려져 있는 STR 기법보다 질의 성능이 좋게 나오는 것을 확인할 수 있다.

• Proceedings of the Korea Contents Association Conference
• /
• 2017.05a
• /
• pp.27-28
• /
• 2017

다양한 위상학적 관계(topological relation)를 분석하는 네트워크 분석은 복잡한 데이터에서 숨어있는 특성과 사실을 발견하는 기술로 최근 빅데이터 분야에서 데이터 분석 핵심 기술로 급부상하고 있다. 본 연구에서는 질병연구에 핵심적인 생물학적 네트워크의 생성 및 사용자 친화적인 네트워크 분석시스템을 개발하였다. 개발한 시스템은 PubMed에서 특정 질병과 관련있는 논문 요약 정보를 자동 수집후 텍스트마이닝을 통해 질병 관련 화합물, 유전자 그리고 상호작용 정보를 추출해 생물학적 네트워크를 생성하는 기능을 제공한다. 또한, 연구자가 손쉽게 생성된 네트워크에 대한 검색 및 다차원 분석을 수행할 수 있는 기능을 제공한다. 마지막으로 개발한 시스템의 우수성을 입증하기 위해 크론병(Crohn's Disease)에 대한 적용사례를 소개한다.

• The Korean Journal of Applied Statistics
• /
• v.32 no.3
• /
• pp.451-462
• /
• 2019

Document-term frequency matrix is a type of data used in text mining. This matrix is often based on various documents provided by the objects to be analyzed. When analyzing objects using this matrix, researchers generally select only terms that are common in documents belonging to one object as keywords. Keywords are used to analyze the object. However, this method misses the unique information of the individual document as well as causes a problem of removing potential keywords that occur frequently in a specific document. In this study, we define data that can overcome this problem as proximity data. We introduce twelve methods that generate proximity data and cluster the objects through two clustering methods of multidimensional scaling and k-means cluster analysis. Finally, we choose the best method to be optimized for clustering the object.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.267-270
• /
• 2002

본 논문에서는 Support Vector Machines (SVM) 을 이용하여, 빠르고 정확한 두 convex한 클러스터 간의 거리 측정 방법을 제시한다 제시된 방법에서는, SVM에 의해서 생성되는 최적 다차원 평면이 두 클러스터간의 최소 거리를 계산하는데 사용된다. 또한, 본 논문에서는 이러한 두 클러스터 간의 최적의 거리를 사용하여, Fuzzy Convex Clustering (FCC) 방법 (1) 에 의해서 생성되는 Convex 클러스터들을 묶어주는 효과적인 클러스터 결합 알고리즘을 제시하였다. 그러므로, 데이터의 부적절한 표현을 유발하지 않고도 클러스터들의 개수를 좀 더 줄일 수 있었다. 제시한 방법의 타당성을 위하여 여러 실험 결과를 제시하였다