• Journal of Digital Contents Society
• /
• v.14 no.3
• /
• pp.313-321
• /
• 2013

In recent, proliferation of mobile smart devices have led to big-data era, the importance of location-based services is increasing due to the exponential growth of trajectory related data. In order to process trajectory data, parallel processing platforms such as cloud computing and MapReduce are necessary. Currently, the researches based on MapReduce are on progress, but due to the MapReduce's properties in using batch processing and simple key-value structure, applying MapReduce framework for real time LBS is difficult. Therefore, in this research we propose a suitable system design on efficient indexing and search techniques for real time service based on detailed analysis on the properties of MapReduce.

• Information and Communications Magazine
• /
• v.29 no.11
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.52-54
• /
• 2017

실시간으로 빠르게 발생하는 대용량 데이터를 다루기 위해 Apache Storm, Apache Spark 등 실시간 데이터 스트림 처리 기술에 대한 연구가 활발하다. 대부분의 실시간 처리 기술들은 단독으로 사용하기에 어려움이 있으며, 데이터 스트림의 입출력을 위해 메시징 시스템과 함께 사용하는 것이 일반적이다. Apache Kafka는 대표적인 분산 메시징 시스템으로써, 실시간으로 발생하는 대용량의 로그 데이터를 전달하는데 특화된 시스템이다. 현재 Kafka를 위한 다양한 성능 모니터링 도구들이 존재한다. 이러한 모니터링 도구들은 Kafka에서 처리되는 데이터의 양 이외에도 유입 데이터의 크기, 수집 속도, 처리 속도 등 다양한 데이터들을 관찰할 수 있다. 본 논문은 Kafka에서 제공하는 도구와 오픈 소스로 제공되는 여러 개의 도구들을 비교하여, 향후 Kafka의 로드 쉐딩에 대한 연구에 적용할 수 있는 최적의 모니터링 도구를 선별하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.01a
• /
• pp.1-3
• /
• 2015

본 논문에서는 하둡 환경상에서 개발 중인 공간 빅데이터 저장 관리 시스템의 구조를 설명한다. 본 시스템은 공간 센서 및 IoT의 등장으로 대용량화된 공간 데이터로 인한 기존 공간 정보 처리 시스템의 성능적 한계를 극복하기 위한 목적으로 개발 중이다. 본 시스템은 효과적인 대용량 데이터 처리를 위해 현재 활발히 연구되고 있는 빅데이터 처리 기술과 공간 정보 처리 기술을 접목하여, 대용량의 공간 정보를 수집, 저장 관리하는 기능을 제공한다. 또한 효과적인 공간 데이터의 접근을 위해 스크립트 언어 기반의 공간 정보 처리 언어를 제공하고, SQL 형식의 선언적 공간 정보 질의 처리 기능도 제공하기 위해 개발 중에 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10a
• /
• pp.112-114
• /
• 2001

지금까지 구축 된 공간 데이터들을 각 서버끼리 공유하여 유사한 내용의 공간정보구축을 위만 중복투자를 막고 공간데이터의 활용도를 높이는 방안이 시급하다. 멀티서버 환경에서의 공간데이터의 공유는 데이터의 보안과 사용자 편의성을 고려하여 뷰로 제공되고 관리되어질 수 있다. 분산 된 대용량의 공간데이터에 대해 복잡한 공간연산 처리를 감안한다면 멀티서버 환경에서는 공간 뷰의 실체화가 필수적이다. 본 논문에서는 멀티서버 환경에서의 공간데이터의 유통을 지원하고 공유 된 공간데이터에 대한 사용자 편의성과 네트웍 부하를 고려한 공간 뷰 실체화 기법을 제안한다. 확장 된 공간데이터 디렉토리 서비스(Extended Spatial Data Diretory Service)를 이용하여 각 서버가 공유하는 공간테이블에 대란 정보를 검색하고, 검색 된 징보를 바탕으로 로컬서버는 각 서버에에 직접 접속하여 필요한 영역의 데이터를 얻어 뷰를 생성한다. 이때 공유 공간데이터가 대용량 데이터임을 고려하여 로컬서버는 공간 뷰 성의에 대한 술어를 분리하여 뷰 질의 처리를 각각의 원격서버로 분산시켜 네트웍 부하와 서버의 질의처리 비용을 줄이고 공간 뷰 서버에 실제화 시킴으로써 뷰에 대한 질의처리시 각 서버로의 접근을 데비터의 접근을 줄여 사용자 응-답시간을 최소화한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.13-15
• /
• 2012

최근 다양한 서비스가 등장하면서 폭발적으로 증가하는 데이터로 인해 이를 처리하고 분석하기 위한 대용량 처리 및 분석 시스템이 제안되고 있다. 본 논문에서는 이러한 시스템에서 효율적인 데이터 큐브관리 방법을 제안한다. 실험을 통해 제안한 방법이 대용량 시계열 데이터 처리 및 분석 시스템에서 중요한 질의 처리 시간을 단축시키는 것을 보였다.

• Journal of Korea Spatial Information System Society
• /
• v.11 no.3
• /
• pp.31-39
• /
• 2009

Requirement level regarding processing and managing real-time datastream in an ubiquitous environment is increased. Especially, due to the unbounded, high frequency and real-time characteristics of datastream, development of specialized stroge manager for DSMS is necessary to process such datastream. Existing DSMS, e.g. Coral8, can support datastream processing but it is not scalable and cannot perform well when handling large-volume real-time datastream, e.g. 100 thousand over per second. In the case of Oracle10g, which is generally used in related field, it supports storing and management processing. However, it does not support real-time datastream processing. In this paper, we propose specialized storage manager of DSMS for real-time compressed storing on semiconductor or LCD production facility of Samsung electronics, Hynix and HP. Hynix and HP. This paper describes the proposed system architecture and major components and show better performance of the proposed system compared with similar systems in the experiment section.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.27-29
• /
• 2022

최근 인공지능 애플리케이션이 많이 사용되고 이러한 애플리케이션에서 데이터 희소성이 높아지고 있어 이러한 희소 데이터를 효율적으로 처리하기 위한 하드웨어 구조들이 많이 소개되고 있다. 본 논문에서는 희소 데이터 처리 시 전력 소모량을 낮출 수 있는 새로운 하드웨어 구조를 제안한다. 일반적인 인공지능 하드웨어에서 많이 사용되는 시스톨릭 어레이 구조를 기반으로 하며, 제안된 저전력 PE 가 희소 데이터 처리시 희소하지 않은 데이터 처리 시보다 최대 2 배의 전력 소모량을 줄일 수 있는 것으로 나타났다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10a
• /
• pp.317-319
• /
• 1998

대용량 통신처리 시스템은 PSTN, PSDN 및 ISDN등 다양한 통신망으로부터 접속하는 사용자들에게 TEXT 기반의 서비스 및 인터넷 서비스의 제공을 목표로 한다. 유료 인터넷 서비스 제공이 있어서 유료 CP 사용에 대한 과금 데이터 생성을 위한 데이터 관리에 대하여 기술한다. 유료 CP 데이터는 데이터베이스 테이블에 저장되어 관리되며 유료 CP 데이터 관리는WARP Manager에 수행되는 유료 CP 에 대한 등록, 변경, 삭제 및 검색 기능을 포함하여 유로CP 데이터는 WARP Manager의 내용을 기준으로 WARP Manager와 각 WARP 간에 상호 일치가 되도록 관리되어야 한다. 본 논문에서는 위에서 소개된 유료 CP데이터 관리 기능 및 유료 CP 데이터에 대한 일치 기능에 대하여 기술한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.271-273
• /
• 2005

유전자 분석기술의 발전은 지놈 프로젝트(genome project)와 햅맵 프로젝트(hapmap project)를 가능하게 하였으며 이제는 맞춤형 진단 및 신약 개발 등 실제 사업의 구체화를 가져오게 하였다. 실제 사업에 적용시키기 위해서는 비용 절감의 문제를 해결해야 한다. 그래서 대용량의 유전자형(genotype)데이터를 정확하고 빠르게 일배체형(haplotype)으로 재구성해 줄 수 있는 시스템이 생물 산업 및 제약 산업에서 제기되어 지고 있다. 기존의 연구에서 비록 정확성이 높은 알고리즘들이 개발되어 있지만 기존의 방법들은 계산에 필요한 양이 크기 때문에 대용량 데이터에 대한 처리가 불가능하였다. 우리가 제안하는 시스템은 대용량 데이터를 유동적인 크기로 블록을 분할하여 대용량 데이터 처리 문제를 해결하였다. 또한 나누어진 블록에서 나타나는 모호한 이형접합체(heterozygote)의 위상(phase)의 결정 과정에 LD기반의 블록 분할 방법을 이용함으로써, 추론된 결과의 정확률을 높였다. 구현된 시스템의 성능평가는 ms로 구성한 인공데이터를 사용하여 수행하였다.