• Journal of Cadastre & Land InformatiX
• /
• v.45 no.1
• /
• pp.169-179
• /
• 2015

Recently, as the amount of data increases rapidly, the development of IT technology entered the 'Big Data' era, dealing with large-volume of data at once. In the spatial field, a spatial data service technology is required to use that various and big amount of data. In this study, firstly, we explained the technology of typical spatial information data services abroad, and then we have developed large KML data processing techniques those can be applied as KML format to VWorld desktop. The test was conducted using a large KML data in order to verify the development KML partitioned methods and tools. As a result, the index file and the divided files are produced and it was visible in VWorld desktop.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.284-287
• /
• 2012

GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

• The Journal of the Convergence on Culture Technology
• /
• v.8 no.2
• /
• pp.361-366
• /
• 2022

There are several ways to process large amounts of data. Depending on the processing method, there is a big difference in processing speed to create a large data list. Typically, to make a large data list, large data is converted into a normalized query, and the result of the query is stored in a List Map and converted into a printable form. This process occurs as a cause of lowering the processing speed step by step. In the process of storing the results of the created query as a List Map, the processing speed differs because the data is stored in a different format for each type of data. Through the simultaneous processing of GO language, we want to solve the problem of the existing difference in processing speed. In other words, it compares the results of GO language concurrency processing by providing how different and how it proceeds between the format contained in the existing List Map and the method of processing using concurrency in large data lists for faster processing. do.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.4
• /
• pp.145-152
• /
• 2019

Unlike a single value from a sensor device, a massive data set has characteristics for various processing aspects; input data may be formed in a different format, the size of input data varies, and the processing time of analyzing input data is not predictable. Therefore, context aware systems may contain complex modules, and these modules can be implemented and used in different ways. In order to solve these problems, we propose a method to handle context information from the result of analyzing massive data. The proposed method considers analysis work as a different type of abstracting context and suggests the way of representing context information. In experiment, we demonstrate how the context processing engine works properly in a couple of steps with healthcare services.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.1113-1115
• /
• 2012

IT 기술이 성장함에 따라 발생되는 데이터의 양이 많아지고 기존의 방식으로 처리하기 힘든 빅 데이터가 이슈가 되고 있으며 이에 따른 대용량 데이터 처리기술 또한 발전하고 있다. 이 논문에서는 실시간 대용량 데이터 처리를 위한 Complex Event Processing을 소개하고 ESPER 엔진 기반의 Complex Event Processing 모델을 설계하고 이에 대한 성능을 평가했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.506-507
• /
• 2021

대용량 실험데이터를 생성하는 가속기, 전자현미경, 전파망원경 등과 같은 첨단 실험장비들의 기술적 발전으로, 생성되는 실험데이터의 규모가 폭발적으로 증가하고 있다. 이에 따라, 데이터 분석연구에 대용량 데이터의 저장이 가능하고, 데이터 분석에 필요한 고성능 계산 서버를 갖춘 전문 데이터센터의 활용이 증가하고 있다. 본 논문에서는 이러한 전문 데이터센터를 연계한 데이터 분석 연구환경구축에서 가장 기본이 되는 데이터수집을 위한 고성능 데이터 전송 시스템을 구현하고, 이를 적용한 사례를 통해 제안하는 시스템의 효율성을 검증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.63-65
• /
• 2020

과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.305-306
• /
• 2016

현재 스마트 시대에 살고 있는 우리는 매우 복잡하고 거미줄처럼 연결되어 있는 빅 데이터 환경에서 살고 있다. 이런 환경에서는 대용량 데이터를 효율적으로 관리하고 활용하는 것이 개인이나 기업들이 추구하려는 목표이다. 빅 데이터 시대에 데이터의 효율적인 관리와 활용을 위해 다양한 장비에서 수집되고 저장된 대용량 데이터에 대해서 일반적인 데이터 분석을 통한 보안 기술로는 상당한 시간과 자원 낭비가 수반된다. 이를 개선하기 위해 본 논문에서는 하둡을 이용하여 대용량 데이터에 대한 처리 및 분석을 통해 효과적인 보안 시스템을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.2-4
• /
• 2020

최근 데이터 분석을 위한 연구 환경은 고성능 컴퓨팅자원, 대용량 스토리지, 초고속 네트워크 시스템등 IT 기술이 융합된 사이버 인프라 연구 환경을 기반으로 하고 있다. 또한, 실험의 규모가 커지면서 다수의 연구자들이 협업을 통해 공동의 연구결과를 도출하는 집단연구가 증가하고 있다. 본 논문에서는 이러한 환경에서 연구자들이 대용량 실험데이터를 공유·분석할 수 있는 효율적인 스토리지 작업 공간 모델을 제안한다.

• Journal of KIISE:Databases
• /
• v.37 no.6
• /
• pp.300-307
• /
• 2010

According to growth of web, data processing technology is developing. In the Web of next generation, high-speed or high-volume data processing technologies for various wire-wireless users, USN and RFID are developing too. In this paper, we propose a high-volume data processing technology using Complex Event Processing(CEP) engine. CEP is the technology to process complex events. CEP Engine is the following characteristics. First it collects a high-volume event(data). Secondly it analyses events. Finally it lets event connect to new actions. In other words, CEP engine collects, analyses, filters high-volume events. Also it extracts events using pattern-matching for registered events and new events. As the results extracted. We use it by an input event of other work, real-time response for demanded event and can trigger to database for only valid data.