• Title/Summary/Keyword: 대용량 데이터 처리 기술

Search Result 502, Processing Time 0.029 seconds

Internet Service Management In Advanced Information Communication Processing System (대용량 통신 처리 시스템에서의 인터네트 서비스 관리)

  • 권선준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.317-319
    • /
    • 1998
  • 대용량 통신처리 시스템은 PSTN, PSDN 및 ISDN등 다양한 통신망으로부터 접속하는 사용자들에게 TEXT 기반의 서비스 및 인터넷 서비스의 제공을 목표로 한다. 유료 인터넷 서비스 제공이 있어서 유료 CP 사용에 대한 과금 데이터 생성을 위한 데이터 관리에 대하여 기술한다. 유료 CP 데이터는 데이터베이스 테이블에 저장되어 관리되며 유료 CP 데이터 관리는WARP Manager에 수행되는 유료 CP 에 대한 등록, 변경, 삭제 및 검색 기능을 포함하여 유로CP 데이터는 WARP Manager의 내용을 기준으로 WARP Manager와 각 WARP 간에 상호 일치가 되도록 관리되어야 한다. 본 논문에서는 위에서 소개된 유료 CP데이터 관리 기능 및 유료 CP 데이터에 대한 일치 기능에 대하여 기술한다.

  • PDF

Cast Study : Visualization of Large Rotor Simulation Data using VTK (사례연구 : VTK를 이용한 대용량 로터 시뮬레이션 데이터의 가시화)

  • Lee, Joong-Youn;Hur, Younju;Kim, MinAh
    • Annual Conference of KIPS
    • /
    • 2009.11a
    • /
    • pp.393-394
    • /
    • 2009
  • 최근 컴퓨팅 성능의 급격한 발전으로 이를 통해 생산되는 데이터의 크기 역시 매우 커지고 있다. 이는 로터 시뮬레이션 분야에서도 마찬가지인데, 과거에는 백만개 정도의 격자 데이터 정도만을 다루었던 것에 비해 최근에는 1억개 이상의 격자 데이터를 다루려는 시도가 계속되고 있다. 그러나 이렇게 생산된 대용량의 시변환(time-variant) 유동 데이터는 그 크기가 매우 크기 때문에 일반 PC에서는 실시간으로 가시화하기에 곤란한 경우가 많다. 또, 이러한 로터 시뮬레이션 데이터는 매우 복잡한 구조를 가지고 있기 때문에 초보자가 이 데이터에서 vortex와 같은 중요한 정보를 뽑아서 가시화하는 데에는 많은 어려움이 있어 왔다. 본 논문에서는 일반 PC에서 가시화하기 어려운 대용량 로터 시뮬레이션 데이터를 고성능 가시화 컴퓨터와 VTK를 이용해서 빠르게 가시화하기 위한 방법을 서술한다. 또, 복잡한 데이터 내부의 중요한 정보들을 자동으로 빠르고 간편하게 표출하기 위한 방법을 제안한다.

A Method for Distributed Database Processing with Optimized Communication Cost in Dataflow model (데이터플로우 모델에서 통신비용 최적화를 이용한 분산 데이터베이스 처리 방법)

  • Jun, Byung-Uk
    • Journal of Internet Computing and Services
    • /
    • v.8 no.1
    • /
    • pp.133-142
    • /
    • 2007
  • Large database processing is one of the most important technique in the information society, Since most large database is regionally distributed, the distributed database processing has been brought into relief. Communications and data compressions are the basic technologies for large database processing. In order to maximize those technologies, the execution time for the task, the size of data, and communication time between processors should be considered. In this paper, the dataflow scheme and vertically layered allocation algorithm have been used to optimize the distributed large database processing. The basic concept of this method is rearrangement of processes considering the communication time between processors. The paper also introduces measurement model of the execution time, the size of output data, and the communication time in order to implement the proposed scheme.

  • PDF

The LD based Haplotype Reconstruction System for Large scale Genotype dataset (대용량 유전자형 데이터에 대한 LD기반의 일배체형 재구성 시스템)

  • Kim Sang-Jun;Yeo Sang-Soo;Kim Sung-Kwon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.271-273
    • /
    • 2005
  • 유전자 분석기술의 발전은 지놈 프로젝트(genome project)와 햅맵 프로젝트(hapmap project)를 가능하게 하였으며 이제는 맞춤형 진단 및 신약 개발 등 실제 사업의 구체화를 가져오게 하였다. 실제 사업에 적용시키기 위해서는 비용 절감의 문제를 해결해야 한다. 그래서 대용량의 유전자형(genotype)데이터를 정확하고 빠르게 일배체형(haplotype)으로 재구성해 줄 수 있는 시스템이 생물 산업 및 제약 산업에서 제기되어 지고 있다. 기존의 연구에서 비록 정확성이 높은 알고리즘들이 개발되어 있지만 기존의 방법들은 계산에 필요한 양이 크기 때문에 대용량 데이터에 대한 처리가 불가능하였다. 우리가 제안하는 시스템은 대용량 데이터를 유동적인 크기로 블록을 분할하여 대용량 데이터 처리 문제를 해결하였다. 또한 나누어진 블록에서 나타나는 모호한 이형접합체(heterozygote)의 위상(phase)의 결정 과정에 LD기반의 블록 분할 방법을 이용함으로써, 추론된 결과의 정확률을 높였다. 구현된 시스템의 성능평가는 ms로 구성한 인공데이터를 사용하여 수행하였다.

  • PDF

An Architecture for a Spatial Big-Data Management System on Hadoop (하둡기반 공간 빅데이터 저장 관리 시스템 구조)

  • Lee, Kang-Woo;Cho, Eun-Sun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2015.01a
    • /
    • pp.1-3
    • /
    • 2015
  • 본 논문에서는 하둡 환경상에서 개발 중인 공간 빅데이터 저장 관리 시스템의 구조를 설명한다. 본 시스템은 공간 센서 및 IoT의 등장으로 대용량화된 공간 데이터로 인한 기존 공간 정보 처리 시스템의 성능적 한계를 극복하기 위한 목적으로 개발 중이다. 본 시스템은 효과적인 대용량 데이터 처리를 위해 현재 활발히 연구되고 있는 빅데이터 처리 기술과 공간 정보 처리 기술을 접목하여, 대용량의 공간 정보를 수집, 저장 관리하는 기능을 제공한다. 또한 효과적인 공간 데이터의 접근을 위해 스크립트 언어 기반의 공간 정보 처리 언어를 제공하고, SQL 형식의 선언적 공간 정보 질의 처리 기능도 제공하기 위해 개발 중에 있다.

  • PDF

A Study on Performance Improvement of Distributed Computing Framework using GPU (GPU를 활용한 분산 컴퓨팅 프레임워크 성능 개선 연구)

  • Song, Ju-young;Kong, Yong-joon;Shim, Tak-kil;Shin, Eui-seob;Seong, Kee-kin
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.499-502
    • /
    • 2012
  • 빅 데이터 분석의 시대가 도래하면서 대용량 데이터의 특성과 계산 집약적 연산의 특성을 동시에 가지는 문제 해결에 대한 요구가 늘어나고 있다. 대용량 데이터 처리의 경우 각종 분산 파일 시스템과 분산/병렬 컴퓨팅 기술들이 이미 많이 사용되고 있으며, 계산 집약적 연산 처리의 경우에도 GPGPU 활용 기술의 발달로 보편화되는 추세에 있다. 하지만 대용량 데이터와 계산 집약적 연산 이 두 가지 특성을 모두 가지는 문제를 처리하기 위해서는 많은 제약 사항들을 해결해야 하는데, 본 논문에서는 이에 대한 대안으로 분산 컴퓨팅 프레임워크인 Hadoop MapReduce와 Nvidia의 GPU 병렬 컴퓨팅 아키텍처인 CUDA 흘 연동하는 방안을 제시하고, 이를 밀집행렬(dense matrix) 연산에 적용했을 때 얻을 수 있는 성능 개선 효과에 대해 소개하고자 한다.

Automatic payload data dump for the LEO satellite (저궤도위성 탑재체 데이터 자동 전송)

  • Chae, Dong-Seok;Yang, Seung-Eun
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.641-642
    • /
    • 2011
  • 저궤도 위성은 지상과의 접축시간이 극히 제한되어 있어 위성에서 생성된 원격측정 데이터들을 위성의 대용량 메모리에 저장하였다가 지상과의 접촉시간에 저장된 데이터를 지상으로 전송하는 방식으로 운영된다. 위성에 저장할 수 있는 전체 데이터 크기는 대용량 메모리의 크기와 지상과의 통신 가용시간에 따라 제한을 받게 된다. 대용량 메모리 저장용량과 다운링크 버짓을 만족해야 하므로 일반적으로 각 탑재체로부터 수신하여 위성에 저장되는 원격측정 데이터들은 종류별로 일정한 주기를 가지게 되고 그 크기도 고정되어 있다. 그리고 각 데이터 종류별로 저장여부를 지상명령으로 조절할 수 있도록 되어 있다. 그러나 생성되는 데이터가 일정하지 않고 비주기성을 갖는 경우 데이터량을 예측할 수 없으므로 지상명령으로 데이터 저장여부를 제어하는 것은 거의 불가능하다. 이러한 경우에 생성되는 데이터량을 모니터링하면서 데이터를 전송할 수 있는 자동화된 데이터 통신 방식이 요구된다. 본 논문은 저궤도 위성 탑재체에서 비주기적으로 생성되는 데이터를 자동으로 전송받기 위한 데이터 자동 전송기능과 시험 결과에 대해서 기술하였다.

Mass Memory Operation for Telemetry Processing of LEO Satellite (저궤도위성 원격측정 데이터 처리를 위한 대용량 메모리 운용)

  • Chae, Dong-Seok;Yang, Seung-Eun;Cheon, Yee-Jin
    • Aerospace Engineering and Technology
    • /
    • v.11 no.2
    • /
    • pp.73-79
    • /
    • 2012
  • Because the contact time between satellite and ground station is very limited in LEO (Low Earth Orbit) satellite, all telemetry data generated on spacecraft bus are stored in a mass memory and downlinked to the ground together with real time data during the contact time. The mass memory is initialized in the first system initialization phase and the page status of each memory block is generated step by step. After the completion of the system initialization, the telemetry data are continuously stored and the stored data are played back to the ground by command. And the memory scrubbing is periodically performed for correction of single bit error which can be generated on harsh space environment. This paper introduces the mass memory operation method for telemetry processing of LEO satellite. It includes a general mass memory data structure, the methods of mass memory initialization, scrubbing, data storage and downlink, and mass memory management of primary and redundant mass memory.

A Method for Generating and Combining Classifiers for Large Scale Data (대용량 문서학습을 위한 분류기 생성 및 결합방법)

  • Jeong, Do-Heon;Hwang, Myung-Gwon;Sung, Won-Kyung
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.1551-1554
    • /
    • 2011
  • 대용량 데이터 환경에의 적용이 가능한 대용량 학습기반의 자동범주화 기법과 범용적으로 사용할 수 있는 기법은 대량의 정보를 처리해야하는 정보분석 및 정보서비스 환경에 가장 필요한 기술요소라 할 수 있다. 본 논문에서는 대용량의 문서를 단위 컴포넌트로 분할하여 학습하고 이를 동적으로 결합하는 대용량 분류기 생성 기법을 소개하고 자동범주화 성능을 SVM 모델과 비교하여 봄으로써, 본 기술의 활용 가능성을 살펴보도록 한다.

The Conceptual Design of Mass Memory Unit for High Speed Data Processing in the STSAT-3 (고속 데이터 처리를 위한 과학기술위성 3호 대용량 메모리 유닛의 개념 설계)

  • Seo, In-Ho;Oh, Dae-Soo;Myung, Noh-Hoon
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.38 no.4
    • /
    • pp.389-394
    • /
    • 2010
  • This paper describes the conceptual design of mass memory unit for high speed data processing and mass memory management in the STSAT-3 compared to that of STSAT-2. The FPGA directly controls the data receiving from two payloads with the maximum 100Mbps speed and 32Gb mass memory management to satisfy these requirements. We used SRAM-based FPGA from XILINX having fast operating speed and large logic cells. Therefore, the Triple Modular Redundancy(TMR) and configuration memory scrubbing techniques will also be used to protect FPGA from Single Event Upset(SEU) in space.