• Title/Summary/Keyword: 데이터 처리량

Search Result 2,586, Processing Time 0.037 seconds

Power Consumption Measurement of SSD Storage System using Invalid Data Recycling Method (무효데이터 재활용 기법을 이용하는 SSD 기반 스토리지 시스템의 전력소모 측정)

  • Kim, Ju-Kyeong;Lee, Seung-Kyu;Kim, Deok-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.176-178
    • /
    • 2012
  • SSD는 제자리 덮어쓰기가 안되기 때문에 가비지 컬렉션 연산을 수행한다. 가비지 컬렉션은 동작 시간이 긴 삭제 연산과 유효페이지 복사 연산이 자주 발생하여 SSD의 Active Time을 길게하고 전력소모를 증가시킨다. 본 논문에서는 SSD에서 입력데이터와 일치하는 무효데이터를 재활용함으로써 가비지 컬렉션 횟수를 줄이고, 기존 방법과 비교하여 소모된 전력량을 측정하였다. 무효데이터 재활용 기법을 사용할 때 활성시간의 전력소모가 약 32% 감소했고 전체 전력소모량은 약 17% 감소함을 확인했다.

Performance of PCA Algorithm for Multivariate Data Analysis (다변량 데이터 분석을 위한 PCA 알고리즘 구현)

  • Gim, GwiSuk;Shon, Ho Sun;Ryu, Keun Ho;Lee, YoungSung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1264-1266
    • /
    • 2013
  • 다변량 데이터 분석에 주로 사용되는 차원축소 기법 중 하나인 PCA 알고리즘을 직접 구현해보고 기존의 통계분석 프로그램과 그 결과를 비교분석 해보았다. UCI에서 제공하는 유방암 데이터를 이용하여 실험 해본 결과 두 프로그램 모두 같은 주성분을 얻고, Eigenvalue와 variance도 같은 값을 얻었다. 따라서 상용화된 통계패키지를 사용하지 않고도 PCA 알고리즘을 적용하여 차원축소 문제를 해결하고 데이터를 분석 할 수 있다.

RDBMS based Efficient Method for Shortest Path Searching over Large Graphs using K-degree Index Table (대용량 그래프에서 k-차수 인덱스 테이블을 이용한 RDBMS 기반의 효율적인 최단 경로 탐색 기법)

  • Hong, Jihye;Han, Yongkoo;Lee, Young-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1186-1188
    • /
    • 2013
  • 최근 소셜 네트워크의 등장과 기술의 발달로 인해 빅 데이터가 등장하였다. 특히, 소셜 네트워크나 웹 데이터 등과 같은 빅 데이터를 이용하는 애플리케이션이 많아지고 있다. 이러한 그래프 데이터는 크기가 매우 방대하여 인-메모리 기법을 통해 연산하기 어렵다. 최근 대용량 그래프 상에서 효율적인 최단 경로 탐색을 위해 부분 최단 경로를 저장하는 인덱스 테이블을 활용한 기법이 제안되었으나, 인덱스 참조율을 고려하지 않아 비효율적이다. 본 논문에서는 인덱스 참조율이 높은 노드의 차수를 이용한 k-차수 인덱스 테이블을 이용한 효율적인 최단 경로 탐색 기법을 제안한다. 실험을 통하여 제안하는 기법이 거리 기반 인덱스를 이용한 기존의 기법에 비해 약 12% 정도 성능이 향상됨을 보였다.

Application Independent Network Protocol for Distributed and Parallel Visualization (대용량 데이터의 분산/병렬 가시화를 위한 응용 독립적 가시화 프로토콜)

  • Kim, Min-Ah
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.126-129
    • /
    • 2011
  • 대용량 데이터의 분산/병렬 가시화를 위해서는 가시화 클라이언트와 서버 사이의 프로토콜이 필요하다. 기존 가시화 도구들은 개발 도구에 특화된 프로토콜을 사용하고 있으며, 이 때문에 클라이언트와 서버는 매우 tightly-coupled 되어 있다. 본 논문에서는 응용에 독립적인 분산/병렬 가시화를 위한 가시화 프로토콜을 설계하고 구현한다. 또한, 시변환 데이터의 효율적 가시화를 위해 animation을 구현할 수 있는 프리미티브를 설계하고 status machine으로 병렬 전송된 데이터들 간의 동기화를 구현한다. 이러한 응용 독립적 가시화 프로토콜을 도입함으로써 가시화는 병렬 분산 가시화를 수행하는 그리드의 서비스나 슈퍼컴퓨팅의 서비스로 확장될 수 있을 것이다.

Design of a Large-Scale Qualitative Spatial Reasoner Based on Hadoop Clusters (하둡 클러스터 기반의 대용량 정성 공간 추론기의 설계)

  • Kim, Jonghwan;Kim, Jonghoon;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1316-1319
    • /
    • 2015
  • 본 논문에서는 대규모 분산 병렬 컴퓨팅 환경인 하둡 클러스터 시스템을 이용하여, 공간 객체들 간의 위상 관계를 효율적으로 추론하는 대용량 정성 공간 추론기를 제안한다. 본 논문에서 제안하는 공간 추론기는 추론 작업의 순차성과 반복성을 고려하여, 작업들 간의 디스크 입출력을 최소화할 수 있는 인-메모리 기반의 아파치 스파크 프레임워크를 이용하여 개발하였다. 따라서 본 추론기에서는 추론의 대상이 되는 대용량 공간 지식들을 아파치 스파크의 분산 데이터 집합 형태인 PairRDD와 RDD로 변환하고, 이들에 대한 데이터 오퍼레이션들로 추론 작업들을 구현하였다. 또한, 본 추론기에서는 추론 시간의 많은 부분을 차지하는 이행 관계 추론에 필요한 조합표를 효과적으로 축소함으로써, 공간 추론 작업의 성능을 크게 향상시켰다. 대용량의 공간 지식 베이스를 이용한 성능 분석 실험을 통해, 본 논문에서 제안한 정성 공간 추론기의 높은 성능을 확인할 수 있었다.

Design and Implementation of Calorie Management Application using Lightweight Database (경량 데이터베이스를 이용한 칼로리 관리 애플리케이션 설계 및 구현)

  • Hong, Jihye;Cho, Insik;Lee, Young-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1070-1072
    • /
    • 2012
  • 최근 헬스케어에 대한 관심이 급증하면서, 운동을 통한 칼로리 관리 애플리케이션 연구들이 진행되고 있다. 기존의 연구들은 행위 인식 모델이 정교하지 못할 뿐만 아니라, 기초적인 행위 인식 기술을 사용하여 정확한 운동량을 측정하기 어렵다. 또한, 파일 시스템을 이용하여 센서, 행위, 칼로리 등의 다양한 데이터를 효과적으로 관리하기 어렵다. 본 논문에서는 경량 데이터베이스를 이용하여 개인의 칼로리 섭취량 및 소모량을 관리해주는 시스템을 제안한다. 제안하는 시스템은 스마트폰용 경량 데이터베이스에 저장된 데이터를 활용하여 효과적으로 칼로리를 관리하며, 칼로리 소모량 측정 정확도를 높이기 위해 계층적 행위 인식 모델을 제시한다.

Predictions of dam inflow on Han-river basin using LSTM (LSTM을 이용한 한강유역 댐유입량 예측)

  • Kim, Jongho;Tran, Trung Duc
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.319-319
    • /
    • 2020
  • 최근 데이터 과학의 획기적인 발전 덕분에 딥러닝 (Deep Learning) 알고리즘이 개발되어 다양한 분야에 널리 적용되고 있다. 본 연구에서는 인공신경망 중 하나인 LSTM(Long-Short Term Memory) 네트워크를 사용하여 댐 유입량을 예측하였다. 구체적인 내용으로, (1) LSTM에 필요한 입력 데이터를 효율적으로 사전 처리하는 방법, (2) LSTM의 하이퍼 매개변수를 결정하는 방법 및 (3) 다양한 손실 함수(Loss function)를 선택하고 그 영향을 평가하는 방법 등을 다루었다. 제안된 LSTM 모델은 강우량(R), 댐유입량(Q) 기온(T), 기저유량(BF) 등을 포함한 다양한 입력 변수들의 함수로 가정하였으며, CCF(Cross Correlations), ACF(Autocorrelations) 및 PACF(Partial Autocorrelations) 등의 기법을 사용하여 입력 변수를 결정하였다. 다양한 sequence length를 갖는 (즉 t, t-1, … t-n의 시간 지연을 갖는) 입력 변수를 적용하여 데이터 학습에 최적의 시퀀스 길이를 결정하였다. LSTM 네트워크 모델을 적용하여 2014년부터 2020년까지 한강 유역 9개의 댐 유입량을 추정하였다. 본 연구로부터 댐 유입량을 예측하는 것은 홍수 및 가뭄 통제를 위한 필수 요건들 중 하나이며 수자원 계획 및 관리에 도움이 될 것이다.

  • PDF

RFID Middleware System based on XML for Processing Large-Scale Data (대용량 데이터처리를 위한 XML기반의 RFID 미들웨어시스템)

  • Park, Byoung-Seob
    • The Journal of the Korea Contents Association
    • /
    • v.7 no.7
    • /
    • pp.31-38
    • /
    • 2007
  • We implement the RFID middleware system based on XML for large-scale data processing. The Implemented middleware system are consist of the reader interface for tag data collection, the event manager for a data filtering, and application interface for the RFID application. The implemented RFID middleware system is to support both a fixed type's reader and portable type's reader. we analyze the middleware function with four application accessing protocol, HTTP, XML, JMS, and SOAP, and demonstrate a filtering speed in terms of CPU utilization.

Design of Hybrid Storage Manager for Realtime Services in LBS Platform (LBS 플랫폼에서 실시간 서비스를 위한 하이브리드 저장 관리자 설계)

  • Park Jun-Yong;Kim Ho-Seok;Kim Myoung-Keun;Bae Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.11a
    • /
    • pp.153-156
    • /
    • 2004
  • 위치기반 서비스 시스템에서 주 요구사항은 사용자의 실시간 위치 정보 검색과 질의에 대한 빠른 응답시간이다. 그러나 기존의 위치기반서비스 시스템에서 저장장치로 사용하는 디스크 기반 데이터베이스 시스템은 빈번한 디스크 I/O로 인해 발생하는 질의응답에 대한 시간지연으로 이러한 요구사항을 만족시키지 못한다. 또한 주기억장치 데이터베이스 시스템은 한번에 주기억장치에 적재할 수 있는 양이 제한되어 있기 때문에 대용량의 공간 데이터를 처리하는데 문제가 있다. 본 논문에서는 위치기반서비스를 위하여 위치 정보 데이터의 다단계 저장 관리를 통해 LBS 플랫폼에서 실시간 서비스를 지원하는 하이브리드 저장 관리자를 제안한다. 하이브리드 저장 관리 시스템은 위치기반 서비스 시스템에서 대용량의 이동체 데이터의 효과적인 저장 및 관리를 위해 주기억장치 데이터베이스 관리시스템과 디스크 기반의 공간 데이터베이스 관리시스템을 통합한 구조를 가진다. LBS 플랫폼에서 빠른 응답을 필요로 하고 자주 사용되는 데이터는 메모리 기반의 데이터베이스에 관리를 하고, 사용 빈도가 적은 데이터는 디스크 기반의 데이터베이스에 관리하는 하이브리드 저장 관리자를 제시한다.

  • PDF

Development of scalable big data storage system using network computing technology (네트워크 컴퓨팅 기술을 활용한 확장 가능형 빅데이터 스토리지 시스템 개발)

  • Park, Jung Kyu;Park, Eun Young
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.11
    • /
    • pp.1330-1336
    • /
    • 2019
  • As the Fourth Industrial Revolution era began, a variety of devices are running on the cloud. These various devices continue to generate various types of data or large amounts of multimedia data. To handle this situation, a large amount of storage is required, and big data technology is required to process stored data and obtain accurate information. NAS (Network Attached Storage) or SAN (Storage Area Network) technology is typically used to build high-speed, high-capacity storage in a network-based environment. In this paper, we propose a method to construct a mass storage device using Network-DAS which is an extension technology of DAS (Direct Attached Storage). Benchmark experiments were performed to verify the scalability of the storage system with 76 HDD. Experimental results show that the proposed high performance mass storage system is scalable and reliable.