• Title/Summary/Keyword: 데이터 처리량

Search Result 2,565, Processing Time 0.031 seconds

Statistical analysis method of large data using homomorphic encryption (동형암호를 이용한 대용량 데이터의 통계 분석 방법)

  • Kang, Dongwoo;Won, Dongho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.225-228
    • /
    • 2021
  • 동형암호를 이용한 통계 분석은 기존의 개인정보보호 문제로 수행할 수 없었던 데이터에 대해서 통계분석이 가능하게 만든다. 본 논문에서는 대용량 데이터에 사용되는 대표적 통계 수치인 평균, 분산, 왜도, 첨도를 병렬처리를 사용하여 구하는 방법을 제안한다. 또한, 연산이 비교적 제한적인 동형암호에서도 통계적 수치를 구하기 위하여 동형암호문끼리의 뺄셈, 나눗셈, 제곱근 연산을 제안한다. 이를 통해, 분산된 대용량 데이터에 대해서도 동형암호를 통해 다양한 통계 연산이 가능할 것으로 기대된다.

design of High speed Digital Signal Processor for PRML Read Channels (PRML Read Channel용 고속 디지털 신호 처리부의 설계)

  • 기훈재;이천수
    • Proceedings of the IEEK Conference
    • /
    • 1998.10a
    • /
    • pp.775-778
    • /
    • 1998
  • 근래에 들어 컴퓨터 기술은 멀티미디어 기수의 발달과 더불어 그에 따른 데이터량의 증가로 인해 데이터를 처리, 전송, 저장하는 모든 부문에서의 고속, 대용량화를 요구하고 있다. 이 중에서 특히 저장장치 부문은 응용 프로그램이 대형화되고 멀티미디어화에 따른 데이터량이 크게 증가하는 추세에 있기 때문에 지속적인 용량 증가가 요구되고 있다. 이런 상황에서 주목을 받고 있는 것이 신호처리 방식을 개선하여 저장장치의 기록 밀도를 향상시키는 기술의 하나인 partial response maximum likelihood (PRML) 기술이다. PRML 방식은 HDD 나 광 디스크로부터 데이터를 읽어낼때의 신호처리 기술 중의 ㅎ나로 신호간 간섭을 허용하여 데이터 속도를 증가시키고, 신호를 재생할 때 신호간 간섭을 보상하여 원래 신호를 복원해 내는 기술이다. 이를 이용하면 기존의 기록방식에 비해 기록밀도를 20-50% 정도 높일 수 있다.〔1〕〔2〕

  • PDF

A Clustering Method using GHSOM for Processing Large Data (GHSOM을 이용한 대용량 데이터 처리의 군집화 방법)

  • Kim, Man-Sun;Lee, Sang-Yong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.393-396
    • /
    • 2002
  • 최근 대용량의 데이터베이스로부터 유용한 정보를 발견하고 데이터간에 존재하는 연관성을 탐색하고 분석하는 데이터 마이닝에 관한 많은 연구들이 진행되고 있다. 실제 응용분야에선 수집된 데이터는 시간이 지날수록 데이터의 양이 늘어나게 되고, 중복되는 속성과 잡음을 갖게 되어 마이닝 기법을 이용하는데 많은 시간과 비용이 소요된다. 또한 어느 속성이 중요한지 알 수 없어 중요한 속성이 중요하지 않은 속성에 의해 왜곡되거나 제대로 분석되지 않을 수 있다. 본 연구는 이러한 문제점들을 해결하기 위해 GHSOM을 이용한 계층적 신경망 군집화 방법을 제안한다. 제안하는 방법은 비리 군집의 개수를 정해줄 필요가 없고, 다양한 레벨의 군집들을 얻을 수 있는 계층적 군집화를 이루어낸다는 장점을 갖는다. 본 논문에서는 신경망 GHSOM의 구조와 특성에 대해 간략히 살펴보고 시스템 처리과정에 대해 설명한다.

  • PDF

Effective Structure Information Retrieval of Multimedia Data Based on XML (XML 기반 멀티미디어 데이터의 효율적인 구조 정보 검색)

  • Lim, Jeong-Youn;Hwang, Bu-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.129-132
    • /
    • 2001
  • 웹의 대중화와 컴퓨터 기술의 발달로 멀티미디어 데이터의 사용이 크게 증가하고 있지만, 사용자가 원하는 멀티미디어 데이터의 일부분과 해당 데이터의 구조정보를 검색하는 기능은 제공되고 있지 않다. 본 논문에서는 사용자가 원하는 내용을 포함하고 있는 멀티미디어 데이터를 검색하고, 그 데이터의 구조정보를 XML 문서 형태로 보여주기 위하여, 객체지향 데이터베이스 시스템을 이용하여 대용량의 멀티미디어 데이터와 해당 데이터를 표현한 XML 문서를 저장하고, 사용자의 질의를 처리하기 위한 효율적인 구조정보 검색 방법을 제안한다.

  • PDF

Big Data Processing Scheme of Distribution Environment (분산환경에서 빅 데이터 처리 기법)

  • Jeong, Yoon-Su;Han, Kun-Hee
    • Journal of Digital Convergence
    • /
    • v.12 no.6
    • /
    • pp.311-316
    • /
    • 2014
  • Social network server due to the popularity of smart phones, and data stored in a big usable access data services are increasing. Big Data Big Data processing technology is one of the most important technologies in the service, but a solution to this minor security state. In this paper, the data services provided by the big -sized data is distributed using a double hash user to easily access to data of multiple distributed hash chain based data processing technique is proposed. The proposed method is a kind of big data data, a function, characteristics of the hash chain tied to a high-throughput data are supported. Further, the token and the data node to an eavesdropper that occurs when the security vulnerability to the data attribute information to the connection information by utilizing hash chain of big data access control in a distributed processing.

A Hybrid Clustering Technique for Processing Large Data (대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법)

  • Kim, Man-Sun;Lee, Sang-Yong
    • The KIPS Transactions:PartB
    • /
    • v.10B no.1
    • /
    • pp.33-40
    • /
    • 2003
  • Data mining plays an important role in a knowledge discovery process and various algorithms of data mining can be selected for the specific purpose. Most of traditional hierachical clustering methode are suitable for processing small data sets, so they difficulties in handling large data sets because of limited resources and insufficient efficiency. In this study we propose a hybrid neural networks clustering technique, called PPC for Pre-Post Clustering that can be applied to large data sets and find unknown patterns. PPC combinds an artificial intelligence method, SOM and a statistical method, hierarchical clustering technique, and clusters data through two processes. In pre-clustering process, PPC digests large data sets using SOM. Then in post-clustering, PPC measures Similarity values according to cohesive distances which show inner features, and adjacent distances which show external distances between clusters. At last PPC clusters large data sets using the simularity values. Experiment with UCI repository data showed that PPC had better cohensive values than the other clustering techniques.

Mass Memory Operation for Telemetry Processing of LEO Satellite (저궤도위성 원격측정 데이터 처리를 위한 대용량 메모리 운용)

  • Chae, Dong-Seok;Yang, Seung-Eun;Cheon, Yee-Jin
    • Aerospace Engineering and Technology
    • /
    • v.11 no.2
    • /
    • pp.73-79
    • /
    • 2012
  • Because the contact time between satellite and ground station is very limited in LEO (Low Earth Orbit) satellite, all telemetry data generated on spacecraft bus are stored in a mass memory and downlinked to the ground together with real time data during the contact time. The mass memory is initialized in the first system initialization phase and the page status of each memory block is generated step by step. After the completion of the system initialization, the telemetry data are continuously stored and the stored data are played back to the ground by command. And the memory scrubbing is periodically performed for correction of single bit error which can be generated on harsh space environment. This paper introduces the mass memory operation method for telemetry processing of LEO satellite. It includes a general mass memory data structure, the methods of mass memory initialization, scrubbing, data storage and downlink, and mass memory management of primary and redundant mass memory.

The spatial data manager using extended peer-to-peer computing method for balancing the cost of server side (서버 처리 비용 분산을 위해 확장된 Peer-to-peer 방식을 사용한 공간데이터 관리기)

  • 김호석;강동재;정보홍;김재홍;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.28-30
    • /
    • 2001
  • 클라이언트-서버 환경에서 공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터 처리 시 발생하는 서버 I/O 연산의 수행 비용과 질의 처리비용 및 결과 데이터의 전송 비용이 서버 사이드의 병목 현상과 질의 처리속도의 저하라는 문제점을 유발한다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 서버 처리비용의 분산을 위한 확장된 Peer-to-peer를 지원하는 방식을 제안하며, 이러한 확장 된 Peer-to-peer방식을 지원할 수 있는 공간데이터 관리기의 설계 및 구현상황을 제안한다. 공간데이터 관리기는 서버에 접속된 클라이언트의 정보와 클라이언트에 캐쉬된 데이터의 정보를 관리하는 공간데이터 관리기의 CIT(Client Information Table)와 이 CIT에 가용한 데이트를 캐쉬한 클라이언트가 여럿인 경웨 대상 클라이언트의 선정이 요구되며, 적은 비용으로 처리 가능한 클라인트의 선정의 위한 알고리즘과 클라이언트 사이의 확장된 Peer-to-peer 방식을 지원하기 위한 서버와 클라이언트간의 데이터 일관성 유지를 위한 데이터 유효성 관리를 제안한다.

  • PDF

Task Balancing Scheme of MPI Gridding for Large-scale LiDAR Data Interpolation (대용량 LiDAR 데이터 보간을 위한 MPI 격자처리 과정의 작업량 발란싱 기법)

  • Kim, Seon-Young;Lee, Hee-Zin;Park, Seung-Kyu;Oh, Sang-Yoon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.9
    • /
    • pp.1-10
    • /
    • 2014
  • In this paper, we propose MPI gridding algorithm of LiDAR data that minimizes the communication between the cores. The LiDAR data collected from aircraft is a 3D spatial information which is used in various applications. Since there are many cases where the LiDAR data has too high resolution than actually required or non-surface information is included in the data, filtering the raw LiDAR data is required. In order to use the filtered data, the interpolation using the data structure to search adjacent locations is conducted to reconstruct the data. Since the processing time of LiDAR data is directly proportional to the size of it, there have been many studies on the high performance parallel processing system using MPI. However, previously proposed methods in parallel approach possess possible performance degradations such as imbalanced data size among cores or communication overhead for resolving boundary condition inconsistency. We conduct empirical experiments to verify the effectiveness of our proposed algorithm. The results show that the total execution time of the proposed method decreased up to 4.2 times than that of the conventional method on heterogeneous clusters.

Building Data Warehouse System for Weblog Analysis (웹로그 분석을 위한 데이터 웨어하우스 시스템 구축)

  • Lee, Joo-Il;Baek, Kyung-Min;Shin, Joo-Hahn;Lee, Won-Suk
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2010.05a
    • /
    • pp.291-295
    • /
    • 2010
  • 최근 급격한 하드웨어 기술과 데이터베이스 시스템의 발전은 우리 주변에서 발생하는 다양한 분야의 데이터를 자동으로 수집하는 것을 가능하게 하였다. 흔히 데이터 스트림(data stream)이라고 언급되는 끊임없이 생산되는 대용량의 데이터를 효율적으로 처리하여 유용한 정보를 얻어내는 기술은 이미 많은 응용 분야에서 광범위하게 연구되고 있다. 인터넷은 이러한 데이터 스트림을 양산해 내는 주요 원천 중의 하나이다. 인터넷 비즈니스의 활성화와 더불어 웹로그 데이터 스트림은 마케팅, 전략 수립, 고객관리 등 여러 부분에 광범위하게 활용되기 시작했으며, 보다 정확하고 효율적인 분석에 대한 요구사항도 점점 늘어나고 있다. 데이터 웨어하우스(Data Warehouse)는 수집된 데이터를 주제 기반으로 통합하여 시계열 형태로 적재하는 저장소서 유용한 분석이나 의사결정에 많이 사용되어 왔다. 데이터웨어하우스는 데이터를 요약하고 통합 및 정제하는 기능을 제공하여 대용량의 데이터 처리에 적합하고 데이터의 품질을 향상시키기 때문에 데이터 마이닝 분야에서 전처리 과정으로도 많이 이용되어 왔다. 본 논문에서는 웹로그 데이터 스트림에 대한 데이터 웨어하우스를 구축하여 보다 고품질의 유용한 정보를 효율적으로 얻어내는 시스템을 제안한다.

  • PDF