• Title/Summary/Keyword: 분산 데이터 분석

Search Result 1,177, Processing Time 0.055 seconds

해외안테나 - 분산 데이터와 주목받는 콜래버레이션

  • Korea Database Promotion Center
    • Digital Contents
    • /
    • no.2 s.57
    • /
    • pp.16-25
    • /
    • 1998
  • 시간과 공간의 벽을 넘은 각각의 잠재적 콜래버레이터의 의미는 가상의 리서치 팀이 분산된 데이터 기록과 높은 해상도, 하이모드의 콜래버레이션 환경을 통해 재빨리 조립될 수 있다는 것이다. 최근 실험 과학자나 엔지니어들은 언제나 국제 여행을 즐길 수 있고, 동료를 만날 수 있으며, 넓게 분산된 사이트에 있는 데이터를 분석할 수 있다. 또, 천문학자들은 마우나 키, 키트 픽, 허블 스페이스 텔레스코프 과학 기관, 국제 라디오 천문학 관측소 등에서 시간을 보내며, 각 사이트별 기구의 특수 기능을 탐험하고 다른 콜래버레이터들에 의해 획득된 다양한 데이터를 수집할 수 있다.

  • PDF

Analysis of NEESgrid Computing and System for Korean Construction Test Equipments Infrastructure (NEESgrid 시스템의 구성과 기능별 역할 분석을 통한 우리나라 건설실험시설의 네트워크 시스템 구축)

  • Jeong, Tai Kyeong;Shim, Nak Hoon;Park, Young Suk
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.26 no.4A
    • /
    • pp.689-692
    • /
    • 2006
  • This paper presents the developments of Grid computing architecture which is use many data and resources from distributed and parallel system for construction test equipments, i.e., large scale computer networks meant to provide access to massive computational facilities for very large communities of users, drawing upon experiences of existing Grids architecture. In this paper, we present an efficient way to construct a construction test equipment infrastructure.

Distributed Processing Environment for Outlier Removal to Analyze Big Data (대용량 데이터 분석을 위한 이상치 제거용 분산처리 환경)

  • Hong, Yejin;Na, Eunhee;Jung, Yonghwan;Kim, Yangwoo
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.07a
    • /
    • pp.73-74
    • /
    • 2016
  • IoT 데이터는 비정형 데이터로 가공되고 분석하였을 때 비로소 가치를 갖기에 전 세계적으로 빅데이터 기술에 관심이 집중되고 있다. IoT 데이터 중 많은 부분을 차치하는 센서 데이터는 수집이 용이하고 활용범위가 넓기 때문에 여러 분야에서 사용되고 있다. 하지만 센서가 정상적으로 작동하지 못한 경우에는 실제와는 다른 값인 이상치를 포함하여 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위하여 수집된 원자료의 데이터를 분석하기 전에 이상치 탐지 및 제거를 하고자 한다. 또한 점점 늘어나고 있는 대용량 데이터를 신속하게 처리하기 위하여 메모리 접근방식인 스파크를 사용한 분산처리환경에서 이상치 탐지 및 제거하는 것을 제안한다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며 제안한 기법의 성능 평가를 위해 총 3가지 환경에서 비교하여 실험하였다. 실험을 통해 데이터의 용량이 커질수록 분산처리환경에서 스파크를 사용하여 처리하는 방식이 가장 빠를 것 이라는 결과를 얻었다.

  • PDF

A Database Design Method using a Data Similarity Metric: Its Application on Manufacturing Database (데이타 유사성 척도를 이용한 생산정보 데이타베이스의 분산 구조 설계)

  • Choi, Tae-Kwang;Lee, June-Yen;Lee, Kuk-Chul;Lee, Chun-Yul;Kim, Joo-Hyun;Lee, Han-Pyo
    • IE interfaces
    • /
    • v.8 no.3
    • /
    • pp.269-278
    • /
    • 1995
  • 본 논문은 분산환경하에서 생산정보, 데이터 분석의 일 방안으로서 데이터의 관리 주체와 데이터들간의 유사성에 기초한 분산 기준을 제시한다. 제안된 분산기준은 데이터베이스 설계의 초기과정에서 네트워크 환경의 각 노드에서의 트랜젝션의 발생 수와 데이터 이용량의 예측이 용이하지 않은 경우에도 적용 가능하다는 점에서 가치를 지닌다. 제시된 설계 기준을 이용하여 생산정보 데이터베이스의 분산 모형을 설계, 제시한다.

  • PDF

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-Dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.39-40
    • /
    • 2013
  • 최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

  • PDF

Distributed Web GIS Service Based On Inter-Operability (상호운영성 기반의 한 분산 웹 지리정보시스템 구현)

  • 김도현;김민수;장병태
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.626-628
    • /
    • 2003
  • 웹 지리정보시스템은 사용하기 쉬운 사용자 인터페이스를 제공함으로써 사용자들로 하여금 공간 데이터의 접근과 분석기능을 쉽게 제공한다. 그러나 이들 시스템들은 독자적인 지리 데이터로의 접근만을 허용하고 분산되어 있는 지리 데이터로 접근할 수 없다. 이는 지리 데이터의 구조와 액세스 방법 등이 서로 상이하기 때문이다. 본 논문에서는 OLE DB을 기반으로 한 분산 지리 데이터의 상호운영성에 대한 기술한다. 또한 분산 지리데이터 서버에서 전달된 데이터는 웬 기반 환경에서 효율적으로 사용되기 위하여 XML 기반의 GML로 변환되어 진다. GML 은 지리정보시스템을 위한 XML기반의 웹 언어로 본문에서는 이를 기술한다. 본 시스템은 컴포넌트 형태로 제공함으로써 구축 비용 및 다양한 사양한 요구사항을 효율적으로 충족시킬 수 있다.

  • PDF

A New Approach for Multi-Source Bio-data Integration and Analysis (멀티 소스 바이오 데이터 통합과 분석을 위한 새로운 접근 방법)

  • 윤혜성;이상호;김주한
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.268-270
    • /
    • 2004
  • 네트워크가 보편화되면서 어떠한 정보의 교환도 시간과 장소에 상관없이 가능하게 되었다. 자체 실험실에서 실험한 값을 포함하여 분산된 다양한 소스로부터 많은 실험 값의 정보를 통합하는 즉, 멀티 소스 데이터에 대한 통합 규칙을 만들 수 있다면 다양하고 유용한 정보를 얻을 수 있을 것이다. 또한 통합된 규칙을 통해서 새로운 안목으로 실험을 진행할 수도 있으며, 미처 생각하지 못했던 관련 지식을 습득할 수도 있을 것이다. 본 논문에서는 이러한 분산된 데이터를 통합하여 멀티 소스 데이터들 간의 통합 규칙을 만들고 이의 분석 기반이 되도록 하는 방법에 대해 소개한다.

  • PDF

Test for reliability of MS Excel statistical analysis output and modification of macros (Focused on an Analysis of Variance menu) (MS 엑셀 프로그램의 통계분석결과 신뢰성 검증 및 매크로 보완 (분산분석 메뉴를 중심으로))

  • Kim, Sook-Young
    • Journal of the Korea Computer Industry Society
    • /
    • v.9 no.5
    • /
    • pp.207-216
    • /
    • 2008
  • Statistical analysis menus of MS Excel software, with powerful spreadsheet functions has not been modified since Excel 2000 Edition and its utilization is very low. To improve utilization of Excel menu for statistical analysis, this research compared outputs of Excel statistical menus and computed test statistics, and developed high-level macros. Outputs of Excel menus, both oneway layout and twoway layout, on real data are exactly same as the computed test statistics, and therefore, Excel menus for statistical analysis are reliable. Macros to provide results for Analysis of Variance with a block and multiple comparison of means are developed using Excel functions.

  • PDF

A Synchronizing Agent in Distributed Database using XMDR (XMDR을 이용한 분산 DB의 동기화 에이전트)

  • Kook Youn-Gyou;Jung Gye-Dong;Choi Yung-Geun
    • The KIPS Transactions:PartA
    • /
    • v.12A no.1 s.91
    • /
    • pp.31-40
    • /
    • 2005
  • In this paper, we propose XMDR(XML Metadata Registry) to guarantee the interoperability of data in distributed database, and describe a data synchronizing agent system using it. The proposal of XMDR is to solve the data heterogeneity problem in the sharing and exchanging data. Data heterogeneity problem is generated by different definition or mismatching expression of the same information. Therefore, we define XMDR with XML document by analyzing data elements based on MDR specification. The proposed synchronizing agent system using XMDR not only solves data heterogeneity for data interoperability in synchronizing data but also provides more efficient the agent system by offering errors of low frequency in the number of systems and requests of synchronizing data.

A Test Case Generation Method for Data Distribution System of Submarine (잠수함 데이터 분산 시스템을 위한 테스트 케이스 생성 기법)

  • Son, Suik;Kang, Dongsu
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.4
    • /
    • pp.137-144
    • /
    • 2019
  • Testing maturity is critical to the system under development with lack of experience and skills in the acquisition of the weapon systems. Defects have a huge impact on important system operations. Sharing real-time information will lead to rapid command and mission capability in submarine. DDS(Data Distribution System) is a very important information sharing system and interface between various manufacturers or data formats. In this paper, we analyze data distribution characteristics of distributed data system to group data-specific systems and proposes a test case-generation method using path search of postorder and preorder which is a tree traversal in path testing method. The proposed method reduces 73.7.% testing resource compare to existing methods.