• 제목/요약/키워드: 데이터 비교

검색결과 12,513건 처리시간 0.038초

병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안 (A Method to Access Data for Spatial Operation in Parallel Distributed Processing System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

GNSS 이용 시각비교 통합 모니터링

  • 김준환;양성훈;이영규;이승우;이창복;김기두
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2006년도 International Symposium on GPS/GNSS Vol.2
    • /
    • pp.482-485
    • /
    • 2006
  • 다채널 시각비교 수신기(R100-40T, Euro-80)를 이용한 GPS C/A 코드 시각비교 데이터와 Ashtech Z12T 수신기를 이용한 P3 코드 시각비교 데이터를 통합 모니터링함으로서, 간편하게 시각비교 결과를 확인 할 수 있게 GUI(Graphic User Interface) 환경으로 구현하였다. 수신기들은 현재 KRISS(Korea Research Institute of Standards and Science)에서 사용 중인 위성이용 시각비교 수신기들이다. 본 시각비교 통합 모니터링 프로세스를 통해서 GPS C/A code 시각비교 데이터와 P3 code 시각비교 데이터 각각을 비교 분석함으로써 시각비교 결과의 신뢰성을 검증하는데 사용한다.

  • PDF

근적외선 분광 데이터 예측 모형을 위한 데이터 마이닝 기법의 성능비교 (Performance Comparison of Data Mining Approaches for Prediction Models of Near Infrared Spectroscopy Data)

  • 백승현
    • 대한안전경영과학회지
    • /
    • 제15권4호
    • /
    • pp.311-315
    • /
    • 2013
  • 본 논문에서는 주성분 회귀법과 부분최소자승 회귀법을 비교하여 보여준다. 이 비교의 목적은 선형형태를 보유한 근적외선 분광 데이터의 분석에 사용할 수 있는 적합한 예측 방법을 찾기 위해서이다. 두 가지 데이터 마이닝 방법론인 주성분 회귀법과 부분최소자승 회귀법이 비교되어 질 것이다. 본 논문에서는 부분최소자승 회귀법은 주성분 회귀법과 비교했을 때 약간 나은 예측능력을 가진 결과를 보여준다. 주성분 회귀법에서 50개의 주성분이 모델을 생성하기 위해서 사용지만 부분최소자승 회귀법에서는 12개의 잠재요소가 사용되었다. 평균제곱오차가 예측능력을 측정하는 도구로 사용되었다. 본 논문의 근적외선 분광데이터 분석에 따르면 부분최소자승회귀법이 선형경향을 가진 데이터의 예측에 가장 적합한 모델로 판명되었다.

지표면 산란모델 개발과 JPL AirSAR 측정데이터와 비교 (Development of a Scattering Model for Earth Surface and Comparison with JPL AIRSAR Data)

  • 이성화;정구준;오이석
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2003년도 공동 춘계학술대회 논문집
    • /
    • pp.129-134
    • /
    • 2003
  • 본 논문에서는 지표면 산란에 대한 모델을 개발하였고 이를 JPL AirSAR 측정데이터와 비교하였다. 식물이 없는 토양에서의 레이더 산란에 대해 새로 개발된 polarimetric empirical model(PEM)을 바탕으로, radiative transfer 이론을 이용하여 숲, 논, 밭 등 식물이 있는 토양에서의 레이더 산란 모델을 개발하였다. 지표면에서의 산란에 대해 개발된 이 모델을 AirSAR PACRIM-2 실험에서 얻은 측정 데이터와 비교하였다. 논, 채소밭, 풀 없는 토양, 소나무 숲 등에 대해 그 지역에서 얻은 지표면 변수를 이용한 산란모델 계산 결과를 측정 데이터와의 비교함으로써 이 산란모델의 사용가능 범위에 대한 논의가 이루어졌다.

  • PDF

불변조건을 이용한 XML 비교 방법 (XML Change Detection with Inavariant Conditions)

  • 이은정;구용모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.43-46
    • /
    • 2005
  • 최근 데이터 표현 형식으로 XML 데이터가 많이 도입되면서 두 개의 XML 트리를 비교하여 차이를 구하는 것이 데이터 웨어하우징이나 XML 네이티브 데이터베이스 등에서 중요한 요소가 되었다. 기존의 XML 트리 비교 방법은 일반적으로 가격 모델 기반 노드 매핑을 도입하고 있다. 이러한 최소 가격 기반 노드 매핑을 통해 트리의 차이를 구하는 방식은 원래 데이터의 의미와 조건을 유지하지 못하는 경우가 생기는데, 본 논문에서는 이러한 문제를 해결하기 위하여 트리의 변경 과정에서 유지되는 불변 조건의 개념을 소개하고 이를 이용하여 트리 비교를 수행하기 위한 모델을 제시한다.

  • PDF

PDB 데이터에서 PSAML로의 변환도구 개발 (Development of a Translator from PDB Data to PSAML)

  • 조민수;이수현;이명준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2403-2406
    • /
    • 2002
  • 현재의 단백질 구조비교 시스템들 사이의 호환성이나 상호작용성의 문제를 해결하고 단백질 구조를 비교하는 시스템을 신속히 개발하기 위해서 단백질 3차구조를 표현하기 위한 데이터를 추출하여 XML과 같은 표준 형식으로 기술된 데이터를 제공하는 것이 바람직하다. 이에 따라 단백질의 2차구조 구성요소와 그들 사이의 관계를 이용하여 단백질 구조를 기술하는 PSA가 제안되었으며, PSA를 기반으로 하여 단백질 데이터의 XML 표현기법인 PSAML이 제안되었다. 본 논문에서는 PSAML 데이터의 생성을 위하여 PDB에서 제공되는 데이터를 PSAML 형식으로 변환시키는 도구를 설계하고 구현하였다. 변환도구는 XML DOM과 Java를 이용하여 구현되었으며, 생성된 데이터는 단백질 구조 및 유사성을 비교하기 위한 단백질 구조비교 시스템에서 사용될 수 있다.

  • PDF

메타데이터간 상호운용성을 위한 비교 연구 - MARC, Dublin Core, ONIX 메타데이터요소를 중심으로 - (A Study on the Metadata Interoperability among MARC 21, Dublin Core and ONIX Metadata Elements)

  • 윤세진;오경묵
    • 한국도서관정보학회지
    • /
    • 제33권2호
    • /
    • pp.277-302
    • /
    • 2002
  • 본 연구는 효율적인 메타데이터간의 상호운용 방안마련을 위하여 주요 원칙들을 선정하고 이 원칙들을 기준으로 디지털자원 관리를 위한 메타데이터간의 상호운용성에 대한 실질적인 비교테이블을 제안하였다. NISO의 백서(White Paper)에서 제안한 상호연동(crosswalking)의 주요 항목들을 바탕으로 원칙들을 선정하고 이 원칙들을 기준으로 INDES 메타데이터 구조(framework)를 바탕으로 개발된 ONIX와 기존의 MARC과 Dublin Core와 비교하였다. 이들 메타데이터 요소들의 실질적인 비교를 통하여 상이한 메타데이터간의 상호운용성을 위한 어의, 구문 및 구조에 대한 공통적인 규칙을 지원하는 구문을 개발하고, 실제로 메타데이터간의 변환 시스템을 구현하는 도서관 관련 시스템 개발자들에게 있어서 필수적인 기반 연구가 되고자 하였다.

  • PDF

데이터 분석 도구 성능 비교 연구 -기계 학습을 적용하여- (A Performance Comparison Study on Data Analysis Tool -Applying Machine Learning-)

  • 권태희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.34-37
    • /
    • 2016
  • 빅데이터 시대가 도래되면서 과거와 비교할 수 없을 만큼의 방대하고 다양한 데이터가 생산됨에 따라 기존의 데이터 분석 도구의 사용은 한계에 부딪히게 되었다. 따라서 기존의 분석 도구보다 효율적이고 정확성이 높은 데이터 분석 도구를 필요로 하게 되었고, 빅데이터를 처리할 수 있는 분석 도구들에 대한 많은 연구들이 진행되어 왔다. R과 Apache Spark는 대표적인 데이터 분석 도구로 기계 학습을 위한 기능을 제공하고 있다. 본 논문에서는 기계 학습을 활용하여 두 개의 널리 알려진 데이터 분석 도구인 R과 Apache Spark의 데이터 분석 성능을 비교함으로써 보다 효율적이고 정확성이 높은 도구를 모색하고자 한다.

Edge Computing 성능 비교를 위한 Cloud 기반 빅데이터 시스템 구축 방안 (A Cloud-based Big Data System for Performance Comparison of Edge Computing)

  • 임환희;이태호;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.5-6
    • /
    • 2019
  • Edge Computing에서 발생하는 데이터 분석에 대한 알고리즘의 성능 평가나 검증은 필수적이다. 이러한 평가 및 검증을 위해서는 비교 가능한 데이터가 필요하다. 본 논문에서는 Edge Computing에서 발생하는 데이터에 대한 분석 결과 및 Computing Resource에 대한 성능평가를 위해 Cloud 기반의 빅 데이터 분석시스템을 구축한다. Edge Computing 비교분석 빅 데이터 시스템은 실제 IoT 노드에서 Edge Computing을 수행할 때와 유사한 환경을 Cloud 상에 구축하고 연구되는 Edge Computing 알고리즘을 Data Analysis Cluster Container에 탑재해 분석을 시행한다. 그리고 분석 결과와 Computing Resource 사용률 데이터를 기존 IoT 노드 Edge Computing 데이터와 비교하여 개선점을 도출하는 것이 본 논문의 목표이다.

  • PDF

시계열 데이터에 대한 클러스터링 성능 분석: Wavelet과 Autoencoder 비교 (Clustering Performance Analysis for Time Series Data: Wavelet vs. Autoencoder)

  • 황우성;임효상
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.585-588
    • /
    • 2018
  • 시계열 데이터의 특징을 추출하여 분석하는 과정에서 시게열 데이터가 가지는 고차원성은 차원의 저주(Course of Dimensionality)로 인해 데이터내의 유효한 정보를 찾는데 어려움을 만든다. 이러한 문제를 해결하기 위해 차원 축소 기법(dimensionality reduction)이 널리 사용되고 있지만, 축소 과정에서 발생하는 정보의 희석으로 인하여 시계열 데이터에 대한 군집화(clustering)등을 수행하는데 있어서 성능의 변화를 가져온다. 본 논문은 이러한 현상을 관찰하기 위해 이산 웨이블릿 변환(Discrete Wavelet Transform:DWT)과 오토 인코더(AutoEncoder)를 차원 축소 기법으로 활용하여 시계열 데이터의 차원을 압축 한 뒤, 압축된 데이터를 K-평균(K-means) 알고리즘에 적용하여 군집화의 효율성을 비교하였다. 성능 비교 결과, DWT는 압축된 차원수 그리고 오토인코더는 시계열 데이터에 대한 충분한 학습이 각각 보장된다면 좋은 군집화 성능을 보이는 것을 확인하였다.