• 제목/요약/키워드: 그리드 인덱스

검색결과 22건 처리시간 0.016초

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

그래프 데이터베이스를 활용한 공간 데이터 통합 방안 연구: 부동산 분야를 중심으로 (A Study on Spatial Data Integration using Graph Database: Focusing on Real Estate)

  • 김주영;박슬아;유기윤
    • 한국지리정보학회지
    • /
    • 제26권3호
    • /
    • pp.12-36
    • /
    • 2023
  • 그래프 데이터베이스는 다양한 유형의 데이터와 그 관계를 그래프로 모델링하여 적재하기 때문에 복잡한 관계로 연결될 수 있는 부동산 데이터를 관리하고 분석하는데 효과적일 수 있으나, 현재 제공되는 그래프 데이터베이스의 제한적인 공간 기능으로 인해 활발히 활용되지 못하고 있다. 이러한 배경에서, 본 연구에서는 다양한 부동산 공간 관련 질문들에 대응할 수 있도록 그래프 데이터베이스를 활용한 Uniform Grid 기반 부동산 공간 데이터 관리 방안을 제안한다. 핵심 데이터를 선정하기 위하여 부동산 커뮤니티의 관련 질의를 분석하였으며, 국가지점번호를 단위 Grid로 설정하고 다양한 부동산 관련 데이터들을 연결한 그래프 스키마를 구성하여 테스트 데이터베이스를 구축하였다. 데이터베이스 검증을 위해, Jackpine 벤치마크를 활용하여 기본 위상관계 및 공간함수를 테스트하였고, 나아가 다양한 시나리오 기반 질의 테스트를 수행함으로써 제안한 방법의 적절성을 검증하고자 하였다. 그 결과, 제안한 방법은 총 29개의 공간 위상관계와 공간함수 중 25개의 기능을 성공적으로 수행하였고, 25개의 기능과 15개의 시나리오에 대해 약 97%의 정확도를 달성하였다. 본 연구는 그래프 데이터베이스의 제한적인 공간 기능을 고려하여, 부동산 관련 공간 질문에 대응할 수 있는 효율적인 데이터 통합방안을 제안하였다는 점에서 의의를 가진다. 그러나 그리드 기반 인덱스 사용으로 인한 잘못된 공간 위상관계 생성 문제 및 리스트 비교에 따른 질의의 비효율성에 대한 한계점이 존재하며, 이는 후속 연구에서 개선할 필요가 있다.