• Title/Summary/Keyword: 데이터 지역성

검색결과 2,186건 처리시간 0.04초

실시간 임베디드 시스템을 위한 메모리 시스템 성능 최적화 기법 (An Optimization Technique in Memory System Performance for RealTime Embedded Systems)

  • 권용인;조두산;이종원;김용주;윤종희;박상현;백윤흥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.882-884
    • /
    • 2008
  • 통상 하드웨어 캐시의 크기보다 수십에서 수백배 큰 크기의 데이타를 랜덤하게 접근하는 경우 낮은 메모리 접근 지역성(locality)에 기인하여 캐시 메모리 성능이 급격히 저하되는 문제를 야기한다. 예를 들면, 현재 보편적으로 사용되고 있는 차량용 General Positioning System (GPS) 프로그램의 경우 최대 32개의 위성으로부터 데이터를 받아 수신단의 위치를 계산하는 부분이 핵심 모듈중의 하나 이며, 이는 전체 성능의 50% 이상을 차지한다. 이러한 모듈에서는 위성 신호를 실시간으로 받아 버퍼 메모리에 저장하며, 이때 필요한 데이터가 순차적으로 저장되지 못하기 때문에 랜덤하게 데이터를 읽어 사용하게 된다. 결과적으로 낮은 지역성에 기인하여 실시간 (realtime)안에 데이터 처리를 하기 어려운 문제에 직면하게 된다. 통상의 통신 응용의 알고리즘 상에 내재된(inherited) 낮은 메모리 접근 지역성을 개선하는 것은 알고리즘 상에서의 접근을 요구한다. 이는 높은 비용이 필요함으로 본 연구에서는 사용되는 데이터 구조를 변환하여 지역성을 높이는 방향으로 접근하였다. 결과적으로 핵심 모듈에서 2배, 전체 시스템 성능에서 14%를 개선할 수 있었다.

GAN 데이터 기반의 머신러닝 모델을 통한 미계측 하천에서의 수생태계 건강성 등급 예측 방안 연구 (A study on the prediction of aquatic ecosystem health grade in ungauged rivers through the machine learning model based on GAN data)

  • 이서로;이지민;이관재;김종건;임경재
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.448-448
    • /
    • 2021
  • 최근 급격한 기후변화와 도시화 및 산업화로 인한 지류하천에서의 수량과 수질의 변동은 생물 다양성 감소와 수생태계 건강성 저하에 큰 영향을 미치고 있다. 효율적인 수생태 관리를 위해서는 지속적인 유량, 수질, 그리고 수생태 모니터링을 통한 데이터 축적과 더불어 면밀한 상관 분석을 통해 수생태계 건강성의 악화 원인을 규명해야 할 필요가 있다. 그러나 수많은 지류하천을 대상으로 한 지속적인 모니터링은 현실적으로 어려움이 있으며, 수생태계의 특성 상 단일 영향 인자만으로 수생태계의 건강성 변화와의 관계를 정확히 파악하는데 한계가 있다. 따라서 지류하천에서의 유량 및 수질의 시공간적인 변동성과 다양한 영향 인자를 고려하여 수생태계의 건강성을 효율적으로 예측할 수 있는 기술이 필요하다. 이에 본 연구에서는 경험적 데이터 기반의 머신러닝 모델 구축을 통해 미계측 하천에서의 수생태계 건강성 지수(BMI, TDI, FAI)의 등급(A to E)을 예측하고자 하였다. 머신러닝 모델은 학습 데이터셋의 양과 질에 따라 성능이 크게 달라질 수 있으며, 학습 데이터셋의 분포가 불균형적일 경우 과적합 또는 과소적합 문제가 발생할 수 있다. 이를 보완하고자 본 연구에서는 실제 측정망 데이터셋을 바탕으로 생성적 적대 신경망 GAN(Generative Adversarial Network) 알고리즘을 통해 머신러닝 모델 학습에 필요한 추가 데이터셋(유량, 수질, 기상, 수생태 등급)을 확보하였다. 머신러닝 모델의 성능은 5차 교차검증 과정을 통해 평가하였으며, GAN 데이터셋의 정확도는 실제 측정망 데이터셋의 정규분포와의 비교 분석을 통해 평가하였다. 최종적으로 SWAT(Soil and Water Assessment Tool) 모형을 통해 예측 된 미계측 하천에서의 데이터셋을 머신러닝 모델의 검증 자료로 사용하여 수생태계 건강성 등급 예측 정확도를 평가하였다. 본 연구에서의 GAN에 의해 강화된 머신러닝 모델은 수질 및 수생태 관리가 필요한 우심 지류하천 선정과 구조적/비구조적 최적관리기법에 따른 수생태계 건강성 개선 효과를 평가하는데 활용될 수 있을 것이다. 또한 이를 통해 예측된 미계측 하천에서의 수생태계 건강성 등급 자료는 수량-수질-수생태를 유기적으로 연계한 통합 물관리 정책을 수립하는데 기초자료로 활용될 수 있을 것이라 사료된다.

  • PDF

GPS관측에 의한 세계측지계 성과 산출에 관한 연구 (Study on the Computation of World Geodetic System Result Using GPS Surveying)

  • 최병길;김욱남;이형수
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2006년도 춘계학술발표회 논문집
    • /
    • pp.59-63
    • /
    • 2006
  • 본 연구의 목적은 GPS관측에 의한 세계측지계 성과의 산출방안을 연구하는데 그 목적이 있다. GPS 관측 데이터와 상시관측소의 데이터를 활용하여 세계측지계 성과를 산출하기 위한 방안을 연구한다. GPS 관측 데이터의 후처리 결과 상시관측소의 데이터를 사용하지 않았을 경우와 사용하였을 경우의 폐합차를 분석한 결과 모두 정밀1차 기준점 측량작업규정에 만족함을 알 수 있었다. 또한 GPS상시관측소의 데이터를 활용하여 각 측점 지점의 좌표를 산출한 결과, 상시관측소 3개소의 데이터를 사용하였을 경우에 비해 사용하지 않았을 경우의 오차가 가장 크게 나타났으며 1개소 사용, 2개소 사용할 때 점차적으로 오차가 감소하고 있음을 알 수 있었다. 따라서 상시관측소를 고정점으로 사용하되 적어도 3점이상의 점을 사용하여야 함을 알 수 있었다. 본 연구는 제한된 일부 지역을 대상으로 GPS 상시관측소의 관측 데이터를 사용하여 세계측지계의 성과를 산출 한 연구로 향후 광범위한 지역에서의 GPS 상시관측소의 활용에 대한 심도 있는 연구가 진행되어야 할 것이다.

  • PDF

공간 데이터의 병렬성을 고려한 VIA 기반의 클러스트 시스템 설계 및 구현 (The Design and Implementation of VIA-based Cluster System for spatial data's parallelism)

  • 박시용;박성호;정기동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.653-656
    • /
    • 2000
  • 본 논문에서는 공간데이터의 병렬성을 고려한 클러스트 시스템을 제안하였다. 클러스트 시스템의 큰 단점인 다단계 프로토콜 스택에서 오는 메시지 전송 부하를 줄인 VIA(Virtual Interface Architecture)를 기반으로 클러스트 시스템을 구성하고 저장 서버들간에는 공간데이터의 지역성에 기반하여 데이터를 배치하며 저장 서버들 내에서는 공간 데이터의 병렬성을 고려하여 EPR(Enhanced Parallel R-tree)로 데이터를 배치하였다. 위의 클러스트 시스템을 기반으로 적절한 전송 데이터 크기와 전송 횟수를 구하기 위한 실험을 실시하였다.

  • PDF

비정형데이터를 활용한 홍수 모니터링 및 예측 (Flood monitoring and prediction using online unstructured data)

  • 이정하;황석환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.118-118
    • /
    • 2019
  • 현재 홍수예보는 정형데이터인 유량 및 수위 등을 활용하여 이뤄지고 있다. 하지만 실제 사람들이 체감하는 홍수에 대한 위험도는 홍수예보 발령과는 달라 홍수예보가 이뤄지지 않은 지역에서 인명사고가 발생하기도 한다. 이는 수위 측정이 이뤄지지 않는 소규모 하천이나 사람들의 유동성이 큰 도심지역에서 빈번하게 발생한다. 이를 보완하기 위해서는 사람들의 체감 정도 및 인구의 유동성을 고려한 비정형데이터를 활용해야 한다. 특히 소셜 네트워크 서비스(Social Network Commuinty, SNS)를 사용하는 사람들이 많아지면서 기존에 사용되어 왔던 정형데이터 센서 이외의 데이터를 제공한다. 또한 개개인이 작성하는 글은 실시간으로 활용이 가능하여 인구의 유동성 및 시 공간적 데이터를 얻기에 유용하여 활용성이 매우 높은 비정형데이터이다. 따라서 본 연구에서는 SNS 데이터를 추출하고 이를 분석하여 2018년에 발생했던 강우사상과의 패턴을 비교하여 홍수예보에서의 활용성을 분석하였다. 홍수와 관련한 키워드를 중심으로 시 공간적 정보 및 추출이 가능한 웹 크롤러(Web Crawler) 프로그램을 작성하였으며 이를 토대로 데이터를 수집하였다. 수집한 데이터와 실제 홍수사상을 비교 분석을 한 결과 강우량 및 수위와 해당 지역에 대한 데이터의 양이 유사한 패턴을 보인 것으로 확인되었다. 실시간으로 데이터를 수집하고 이를 분석하여 리드타임을 충분히 확보한다면 홍수예측에 활용 가능할 것이라 생각된다. 본 연구는 한국건설기술연구원 19주요-대4-시드사업인 '커뮤니티 빅데이터 패턴 해석을 통한 수난(水難) 발생 및 규모 예측 기술 개발(20190126-001) '로 수행되었습니다.

  • PDF

EMR 시스템을 위한 그리드 기술 기반의 보안성 및 데이터 접근성 향상 기법 (A method for improving security and data accessibility in EMR systems based on GRID technologies)

  • 신동민;신동규;신동일
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.211-215
    • /
    • 2010
  • 지금까지 병원에서 사용하던 일반 종이차트를 벗어나 전자적으로 환자의 데이터를 기록하고 유전자 데이터를 이용하여 환자의 유사 질병까지 찾아 낼 수 있는 EMR(Electronic Medical Record 전자 의무 기록)이 개발되면서 의료계는 환자에게 더욱 신속하고 정확한 진료를 할 수 있게 되었다. 본 논문은 이에 그리드 환경을 접목하여 더 빠른 데이터 처리와 신뢰성 과 접근성을 높일 수 있는 방법을 제시한다. 첫째, 현재 기 개발된 EMR 시스템의 환경에서 인증된 사용자만이 스토리지에 접근 할 수 있도록 GSI Service를 이용하여 단일 인증 방식으로 보안성을 높이며 동시에 단 한번의 인증절차로 모든 자원을 활용 할 수 있다. 둘째, Replica Service를 이용하여 기존의 스토리지를 복제 하여 중요한 데이터 들을 보호하며 다수의 접근이 발생할 경우 처리를 분산 시킬 수 있는 방법을 제시한다. 그리드 미들웨어인 글로 버스가 스토리지와 서버 상에서 CA인증을 담당하며 파일 전송을 담당하는 RFT는 스토리지의 Replica를 관리하는 RLS서버의 정보를 사용 하여 멀리 떨어져 있는 복제된 데이터와의 관계를 기억하고 접근시 가장 가용성이 뛰어난 머신에서 데이터를 불러온다. 이런 글로버스의 서비스 들은 중요하며 고용량이 데이터를 분산 시킴으로써 데이터의 지역성을 높여 재사용 혹은 동시 접근시 처리 시간을 단축 시킬 수 있다. 본 논문은 그리드 환경을 접목하여 이러한 서비스를 구현할 경우 높은 신뢰성과 접근의 신속성을 보장할 수 있다고 제시한다.

  • PDF

데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법 (A Distributed SPARQL Query Processing Scheme Considering Data Locality and Query Execution Path)

  • 김병훈;김대윤;고건식;노연우;임종태;복경수;이병엽;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.275-283
    • /
    • 2017
  • 시맨틱 웹 서비스의 증가로 인해 RDF 데이터가 대용량화되고 있다. 대용량 RDF 데이터를 효율적으로 활용하기 위하여 다양한 분산 저장 및 질의 처리기법들이 연구되고 있다. 본 논문에서는 대용량 RDF 데이터의 데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법을 제안한다. 제안하는 기법은 질의 처리 시의 조인 비용 및 통신비용을 감소시키기 위해 분산 저장된 RDF 데이터의 지역성 및 질의 수행 경로를 고려한다. 분산 환경에서 SPARQL 질의를 처리할 때 데이터 지역성을 고려하여 WHERE절을 기준으로 해당 질의를 여러 개의 서브 질의로 분할한다. 제안하는 기법은 분할된 서브 질의들을 인덱스를 통해 연관 노드들끼리 그룹화 하여 처리함으로써 데이터 통신비용을 감소시킬 수 있다. 또한 그룹 화된 서브 질의 처리 시 불필요한 조인 및 대기 시간을 감소시키기 위해 데이터 파싱 비용, 노드별 데이터 통신량 및 대기 시간 등을 고려한 효율적인 질의 수행 경로를 생성한다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법보다 우수함을 보인다.

NOD(News On Demand) 데이터의 인기도와 생명주기를 이용하는 시간 윈도우에 기반한 캐시 재배치 기법 (Time Window based Cache Replacement Strategy using Popularity and Life of News-Demand Data)

  • 최태욱;박성호;김영주;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.101-103
    • /
    • 1998
  • 뉴스기사를 구성하는 NOD데이터는 VOD(Video on Demand) 데이터와는 달리 미디어의 종류 및 크기, 시간적인 접근 지역성, 사용자와 상호 작용성 등의 차이점을 가질 뿐만 아니라 새로운 뉴스기사가 수시로 생성되고 사용자가 인기도가 높은 기사와 최신의 뉴스기사에 더 많이 접근하는 특성을 가진다. 본 논문에서는 현재 서비스중인 전자신문의 로그파일을 분석하여 NOD 뉴스기사의 인기도가 Zipf분포와 다름을 보이고, 뉴스기사의 생명주기Lifr Cycle)에 따른 접근 확률분포 제시한다. NOD 데이터의 접근 편기성으로 인하여 데이터 캐싱을 통한 NOD 서버의 성능 향상을 기대할 수 있으나 뉴스기사의 생명주기가 짧고 접근시간대별로 사용자 접근형태가 변하는 등의 이유로 단순히 인기도만 고려한 캐싱은 빈번한 데이터 재배치 문제로 인해 높은 캐시 관리비용을 야기한다. 따라서 본 논문에서는 뉴스 기사의 접근 편기성에 나타나는 인기도(popularity)와 생명주기를 조합한 척도를 제안하고 이를 이용한 재배치를 제안한다.

  • PDF

전라북도 부안 지역 소나무와 진안 지역 낙엽송 생장 모형의 실용성 평가 (Evaluation of Practicality of Growth Models for Pinus densiflora in Buan and Larix leptolepis in Jinan, Jeollabukdo)

  • 서병수;임호섭;이상현
    • 한국산림과학회지
    • /
    • 제97권4호
    • /
    • pp.368-373
    • /
    • 2008
  • 본 연구는 전북부안 지역의 소나무와 진안 지역 낙엽송림을 대상으로 개발된 생장모형을 지역적으로 독립된 데이터를 이용하여 검증하고 기존에 개발된 생장모형이 다른 지역에도 적용 할 수 있는지의 효율성을 측정하는데 그 목적을 두었다. 기존에 개발된 소나무의 직경생장 모형은 새로운 데이터에 우수한 적합성을 보였으나, 흉고단면적 및 수고 생장 모형은 적합도가 떨어지는 것으로 나타났다. 반면에 낙엽송의 직경, 흉고단면적 및 수고 생장 모형은 지역적으로 독립된 데이터에 우수한 적합성을 보였다. 따라서 기존에 개발된 소나무의 직경생장 모형을 제외한 흉고단면적 및 수고 생장 모형의 적용은 개발된 지역에서만 사용 할 수 있는 효율성의 한계가 있는 것으로 보인다. 그러나 낙엽송의 직경, 흉고단면적 및 수고 생장 모형은 다른 지역에도 적용 할 수 있는 우수한 효율성을 보여 산림 자원이 풍부한 전라북도 동부 산악권 지역의 낙엽송 생장 모형으로 이용 될 수 있는 것으로 판단된다.

기계학습을 활용한 동북아시아 지역 위성 토양수분 데이터 상세화 연구: AMSR2, ASCAT 데이터를 활용하여 (Spatial Downscaling of Satellite-based Soil Moisture Using Support Vector Machine in Northeast Asia)

  • 최민하;김성균;김형록
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2016년도 학술발표회
    • /
    • pp.208-208
    • /
    • 2016
  • 수문순환과정의 시공간적 거동을 해석하고 이를 정량화 하는 것은 효율적인 수자원 관리 및 계획을 위해 반드시 선행되어야 하는 연구이다. 특히 토양수분은 물 에너지 순환에서 지표면과 대기 사이의 복잡한 관계를 이해하기 위한 중요한 수문인자로, 이를 정확하게 측정하기 위한 방법들이 다각도로 발전되어 왔다. 그 중 위성 데이터를 활용한 토양수분 산정은 미계측 지역의 토양수분을 지속적이고 광역적이게 관측할 수 있는 선진 기술로 각광받고 있다. 그러나 대부분의 위성 자료들이 가지고 있는 공간 해상도는 복잡한 지형 환경을 대상으로 한 지역의 원격 탐사로서는 국지적인 수문학적 현상들을 분석하는데 어려움을 가지고 있다. 특히 우리나라의 경우 국토의 70% 정도가 산지로 이루어져 있으며 경사도가 $5^{\circ}$ 이하의 평탄한 지역은 약 23%에 그치는 등 복잡한 식생 지형 환경을 가지고 있다. 따라서 인공위성의 해상도와 식생 투과도를 고려할 때 저 해상도의 위성 토양수분만으로는 우리나라와 같이 면적에 비해 복잡한 환경에 기반 한 수문학적 현상들을 충분히 분석하는데 한계점이 있다. 따라서 본 연구에서는 support vector machine (SVM) 기계학습을 활용하여 ASCAT과 AMSR2 위성 토양수분의 상세화를 수행하여 고해상도의 토양수분을 산정하였고, 이를 지점관측 자료와 비교해 상세화도 자료의 신뢰성을 평가하였다. 검증된 고해상도 토양수분 데이터는 향후 자연재해 분석에 있어 예측의 정확성을 높이고 수문순환 및 기후 모델링에 있어서 중요한 입력 인자로 활용될 것으로 기대된다.

  • PDF