• Title/Summary/Keyword: 데이터 지역성

검색결과 2,198건 처리시간 0.032초

빅 데이터 처리를 위한 적응적 사용자 및 토픽 모델링 기반 자동 TV 프로그램 추천시스템 (Adaptive User and Topic Modeling based Automatic TV Recommender System for Big Data Processing)

  • 김은희;김문철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2015년도 하계학술대회
    • /
    • pp.195-198
    • /
    • 2015
  • 최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

  • PDF

Sentinel-1 자료를 이용한 한반도 산지에서의 토양수분 복원 연구 (Soil Moisture Retrieval of Mountainous Area on Korean Peninsula using Sentinel-1 Data)

  • 조성근;최민하
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.102-102
    • /
    • 2019
  • 토양수분은 수문 및 기상 현상의 주요 요인으로 가뭄, 홍수 및 범람과 같은 자연 재해와 관련이 깊은 인자이다. 이러한 토양수분의 관측 기술 중 위성 데이터를 활용한 원격탐사 기술은 광범위한 지역의 관측이 용이하고 지점이 아닌 공간 데이터를 제공하는 장점을 지니고 있어 토양수분의 관측에 유리하다. 특히 높은 해상도의 위성기반 토양수분 데이터는 토양수분의 변동성이 큰 지역의 수문, 기상학적 현상을 보다 자세히 분석할 수 있게 해주며 가뭄 및 범람과 같은 수자원 관련 재해를 정확하게 분석하는데 요구된다. 이로 인해 최근 Sentinel-1 위성에서 운용중인 Synthetic Aperture Radar(SAR) 데이터를 이용한 매우 높은 공간해상도(10m~1km)를 지니고 있는 토양수분데이터 생산에 관한 연구가 세계적으로 활발히 진행되고 있다. 그러나 국내에서는 Sentinel-1 위성을 이용한 토양수분 데이터 복원에 관한 연구가 미비한 실정이다. 따라서 본 연구에서는 파주 감악산 설마천 유역에서의 Sentinel-1 위성의 SAR 데이터를 이용한 고해상도 토양수분 데이터를 복원하고자 한다. 파주 설마천 유역은 감악산 일대로 경사가 심하고 식생이 두터운 산악지형이다. SAR를 이용하여 산지에서 신뢰성 있는 토양수분 자료를 복원하기 위해서는 가장 큰 오차의 원인으로 작용하는 경사와 식생을 고려하여야 한다. 먼저 표면 경사의 영향의 경우 SAR 센서의 레이더 입사각과 수치 표고 모델을 이용하여 고려하고자 한다. 다음 과정으로 표면 경사가 고려된 Sentinel-1 데이터의 후방산란계수와 Landsat-8 데이터 및 지점 토양수분 데이터를 이용하여 식생에 따른 후방산란계수의 거동을 Water Cloud Model을 이용하여 분석하였다. Water Cloud Model은 토양위의 식생의 수분이 후방산란계수에 혼동을 주는 구름과 같이 작용한다고 가정하고 식생수분을 후방산란계수와 레이더 입사각 및 식생지수를 통해 계산하는 모델이며 이를 이용하여 토양수분 복원에 있어 식생의 영향을 제거하고자 하였다. 이를 통해 식생과 표면 경사를 고려하여 복원된 토양수분 데이터를 설마천 유역의 지점 데이터와 비교 분석하고 다른 위성기반 토양수분 데이터 및 강우 데이터를 이용하여 평가하였다. 본 연구결과를 통해 한반도 산지에서의 SAR 데이터를 이용한 토양수분 복원 기술의 기초가 마련될 것이며 이를 통해 산지가 대부분인 한반도의 토양수분 거동을 이해하는데 유용한 자료를 제공할 수 있을 것으로 기대된다. 본 연구 이후에는 연구결과분석을 통한 산지에서의 고해상도 토양수분 복원 알고리즘을 분석, 보완하고 한반도에서의 SAR 기반 토양수분 데이터의 정확도를 높이는 연구가 진행되어야 할 것이다.

  • PDF

데이터 마이닝을 이용한 자연재난 경고 (Natural Disaster Alarming using Data Mining)

  • 유준석;최원길;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.367-370
    • /
    • 2008
  • 지구 온난화와 도시화 등으로 인해 자연 재난은 매년 그 강도는 증가하고 있고 그 결과 재난으로 인한 피해도 증가하고 있다. 우리나라 역시 매년 자연재난으로 많은 피해를 입고 있다. 이러한 재난을 지역의 특성을 이용하여 분류한 후 특성이 유사한 지역을 모아 패턴을 찾게 되며 패턴은 데이터 마이닝을 이용해 찾게 된다. 데이터 마이닝이란 여러 가지 데이터 안에 의미 있는 패턴을 찾아내는 기술이며 여기서 찾게 되는 패턴은 지금까지 발생한 재난의 발생 직전까지의 패턴이 된다. 이렇게 찾아낸 패턴은 현재 연속적으로 변하는 환경의 패턴 비교되며 패턴이 유사할 경우 경고하여 재난이 발생하기 전 먼저 예측하고 대비하는 방법을 제시한다.

Dyna-CLUE 모형을 이용한 토지이용변화가 유출특성에 미치는 영향 모의 (Simulated impact of land use change on runoff characteristics Using Dyna-CLUE Model)

  • 정세진;한우석;이석호;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.90-90
    • /
    • 2015
  • 최근 우면산 산사태 및 2011, 2012년 서울, 경기권의 집중호우로 전국에서 홍수피해가 빈번하게 발생하고 있다. 이러한 홍수피해는 기후변화 및 도시화의 영향으로 미래에 더욱 빈번하게 발생할 것으로 전망된다. 홍수피해를 저감하기 위해 기후변화 재해취약성 분석, 방재지구 지정 의무화, 지역별 방재성능목표 설정 등 다양한 홍수 분석방법 및 정책이 수립?운영되고 있다. 하지만, 토지이용 변화 및 토지이용별 공간분포 고려, 미래 국토변화 데이터의 불확실성 저감, 유역단위의 홍수분석 등은 개선할 필요가 있다. 본 연구에서는 현행 기후변화 홍수분석방법 및 정책의 개선사항을 검토하여 국토변화를 고려한 홍수분석 방법을 개발했고, 사례유역을 대상으로 적용했다. 미래 토지이용변화 및 토지의 공간적인 특성을 반영하기 위해 과거 토지이용변화 추세선, 토지이용변화 시나리오 도출, 개발제한 지역 및 입지특성을 고려한 토지이용의 공간적인 특성을 도출하여 미래 토지이용 데이터를 구축하는 방법을 제시했다. 미래 데이터의 불확실성을 저감하기 위해서는 과거 장기 강우데이터와 기후변화 시나리오 데이터를 비교하고, 보정 및 검증을 수행하는 방법을 제시했다. 이렇게 구축된 미래 데이터를 활용하여 일련의 국토변화를 고려한 홍수분석 방법을 제시했다. 홍수분석결과인 최대홍수량이 그 지역의 홍수위험은 아니지만, 현재 대비 미래의 최대홍수량 변화는 홍수 위험과 밀접한 관련이 있다. 본 연구에서 제시된 다양한 방법들을 현행 기후변화 홍수 관련 분석방법 및 정책에 포함하면, 신뢰성있는 데이터를 획득하고 향후 정량화된 홍수위험을 분석하는데 도움이 될 것으로 기대하고 있다.

  • PDF

IoT 기반 Apache Spark 분석기법을 이용한 과수 수확 불량 영역 모니터링 아키텍처 모델 (Using IoT and Apache Spark Analysis Technique to Monitoring Architecture Model for Fruit Harvest Region)

  • 오정원;김행곤
    • 스마트미디어저널
    • /
    • 제6권4호
    • /
    • pp.58-64
    • /
    • 2017
  • 현대 사회는 급속한 세계인구의 증가, 농촌 인구의 고령화, 산업화로 인한 농작물 재배 지역의 감소, 농촌 지역의 수익 구조의 불량 등으로 농부들의 탈농촌화 등으로 먹거리 문제 해결이 중요한 화두로 떠오르고 있다. 최근 농촌의 수익을 증대시키기 위해서 스마트 팜(Smart Farm) 분야의 연구가 활발하게 이루어지고 있다. 기존의 스마트 팜 연구는 주로 온실의 농작물의 재배 환경을 모니터링 하여 온실의 조도, 습도, 토양 등이 불량해지면 재배 환경인자를 제어하는 시스템을 자동으로 가동시켜 농작물의 재배 환경을 최적의 상태로 유지하는 데 중점을 두어 연구되고 있다. 즉, 실내에서 재배하는 농작물에 중점을 두어 연구가 이루어지고 있으며 실외에서 재배되는 농작물의 재배환경에 적용되는 연구는 많이 이루어지지 않았다. 본 논문에서는 과수원에서 자라는 과수의 수확 시기를 정확하게 예측하여 최상의 품질로 과일이 수확되게 지원하고 수확이 불량한 지역을 빅데이터 분석을 통해 모니터링하여 불량 지역의 수확성을 향상시키기 위해서 집중 관리할 수 있은 기능을 제공하는 아키텍처를 제안한다. 수확에 관련된 인자는 과일 색상 정보와 과일 무게 정보를 사용하며 실시간으로 수집되는 수확 상관인자 데이터를 Apache Spark 엔진을 이용하여 분석하도록 제안한다. Apache Spark 엔진은 대용량 배치성 데이터 분석 뿐만 아니라 실시간 데이터 분석에서도 우수한 성능을 보인다. 서비스를 수신하는 사용자 디바이스는 PC User 와 Smart Phone User를 지원한다. 센싱 데이터 수신 장치는 센싱되는 데이터를 수신한 후 서버로 전송하는 단순한 처리만 필요하므로 Arduino를 적용하였다. 과일의 수확시기를 조절하여 좋은 품질의 과일을 생산하려면 수확이 불량한 지역을 판단하여 불량지역을 집중 관리해야 한다. 본 논문에서는 빅 데이터 분석 기법을 이용해서 과일 수확의 불량지역을 판단하는 아키텍처 모델을 제안한다.

대규모 분산 컴퓨팅 환경에서 확장성을 고려한 실시간 데이터 공급 기법 (Scalable Data Provisioning Scheme on Large-Scale Distributed Computing Environment)

  • 김병상;윤찬현
    • 정보처리학회논문지A
    • /
    • 제18A권4호
    • /
    • pp.123-128
    • /
    • 2011
  • 본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.

메타데이터 레지스트리를 위한 메타데이터 교환 프로토콜의 질의 효율성 평가 (Query Efficiency Evaluation of the Metadata Exchanging Protocol for Metadata Registries)

  • 정동원
    • 한국시뮬레이션학회논문지
    • /
    • 제14권2호
    • /
    • pp.73-81
    • /
    • 2005
  • 이 논문에서는 메타데이터 레지스트리간의 메타데이터 교환을 위해 제안된 교환 프로토콜의 장점을 명시적으로 보이기 위한 시뮬레이션 결과에 대하여 기술한다. 기존 접근 방법들은 교환 메커니즘의 높은 복잡도, 지역 메타데이터 관리 시스템으로의 종속성, 새로운 메타데이터 관리 시스템의 추가를 위한 높은 비용 등의 문제점을 지닌다. 이를 해결하기 메타데이터 교환 프로토콜이 제안되었다. 그러나 지금까지의 연구에서는 정성적으로만 그 장점을 보였다. 이 논문의 목적은 정략적 관점에서 제안된 프로토콜의 장점을 기술하고자 함에 있다. 특히 이 논문에서는 질의 효율이 가장 중요한 문제로서 다른 요인에 의한 결과에도 영향을 주기 때문에 질의 효율성 문제에 초점을 둔다. 이를 위해 평가 항목과 평가 모델에 대해 정의한다. 질의 효율성 평가를 위한 요인 중에서 대상 메타데이터의 개수, 각 메타데이터를 구성하는 컴포넌트의 개수 및 각 컴포넌트들을 구성하는 속성들의 개수를 주 파라미터로 이용하였다. 이에 따라 시뮬레이션은 크게 세 가지 유형을 지니게 된다 정량적 평가를 통해 교환 프로토콜이 요구되는 이유와 그 정당성을 명시적으로 보인다.

  • PDF

코로나 바이러스 확진자 데이터 기반 시뮬레이션 모델 학습 방법 제안 (Suggestion of Corona Virus Infection Data-based Simulation Model Update Method)

  • 장미;이복주;강봉구;서경민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.334-337
    • /
    • 2020
  • 코로나감염-19, 사스, 메르스 등 바이러스성 질병이 전세계적으로 확산되어 많은 인구가 감염되어 왔다. 바이러스성 질병의 확산 예측 및 종결을 위해 실제 감염자 데이터를 기반으로 한 시뮬레이션 연구는 반드시 필요하다. 본 연구는 지역 내 클러스터 감염 시뮬레이션을 위한 바이러스 감염모델을 제안한다. 제안하는 모델은 여러 개의 셀로 구성되어 있으며, 각 셀은 군집을 표현하고 있다. 본 논문에서 제안한 모델은 실제 데이터를 기반으로 하여 정확도가 높으며, 이를 바탕으로 향후 지역의 특성을 반영한 전파 시뮬레이션 혹은 지역 간의 전파를 예상하는 시뮬레이션의 기초로 사용될 수 있다.

가계대출 연체율 예측을 통한 시도별 정책 방향성 연구 (A Study of Policy Direction by City and Province through the Prediction of Household Loan Delinquency Rate )

  • 이수진 ;원정인 ;강희용;이인성 ;김건 ;김진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.380-381
    • /
    • 2023
  • 최근 경제침체로 인해 지속되는 연체율 상승의 원인을 지역별 및 시차별로 분석하였다. 독립변수를 가계대출변수, 부동산지수변수, 경제지표변수로 나누었고 통계적 모델링을 통해 총 19 가지 변수로 연체율을 예측하였다. 각 지역마다 상이한 결과가 도출되었는데 이를 바탕으로 지역별 연체율 감소 정책을 제안한다.

임야지역 지적재조사를 위한 KLIS 데이터의 활용 가능성 연구 (Study in the Applicability of KLIS Data for the Cadastral Re-Surveying in the Forest Area)

  • 최한영;홍성언
    • 대한공간정보학회지
    • /
    • 제14권3호
    • /
    • pp.23-30
    • /
    • 2006
  • 임야지역은 지역적 특성상 토탈스테이션, RTK-GPS 측량 등의 지상측량 방법으로는 지적재조사 측량에 한계성이 있다. 그렇기 때문에 기존 지적재조사 측량 방법들로 제안되고 있는 방식과는 다른 새로운 방법들이 모색되어야 할 필요성이 있다. 본 연구에서는 임야지역을 효율적으로 재조사할 수 있는 방법으로서 현재 KLIS에서 이용되고 있는 임야도 전산파일의 이용가능성을 제시하고자 하였다. 연구결과 가장 중요한 면적오차는 대체적으로 오차범위 이내의 성과를 보였다. 따라서 위치경계선 조정을 위한 현황 참조 데이터와 KLIS 데이터를 연계하여 이용한다면 향후 지적재조사시에 충분한 활용가능성이 있는 것으로 나타났다.

  • PDF