• 제목/요약/키워드: 데이터 처리량

검색결과 2,605건 처리시간 0.03초

공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관한 연구 (Design of Middleware Platform for Construction of Spatial Data Infrastructure)

  • 이진규;장민영;이형진
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동춘계학술대회
    • /
    • pp.137-142
    • /
    • 2008
  • 본 논문에서는 공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관하여 연구하였다. 국내에서 활용되고 있는 지리정보시스템은 데이터 저장방식 및 서로 상이한 응용프로그램들의 사용으로 서로 다른 GIS 수요기관들 간의 공간데이터 교환이 어렵고, 시스템간의 호환이 거의 되지 않아 수요기관별로 개별적인 투자를 함으로써 중복투자의 문제가 심각하다. 이에 본 논문에서는 공간정보 인프라 구축을 위하여, 수치지도 갱신에 따른 비용 문제를 해결하고, 산업화에 직접 적용할 수 있는 미들웨어의 구조를 설계하고 기술하였다. 이는 상호이질적인 지형 데이터의 처리와 분산된 대용량 데이터를 처리하고, 데이터 갱신에 필요한 Long Transaction 처리, 다양한 데이터 소스에 대한 접근, 관리를 위한 서버측 프로시계의 생성 및 호출기능을 수행한다. 또한 클라이언트 측 어플리케이션과의 연결을 위한 방법으로 CORBA 인터페이스를 제공하여 프로그램 언어, 하드웨어/OS에 독립적인 분산처리가 가능하도록 설계 하였다.

  • PDF

MEGAS : 메타지노믹 데이터 분석 시스템 (MEGAS : MEtaGenomic data Analysis System)

  • 박솔빈;김동욱;백두권
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.722-725
    • /
    • 2013
  • 최근 시퀀싱 기술의 발전으로 생물 데이터는 폭발적으로 증가되고 있으며 이로 인하여 우리는 지놈 시대를 지나 특정 환경 내에 존재하는 생물체들의 총체적인 지놈을 다루는 메타지놈 시대에 살고 있다. 그러나 메타지노믹 데이터의 증가속도에 비해 이를 효율적으로 분석, 검토, 판별할 수 있는 파이프라인 형태의 프로그램은 전무한 실정이다. 또한, 기존 프로그램은 대부분의 관련연구자들이 다루기 힘든 리눅스 환경의 커맨드 라인 방식이며 대용량 데이터를 처리할 수 없는 제한과 처리 속도의 한계성을 가지고 있다. 이러한 문제점들을 해결하고자 윈도우 환경의 직관적인 그래픽 사용자 인터페이스로 유기적인 데이터 분석이 가능한 메타지노믹 데이터 분석 파이프라인을 설계하고 구현하였다.

차원축소 방법을 이용한 평균처리효과 추정에 대한 개요 (Overview of estimating the average treatment effect using dimension reduction methods)

  • 김미정
    • 응용통계연구
    • /
    • 제36권4호
    • /
    • pp.323-335
    • /
    • 2023
  • 고차원 데이터의 인과 추론에서 고차원 공변량의 차원을 축소하고 적절히 변형하여 처리와 잠재 결과에 영향을 줄 수 있는 교란을 통제하는 것은 중요한 문제이다. 평균 처리 효과(average treatment effect; ATE) 추정에 있어서, 성향점수와 결과 모형 추정을 이용한 확장된 역확률 가중치 방법이 주로 사용된다. 고차원 데이터의 분석시 모든 공변량을 포함한 모수 모형을 이용하여 성향 점수와 결과 모형 추정을 할 경우, ATE 추정량이 일치성을 갖지 않거나 추정량의 분산이 큰 값을 가질 수 있다. 이런 이유로 고차원 데이터에 대한 적절한 차원 축소 방법과 준모수 모형을 이용한 ATE 방법이 주목 받고 있다. 이와 관련된 연구로는 차원 축소부분에 준모수 모형과 희소 충분 차원 축소 방법을 활용한 연구가 있다. 최근에는 성향점수와 결과 모형을 추정하지 않고, 차원 축소 후 매칭을 활용한 ATE 추정 방법도 제시되었다. 고차원 데이터의 ATE 추정 방법연구 중 최근에 제시된 네 가지 연구에 대해 소개하고, 추정치 해석시 유의할 점에 대하여 논하기로 한다.

효율적 데이터 스트림 분석을 위한 발생빈도 예측 기법을 이용한 과부하 처리 (Load Shedding via Predicting the Frequency of Tuple for Efficient Analsis over Data Streams)

  • 장중혁
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.755-764
    • /
    • 2006
  • 근래 들어 유비쿼터스 컴퓨팅 및 센서 네트워크 환경 등과 같은 다양한 응용 분야에서 데이터 스트림 형태의 정보를 발생시키고 있으며, 이들 정보를 효율적으로 처리하기 위한 다양한 방법들이 활발히 제안되어 왔다. 대부분의 이들 방법들은 주로 처리 과정에서의 공간 사용량 및 데이터당 처리 시간을 줄이는데 초점을 맞추고 있다. 하지만 이들 방법들에서 데이터 발생량이 급격히 증가되는 경우 일부 데이터는 실시간으로 처리되지 못하며 해당 방법의 성능 저하를 초래한다. 따라서, 데이터 스트림 처리의 효율성을 높이기 위해서는 효율적인 과부하 처리 기법을 필요로 한다. 이를 위해서 본 논문에서는 발생빈도 예측법을 이용한 과부하 처리 기법을 제안한다. 즉, 해당 기법에서는 처리 대상 데이터의 현재 시점까지의 발생빈도를 고려하여 해당 데이터의 향후 발생 상황을 예측하며, 이를 통해서 해당 데이터 스트림에서 과부하가 발생했을 때 효율적으로 대처할 수 있도록 지원한다. 또한, 제안되는 방법에서는 데이터 스트림의 변화를 고려하여 튜플 선별을 위한 임계값을 적응적으로 조절함으로써 불필요한 과부하 처리 수행을 최소화한다.

OFDM에서 Bitloading 알고리즘의 성능평가 (Performance Analysis of Bitloading Algorithm for OFDM)

  • 최정식;변건식
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2005년도 추계학술대회 논문집
    • /
    • pp.327-330
    • /
    • 2005
  • 고속으로 데이터를 전송하는 변조방법인 OFDM은 각 서브채널의 상태가 서로 다름에도 불구하고 같은 양의 데이터를 전송하게 되며 이때 일부 채널의 상태가 매우 나쁨에도 불구하고 같은 양의 데이터를 보내게 된다면 시스템의 성능은 나빠지게 된다. 본 논문에서는 Bitloading 알고리듬을 이용하여, 서브 채널의 상태에 따라 데이터 량을 조절할 수 있는 OFDM 시스템을 구현하고, 시뮬레이션을 통해 성능을 입증하였다.

  • PDF

XPath Accelerator: 구현 및 튜닝 (XPath Accelerator: An Implementation and its Tuning)

  • 신진호;이상원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.47-50
    • /
    • 2004
  • XML 은 데이터 저장과 전송을 위한 수단으로 자리잡아 가고 있으며, 관계형 DBMS를 이용해서 효과적으로 대용량의 XML 데이터의 저장과 검색에 관한 연구가 진행 되고 있다. 본 논문에서는 기 제안된 XPath Accelerator 라는 XML 데이터 인덱스 메커니즘을 상용 관계형 DBMS를 활용해서 구현하고, 이를 해당 DBMS 상에서 최대한의 성능을 위해 튜닝하는 방안을 기술한다. 이를 위해 XBench 라는 XML 전용 벤치마크 데이터를 활용해서 XPath Accelerator 의 문제점과 향후 개선 방안에 대해서도 논의한다.

  • PDF

항목의 개체수를 이용한 확장된 데이터 마이닝 연관규칙 (Extended Association Rules of Data Mining using Number of Items)

  • 조형진;황병연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.3-6
    • /
    • 2001
  • 현 시대에 살아가는 사람들은 정보의 홍수 속에서 살아간다고 해도 과언이 아니다. 컴퓨터 시스템의 발달과 데이터베이스 시스템의 사용의 증가로 컴퓨터에 저장되는 정보의 양은 폭발적으로 증가하고 있다. 현재의 컴퓨터에 저장되어 있는 대용량 데이터베이스에는 사용자가 미처 파악하지 못하는 중요한 정보가 포함되어 있을 수 있다. 본 논문에서는 데이터 상호간의 연관규칙에서 각 항목의 개체수를 고려하여 사용자들에게 좀 더 유용하고 다양한 종류의 데이터를 제공하기 위해 새로운 데이터 마이닝 연관규칙 방법을 제안한다.

  • PDF

분산 공간 데이터베이스 시스템에서 R+-tree를 이용한 병렬 분산 공간 죠인 기법 (Parallel Distributed Spatial Join Method using R+ -tree In Distributed Spatial Database Systems)

  • 김종현;김재홍;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.67-69
    • /
    • 2002
  • 여러 사이트에서 구축된 공간 데이터를 효율적으로 관리 및 공유하기 위해서는 대용량의 정보를 처리할 수 있는 분산 공간 데이터베이스 시스템의 사용이 필수적이다. 이러한 분산 공간 데이터베이스 시스템상에서의 분산 공간 죠인 질의는 공간 데이터의 대용량성과 그 복잡성으로 인하여 공간 연산의 지펴져 부하와 네트워크상의 전송 부하를 발생시킨다. 이러한 문제를 해결하기 위해 세미죠인 기반의 공간 죠인 기법들이 제안되었으나 공간 죠인 연산을 특정 서버에서만 수행하여 병목현상을 발생시키기 때문에 결국 질의 처리시간이 증가된다. 본 논문은 이러한 분산 공간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 연산에 대해 R+-tree 공간 색인을 사용하여 병렬적으로 수행하는 기법을 제안한다. 본 기법은 R+-tree 공간 색인을 이용하여 공간 죠인 연산의 대상이 되는 릴레이션들을 중첩이 없는 두개의 릴레이션들로 분할한 후 질의 수행에 참여하는 두 서버에 죠인 연산을 분배하고 병렬적으로 처리하여 결과들을 병합한 다음 클라이언트에게 전송만다. 본 기법은 릴레이션을 분할하여 각 서버에서 공간 죠인 연산을 병렬적으로 처리하므로 처리 비용을 절반으로 감소시키며. R+-tree의 영역에 해당하는 객체들만 죠인 연산에 참여하게 함으로써 네트워크 전송 비용을 감소시킨다

  • PDF

TF-IDF를 활용한 k-means 기반의 효율적인 대용량 기사 처리 및 요약 알고리즘 (Article Analytic and Summarizing Algorithm by facilitating TF-IDF based on k-means)

  • 장민서;오수진;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.271-274
    • /
    • 2018
  • 본 논문에서는 뉴스기사 데이터를 활용하여 대규모 뉴스기사를 소주제로 분류하는 군집 분석 방법을 제안한다. 또한, 분류된 뉴스기사를 사용자가 빠르게 이해하고 접할 수 있도록 핵심 문장을 추출하여 제공하는 방법을 제안한다. 분석 데이터는 포털 사이트 점유율 1위인 네이버의 경제 분야 뉴스기사를 크롤링하여 수집한다. 뉴스기사의 분석을 위해 전 처리를 통해 특수문자, 조사, 어미, 구두점 등의 불 용어 처리를 수행한다. 또한, k-means 알고리즘을 이용하여 대용량의 뉴스기사를 주제 별로 분류하는 것을 진행하며 그것을 토대로 핵심 문장을 추출한다. 추출된 핵심 문장은 분류된 뉴스기사의 주제를 나타내며 사용자에게 빠르게 정보를 전달하기 위해 활용한다. 본 논문의 연구 내용이 여러 언론사 사이트에 반영되면 사이트 품질과 사용자 만족도 향상에 기여할 수 있을 것으로 보인다.

해양 센서 네트워크 아키텍쳐 중심의 질의 최적화를 위한 데이터 병합 기법 (Data Aggregation for Query Optimization Based on Ocean Sensor Network Architecture)

  • 김혜정;지경복;김창화;김상경;박찬정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (D)
    • /
    • pp.215-220
    • /
    • 2007
  • 최근 센서 네트워크에서 에너지 효율성을 위한 다양한 연구가 진행 중이다. 특히 센서 노드의 저전력을 위해서는 센서 네트워크에서 전송되는 데이터의 횟수나 전송량을 최소한으로 줄이면서 효율적이면서 신뢰성을 가지는 질의에 대한 결과를 얻을 수 있어야 한다. 본 연구에서는 해양 센서 네트워크 상에서 데이터의 전송량을 줄일 수 있는 SDMTree(Sensing Data Management Tree)를 제안한다. 제안된 SDMTree는 질의 최적화를 위해 질의 처리기 구성 요소로 도입 가능하다. 해양 센서 네트워크에서 in-network 각 4레벨에서 하위 노드로부터 받은 데이터를 병합, 관리하기 위한 방법으로 데이터를 속성별로 구분하여 중복된 데이터를 제거하여 트리형태로 구성되기 때문에 질의에 대한 응답에 해당하는 데이터 검색시 정확하고 신속하게 처리할 수 있으며, 트리 구성 또한 중복 데이터 및 중복 영역을 배제하여 구성되므로, 상위노드가 하위 노드로부터 센싱 데이터를 수집하여 저장하기 위한 에너지와 상위 노드에서 하위 노드로 질의를 전송시 질의에 해당하는 특정 영역에만 질의를 전송할 수 있기 때문에 데이터 저장 및 통신에 소모되는 불필요한 에너지를 최대한 줄일 수 있다.

  • PDF