• 제목/요약/키워드: 데이터 최적화

검색결과 2,472건 처리시간 0.037초

OLAP 환경의 수평적인 테이블에 대한 질의 최적화 방법 (Query Optimization Techniques for Horizontal Tables in OLAP Environment)

  • 신성현;문양세;김진호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (C)
    • /
    • pp.70-72
    • /
    • 2006
  • 데이터 웨어하우스는 방대한 이력 데이터들을 저장하는 저장소이며, 이를 다양한 관점에서 분석하기 위해 OLAP (On-Line Analytical Processing) 연산을 이용한다. 일반적으로 이러한 저장소는 데이터를 저장할 때 많은 열(columns) 을 기반으로 저장하는 와이드(wide) 형태의 테이블로 저장하게 된다. 하지만, 관계형 DBMS에서는 열 수의 제약(MS SQLServer, Oracle 등 열의 수는 1024개임)을 받게 되므로, 그 이상의 열들을 저장할 수 없다. 하지만, 열 기반(이하, 수평 테이블)으로 저장하는 것보다는 관계형 DBMS의 특징을 이용하여 행(row) 기반(이하, 수직 테이블)으로 저장하게 되면 많은 데이터를 효율적으로 저장할 수 있다. 이때, 저장 테이블의 스키마 구조가 변경되므로, 수평 테이블에 대한 질의도 저장된 수직 테이블에 적용 가능하도록 변화시켜야 한다. 또한, 사용자에게 빠른 질의 응답을 제공하기 위해 질의 최적화를 고려하여 실행전락을 세워야 한다. 따라서 본 연구에서는 경험(heuristic)을 근거로 각 연산(프로젝션, 실렉션, 조인 연산)을 위한 질의 트리를 생성하여 질의 최적화에 대한 여러 질의 경로를 고려하고, 다양한 실험을 통해 질의 최적화에 대한 접근 경로들을 분석한다. 이로써, 본 연구의 질의 경로 분석을 기반으로 최적화 실행 계획을 기대해 본다.

  • PDF

적지종심작전부대 모바일 단말기를 위한 데이터 전송의 최적화 설계 방안 (Optimized design scheme of data transfer for military mobile devices of Deep Operations unit)

  • 김주현;김영재
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.181-183
    • /
    • 2016
  • 적지종심작전 부대는 적 후방에서 활동함에 따라 원거리 지휘통신을 위해 AM 무전기를 사용하게 된다. 하지만 AM 무전기의 데이터 전송속도는 매우 낮기 때문에 이를 적지종심작전 부대에서 활용되는 군 모바일 단말기는 AM 무전기 특성에 맞는 데이터 통신에 대한 최적화 설계가 적용되어야 되다. 본 연구에서는 AM 무전기 특성인 응답송신대기시간, 송신 패킷 간격을 고려한 ACK 송신 대기시간, 재전송 시간 조정, 일정 시간 후 자동 전송되는 데이터 제한 등의 설계를 적용, 실 지형에서의 시험을 통해 데이터 전송의 최적화 설계가 필요함을 제시하였다.

데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석 (Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams)

  • 박홍규;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

관계형 데이터 스트림에서 키워드 검색을 위한 질의 최적화 (Query Optimization for Keyword Search on Relational Data Stream)

  • 황진호;김학수;김종진;이승미;손진헌
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.360-363
    • /
    • 2008
  • 최근 관계형 데이터 스트림에서 키워드 검색에 관한 연구가 진행되고 있다. 키워드 검색을 통해 사용자는 시스템의 복잡한 내부 데이터 스키마나 질의언어에 대한 지식이 없이도 데이터 스트림에서 정보 검색이 가능하다. 하지만, 빈번하고 동적으로 변화하는 특성을 지닌 데이터 스트림에서 수행되는 연속 질의 처리를 위해서 보다 효과적인 질의 최적화 방안이 요구된다. 따라서, 우리는 본 논문을 통해 계층적 클러스터링을 이용하여 중간결과 공유의 최대화를 통한 질의 최적화를 방안을 제안한다.

대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가 (Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data)

  • 홍승태;신영성;장재우
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.55-71
    • /
    • 2011
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

실험계획법과 데이터 분석 기반의 제조공정 최적화를 위한 정보 시각화 (Information Visualization for the Manufacturing Process Optimization Based on Design of Experiment and Data Analysis)

  • 김재천;진선아;박영희;노성여;이현동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권9호
    • /
    • pp.393-402
    • /
    • 2015
  • 데이터 시각화 기술은 다양한 데이터와 그 분석 결과를 쉽게 이해할 수 있도록 도와줌으로써 제조현장과 같은 실제 산업현장에서도 그 유용성이 기대되고 있다. 제조현장에서 발생하는 대량의 데이터는 제조 기술의 표준화를 위한 기반 데이터가 될 수 있으며 제조공정의 개선을 위하여 매우 중요한 역할을 수행할 수 있다. 본 논문에서는 실험계획법과 데이터 분석 기반의 제조공정 최적화를 위한 정보 시각화 방법을 제안한다. 데이터 분석 결과의 정보 시각화를 통하여 작업 현장에 이해하기 쉬운 분석 결과를 제공함으로써 다양한 불량원인을 감소시키고 제조공정을 개선시킬 수 있다.

손실 데이터를 처리하기 위한 집락분석 알고리즘 (A Clustering Algorithm for Handling Missing Data)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제8권11호
    • /
    • pp.103-108
    • /
    • 2017
  • 유비쿼터스 환경에서는 다양한 센서로 부터 원거리에 데이터를 전송해야 하는 문제가 제기되어져 왔다. 특히 서로 다른 위치에서 도착한 데이터를 통합하는 과정에서 데이터의 속성 값들이 상이하거나 데이터에 일부 손실이 있는 데이터들도 처리해야 하는 어려운 문제를 가지고 있었다. 본 논문은 이와 같은 데이터들을 대상으로 집락분석 하는 방법을 제시한다. 이 방법의 핵심은 문제에 적합한 목적함수를 정의하고, 이 목적함수를 최적화 할 수 있는 알고리즘을 개발하는데 있다. 목적함수는 OCS 목적함수를 변형하여 사용한다. 이진 값을 가지는 데이터만을 처리할 수 있었던 MFA(Mean Field Annealing)을 연속 값을 가지는 분야에도 적용할 수 있도록 확장한다. 그리고 이를 CMFA이라 명하고 최적화 알고리즘으로 사용한다.

공급망 최적화 기술 적용을 위한 제조 데이터 수집 시스템 (Manufacturing Data Aggregation System Design for Applying Supply Chain Optimization Technology)

  • 황재용;신성윤;강선경
    • 한국정보통신학회논문지
    • /
    • 제25권11호
    • /
    • pp.1525-1530
    • /
    • 2021
  • 스마트 공장의 생산 계획 및 제조 데이터를 이용하여 AI 기반의 효율적인 재고 관리 및 물류 최적화 기술을 적용하면 해당 제조 기업의 생산성 향상과 고객 만족도 향상을 기대할 수 있다. 본 논문에서는 공장의 생산 공정에서부터 데이터를 수집하여 클라우드에 저장하고, 여기에 저장된 제조 데이터를 활용하여 추후 AI 기반의 공급망 최적화 기술을 적용할 수 있는 시스템을 제안하였다. 기존 시스템의 경우는 대략 10종~20종 정도의 데이터 타입을 지원했다면, 제안 시스템은 100종 이상의 데이터 타입을 지원하도록 설계 및 개발된다. 또한 수집 주기의 경우는 매 초당 1~2회의 데이터를 수집할 수 있도록 지원하며, TB 단위의 데이터 수집이 가능하다. 따라서 본 시스템은 자동화된 데이터 수집 체계를 갖추고 있는 스마트 공장 외에 기존의 전통 제조 현장에도 적용할 수 있도록 고안하였다.

차분 진화 알고리즘 기반 방사형 기저 함수 신경회로망 분류기의 최적화 방법 (Optimization Method of Differential Evolution-based Radial Basis Function Neural Networks)

  • 마창민;오성권
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2011년도 제42회 하계학술대회
    • /
    • pp.1962-1963
    • /
    • 2011
  • 본 연구에서는 패턴분류를 위해 최적화된 방사형 기저 함수 신경회로망(Radial Basis Function Neural Networks) 분류기를 제안한다. RBFNN은 입력층, 은닉층, 출력층의 3층 구조로 되어 있으며 Multi Dimension, Predictive ability, Robustness한 특징이 있다. RBFNN의 은닉층에는 기존의 활성함수가 아닌 Fuzzy C-means 클러스터링 알고리즘을 사용하여 입력 데이터의 특성을 고려한 적합도를 사용하였다. RBFNN은 은닉층의 노드수와 FCM 클러스터링의 퍼지화 계수, 연결가중치의 다항식 타입이 모델의 성능의 향상에 영향을 미치기 때문에 최적화가 필요하며 본 논문에서는 Differential Evolution(DE) 알고리즘을 사용하여 모델의 구조 및 파라미터를 최적화시켜 모델의 성능을 향상시켰다. 제안된 모델을 평가하기 위해 패턴분류에 많이 사용되는 Iris 데이터와 Wine 데이터를 이용하였다.

  • PDF

유지보수업무의 최적화를 위한 정량적 주기산출 (Task Period Estimation for Maintenance Optimization)

  • 이강미;백종현
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2010년도 추계학술발표논문집 1부
    • /
    • pp.367-369
    • /
    • 2010
  • 본 논문은 열차제어시스템 유지보수업무의 최적화를 위한 정량적 주기산출방법에 관한 것으로, 특히 전장품과 같이 유지보수업무로 주로 교체업무가 선택되는 경우, 운영비용을 최적화하기 위한 교체주기를 정량적으로 산출하기위한 방법을 제시하고, 장치의 고장분포 데이터를 통해, 철도신호장치의 교체주기를 할당한다. 제시한 방법은 유지보수장치의 운영이력을 분석하여, 장치의 고장데이터를 바탕으로 고장분포를 확률적으로 모델링한 뒤, 정확한 LCC데이터가 적용될 때 새롭게 도입되는 장비 및 시스템의 유지보수업무주기를 할당이 가능하고, 이를 통해여 시스템의 운영안전을 보장하면서, 운용비용을 최적화 할 수 있다.

  • PDF