• Title/Summary/Keyword: 데이터 최적화

Search Result 2,449, Processing Time 0.036 seconds

Query Plan Reordering Techinque for Dynamic Optimization of Stream Queries (스트림 질의의 동적 최적화를 위한 질의 계획 재구성 기법)

  • 이원근;이상돈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.716-718
    • /
    • 2003
  • 최근 들어 데이터가 연속적으로 생성되므로 인해 디스크에 저장된 형태로 모델링되기 어려운 특성을 갖는 데이터 응용환경에 대한 관심이 증대하고 있다. 스트림 데이터를 대상으로 이루어지는 스트림 질의는 저장된 릴레이션 내의 데이터를 대상으로 한번 적용되고 마는 기존의 데이터 응용에서와는 달리, 한번 등록이 되면 계속적으로 입력 데이터 스트림을 감시하다가 질의를 만족시키는 투플이 발생될 때마다 결과를 출력하는 연속성을 갖는다. 이러한 데이터 스트림 처리 시스템에서 성능 향상을 위한 질의 계획 최적화에 대한 연구가 이루어지고 있으며, 이를 위한 하나의 방법으로 현재 사용중인 질의 계획에서 질의 계획의 일부를 재구성하기 위해서 최적화 대상 질의 계획으로의 입력을 중단하고 최적화된 새로운 질의 계획으로 바꾸어 임시 저장된 데이터를 새로운 질의 계획에 입력하는 방법이 이용되고 있다. 그러나 이 방법을 사용하는 경우 입력 데이터 버퍼링을 위한 저장공간에 대한 비용이 증가하고. 부정확한 갑을 산출을 유발할 수 있는 등 몇 가지 문제점을 안고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 최적화 대상이 되는 질의 계획을 일시적으로 중복시켜 최적화가 진행되고 있는 과정 중에도 기존의 질의 계획이 입력 스트림을 계속 처리하고, 최적화된 새로운 질의 계획으로 입력 스트림을 처리하도록 하는 일시 중복을 이용한 동적 질의 계획 재구성 기법을 제시하였다.

  • PDF

A Study on JavaScript Optimization Problem in Ziproxy (Ziproxy의 자바스크립트 최적화 기능의 문제점 연구)

  • Kim, Jae-Ho;Kim, Geun-Hyung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.333-335
    • /
    • 2013
  • 웹 사용에 있어서 사용자는 응답데이터에 불필요한 데이터를 받게 된다. 불필요한 데이터는 HTML, CSS, 자바스크립트에 포함되는 것 중 띄어쓰기, 주석, 줄 바꿈 등에서 발생된다. 불필요한 데이터를 제거하는 최적화 과정 기능이 추가된 오픈소스로 Ziproxy가 있다. Ziproxy 의 최적화 기능 중 자바스크립트 최적화 과정에서 문제가 발생되었다. 문제점을 분석 해본 결과 세가지 문제점이 발견되었다. 본 논문에서 세가지 문제점에 대해서 살펴보고 해당 문제점에 대한 해결방안을 제시하겠다.

Query Optimization Infrastructure in Spatial Data Mining (공간 데이터 마이닝에서의 질의 처리 최적화 전략)

  • 김충석;이현창;김경창
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.26 no.7A
    • /
    • pp.1200-1211
    • /
    • 2001
  • 최근 각광을 받고 있는 데이터 마이닝 분야에서 데이터 마이닝 툴과 시스템의 등장으로 상호적이고 사용하기 쉬운 GUI 환경의 강력한 데이터 마이닝 질의 언어가 필요하게 되었다. 공간 데이터 마이닝은 공간 데이터에서 유용한 지식을 발견하기 위한 데이터 마이닝의 한 부문이며 공간 데이터는 점, 선, 사각형, 다각형 등으로 이루어져 있다. 공간 데이터 마이닝은 지리정보시스템(GIS)과 더불어 최근에 많은 관심과 연구가 활발히 진행되고 있다. 한편, 공간 데이터 마이닝을 위한 질의 언어와 그 언어에 기반한 공간 데이터 마이닝 질의 처리 및 최적화에 대한 연구가 중요하게 대두되고 있다. 공간 데이터에 대한 마이닝은 일반 관계형 데이터베이스에서의 질의 언어로는 표현이 불가능하다. 본 연구에서는 먼저 공간 데이터 마이닝 질의언어를 정의, 설계하고 질의 언어에 결과 표현 방식과 결과 데이터 집합의 저장을 명시하여 질의 표현의 효율을 높이는 방식을 제시하였다. 또한 공간 데이터 마이닝을 위한 질의 처리 및 최적화 과정을 질의에 기반한 공간 실체화 뷰의 생성과 유지, 인덱스 활용을 통한 질의 재사용, sampling 마이닝 질의 option 등의 방법론을 이용하여 제시하였다.

  • PDF

로버스트 파라미터 설계에서 인자분석을 이용한 동시 최적화 방안에 관한 연구

  • Gwon, Yong-Man;Hong, Yeon-Ung
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 2003.10a
    • /
    • pp.163-170
    • /
    • 2003
  • 본 논문에서는 로버스트 파라미터(robust parameter) 설계에서 다특성(multiple quality characteristics)인 경우 제어인자의 동시 최적화 조건을 찾는 방안으로 인자분석(factor analysis)에 의한 최적화 방안을 제시한다. 또한 하나의 사례를 들어 제안한 방안과 기존의 방안을 비교 연구하였다.

  • PDF

Optimization by Helmhotz Machine-Based Learning of the Distribution of Search Points Using Helmholtz Machine (헬름홀츠 머신 기반의 탐색점 분포 학습에 의한 최적화)

  • 신수용;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.250-252
    • /
    • 2000
  • 많은 최적화 문제에서 해답들의 구조는 서로 의존성을 가지고 있다. 이러한 경우 기존의 진화연산이 사용하는 빌딩 블록 개념으로는 문제를 해결하는데 많은 어려움을 겪게 된다. 이를 극복하기 위해서 헬름홀츠 머신(Helmholtz machine)을 이용해서 데이터의 분포를 예측한 후 최적화를 수행하는 방법을 제안한다. 기존의 진화 연산을 바탕으로 하지만 교차연산이나 돌연변이 연산을 사용하는 대신에, 헬름홀츠 머신을 이용해서 데이터의 분포를 파악하고, 이를 이용해서 새로운 데이터를 생성하는 과정을 통해 최적화 과정을 수행한다. 진화연산으로 해결하는데 곤란을 겪고 있는 여러 함수들을 해결하는 이를 검증하였다.

  • PDF

Estimation of Distribution Algorithm for Continuous Function Optimization (연속 변수 함수 최적화를 위한 탐색점 분포 학습 알고리즘)

  • 신수용;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.51-53
    • /
    • 2000
  • 기존의 진화 연산의 한계를 극복하기 위해서 탐색점 분포 학습 알고리즘(Estimation of Distribution Algorithm)이 부각되고 있다. 탐색점 분포 학습 알고리즘은 데이터의 분포를 파악하고, 파악된 분포를 이용해서 새로운 학습 데이터를 생성하는 일련의 과정을 통하여 최적화 문제를 해결하는 방법이다. 그런데, 기존의 탐색점 분포 학습 알고리즘들은 대부분 이진 벡터값을 가지는 최적화 문제들만을 대상으로 하고 있다. 본 논문에서는 비감독 확률 신경망 모델인 헬름홀츠 머신을 이용해서 데이터의 분포를 학습하여 연속 함수 최적화 문제를 해결하는 방법을 개발하였다. 테스트 함수들에 대해서 실수 표현형을 사용한 유전자 알고리즘과 결과를 비교하여 제안하는 방법의 우수성을 검증하였다.

  • PDF

Customized marketing optimization for Big Data in SNS Environment (SNS 환경에서 빅데이터 활용을 위한 고객맞춤 마케팅 최적화)

  • Song, Jung-Ho;Park, Seok-Cheon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.1120-1123
    • /
    • 2013
  • 최근 데이터의 범람과 더불어 빅데이터 시대가 도래 하면서 SNS 라는 새로운 플랫폼을 마케팅에 활용하고자 하는 기업들이 늘어나고 있다. 기업들은 이러한 SNS 상의 데이터를 분석하고 이를 공개 API 를 통해 마케팅에서 활용할 수 있다. 하지만 SNS 업체들은 과도한 트래픽 유발 및 보안상의 이유로 공개 API 의 사용을 제한하고 있다. 따라서 제한된 사용 횟수 안에서 효과적으로 공개 API 를 사용할 수 있는 고객맞춤 최적화가 필요하다. 기존의 멀티캐스팅을 이용하면 이러한 고객맞춤 최적화가 가능하지만 SNS 의 특성을 반영한 것이 아니기 때문에 SNS 마케팅에서 활용하는데에는 한계가 있을 수 밖에 없다. 본 논문에서는 이러한 멀티캐스팅을 이용한 고객맞춤 최적화의 한계를 보완하고 SNS 의 특성을 보다 잘 활용할 수 있는 새로운 SNS 마케팅을 위한 고객맞춤 최적화를 제시한다.

Application of data preprocessing to improve the performance of the metaheuristic optimization algorithm-deep learning combination model (메타휴리스틱 최적화 알고리즘-딥러닝 결합모형의 성능 개량을 위한 데이터 전처리의 적용)

  • Ryu, Yong Min;Lee, Eui Hoon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.114-114
    • /
    • 2022
  • 딥러닝의 학습 및 예측성능을 개선하기 위해서는 딥러닝 기법 내 연산과정의 개선과 함께 학습 및 예측에 사용되는 데이터의 전처리 과정이 중요하다. 본 연구에서는 딥러닝의 성능을 개량하기 위해 제안된 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형과 데이터 전처리 기법을 통해 댐의 수위를 예측하였다. 수위예측을 위해 Multi-Layer Perceptron(MLP), 메타휴리스틱 최적화 알고리즘인 Harmony Search(HS)와 딥러닝을 결합한 MLP using a HS(MLPHS) 및 Exponential Bandwidth Harmony Search with Centralized Global Search(EBHS-CGS)와 딥러닝을 결합한MLP using a EBHS-CGS(MLPEBHS)를 통해 댐의 수위를 예측하였다. 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형의 학습 및 예측성능을 개선하기 위해 학습 및 예측을 위한 자료를 기반으로 데이터 전처리기법을 적용하였다. 적용된 데이터 전처리 기법은 정규화, 수위구간별 사상(Event)분리 및 수위 변동에 대한 자료의 구분이다. 수위예측을 위한 대상유역은 금강유역에 위치한 대청댐으로 선정하였다. 대청댐의 수위예측을 위해 대청댐 상류에 위치하는 수위관측소 3개소를 선정하여 수위자료를 취득하였다. 각 수위관측소에서 취득한 수위자료를 입력자료로 설정하였으며, 대청댐의 수위자료를 출력자료로 설정하여 메타휴리스틱 최적화 알고리즘-딥러닝 모형의 학습을 진행하였다. 각 수위관측소 및 대청댐에서 취득한 수위자료는 2010년부터 2020년까지 총 11년의 일 단위 수위자료이며, 2010년부터 2019년까지의 자료를 학습자료로 사용하였으며, 2020년의 자료를 예측 및 검증자료로 사용하였다.

  • PDF

Uncertainty in hydrologic drought analysis based on hydrologic model parameters (수문모형 매개변수에 따른 수문학적 가뭄분석 불확실성)

  • Jin Hyuck Kim;Seung Taek Chae;Eun-Sung Chung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.326-326
    • /
    • 2023
  • 본 연구에서는 유역 내 다른 년도 관측 유량 데이터를 이용한 매개변수 최적화를 수행한 후, 최적화된 매개변수에 따라 다르게 추정된 유량 데이터를 이용해 발생하는 수문학적 가뭄 불확실성 분석을 수행하였다. 수문 모형은 장기 강우-유출분석에 주로 사용되는 Soil Water Assessment Tool (SWAT) 모형을 이용하였으며, Symmetric uncertainty을 이용해 불확실성 분석을 수행하였다. 모형 매개변수 최적화는 SWAT-CUP을 이용해 영산강 유역의 과거 1999년부터 2022년까지의관측 유량 데이터로 수행하였다. 최적화된 매개변수에 따라 추정되는 연평균 유량은 최대 5.59%의 차이를 발생시켰으며, 계절 유량은 봄 (6.1%), 여름 (14.6%), 가을 (9.7%), 겨울 (46.1%)의 차이를 발생시켰다. 그 후, 수문학적 가뭄지수인 Streamflow Drought Index (SDI)을 이용해 일 단위가뭄과 월 단위 가뭄 분석을 수행하였다. 매개변수에 따른 일 단위 가뭄 분석은 연평균 가뭄 발생일수가 최대 25.2일까지 차이가 발생하였으며, 월 단위 가뭄 역시 최적화된 매개변수에 가뭄 심도와 발생이 다르게 분석되었다. 그 후, Symmetric uncertainty을 이용한 불확실성 분석은 최적화된 매개변수에 따라 다르게 산정된 가뭄지수의 불확실성을 확인할 수 있었다. 본 연구는 수문학적 가뭄 분석 시, 다양한 관측 유량 데이터를 이용한 매개변수 최적화를 수행한 후, 이를 이용한 유량추정의 필요성을 확인할 수 있었다.

  • PDF

An Optimization Technique for Irregular Data Access Patterns on Software Controlled On-Chip Memory SubSystems (소프트웨어 제어 온칩 메모리 서브시스템에서 불규칙 데이터 접근 패턴 최적화 기법)

  • Cho, Doo-San;Cho, Jung-Seok
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.212-214
    • /
    • 2012
  • 데이터 집약적인 대부분의 애플리케이션들은 규칙적인 메모리 접근 패턴과 동시에 불규칙적인 접근 패턴을 커널 코드에 포함하고 있다. 그 동안 대부분의 메모리 접근 패턴 최적화 기법은 규칙적인 패턴에 집중되어 있었다. 하지만 암호화/통신 관련 애플리케이션에서는 불규칙한 패턴으로 메모리 접근의 대부분을 구성하는 경우가 많다. 이러한 불규칙한 메모리 접근 패턴을 대상으로 온칩메모리를 효율적으로 사용하도록 최적화 기법을 일반화하여 설계하는 일은 어려운 작업이기 때문에 관련 연구분야에 큰 진전이 없는 실정이다. 우리는 불규칙 메모리 접근 패턴 최적화 문제를 해결하기 위하여 데이터 클러스터링 기법을 제안하였다. 클러스터링은 접근되는 데이터의 시공간 지역성을 계산하여 이득이 큰 데이터들을 하나의 블록으로 구성하여 온칩메모리에 상주시키는 기본단위로 사용하는 기법이다. 본 기법을 이용하면 기존의 캐시메모리에 비하여 약 19% 에너지 소모를 절감할 수 있다.