• 제목/요약/키워드: 데이터 지역성

검색결과 2,208건 처리시간 0.031초

사용자 기반의 캐싱과 프리패칭을 이용한 분산 가상 환경하에서의 확장성 있는 데이터 관리 기법 (Scalable Data Management Using User-Based Caching and Prefetching in Distributed Virtual Environments)

  • 박성주;이동만;한승현;임민규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.697-699
    • /
    • 2001
  • 가상환경에서의 실시간 상호작용을 지원하기 위해 가상세계의 데이터를 서버에서 클라이언트로 복제 해놓는 방법이 쓰여지고 있다. 효과적인 복제를 위해서는 두 가지 기법 - 우선 순위기반의 객체 전송과 캐싱 및 프리패칭 기법이 쓰이고 있다. 기존의 캐시와 프리패칭 기법들은 사용자와 객체간의 지역적 관계를 이용하고 있지만, 이는 어떤 종류의 객체가 사용자에게 더 중요한 지를 결정할 수 없는 단점이 있다. 본 연구에서는 지역적 관계 뿐 아니라 개별 사용자의 객체에 대한 관심도로부터 발생하는 객체에 대한 우선 순위를 이용하여 사용자 기반의 캐싱과 프리패칭을 사용하는 분산 가상환경 하에서의 확장성 있는 데이터 관리 기법을 제안한다. 또한 이 기법에서는 사용자의 행동 모드를 구분함으로써 더욱 높은 캐시 적중 비율을 얻을 수 있다.

  • PDF

하이브리드 스토리지 기반의 데이터 패턴을 고려한 적응적 스토리지 클래스 메모리 관리 기법 (Adaptive Storage Class Memory Management Policy Based-on Hybrid Storage Considering Data Access Pattern)

  • 정상원;이태훈;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(B)
    • /
    • pp.419-424
    • /
    • 2010
  • 기존의 스토리지 클래스 메모리와 플래시 메모리를 결합한 하이브리드 스토리지는 고정적인 공간의 스토리지 클래스 메모리를 사용하여서 I/O 패턴에 따라 공간적인 비효율성을 보여주었다. 본 논문에서는 데이터 패턴과, 데이터 접근 지역성에 따라 스토리지 클래스 메모리의 영역들이 적응적으로 변화하는 스토리지를 제시하고 있다. 시뮬레이션 결과 적응적 스토리지 클래스는 고정적 스토리지 클래스 메모리와 비교하여 iozone같은 경우 15.3%, postmark의 경우 13.1%의 공간 절감 효과를 보였다.

  • PDF

소프트웨어 제어 온칩 메모리 서브시스템에서 불규칙 데이터 접근 패턴 최적화 기법 (An Optimization Technique for Irregular Data Access Patterns on Software Controlled On-Chip Memory SubSystems)

  • 조두산;조중석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.212-214
    • /
    • 2012
  • 데이터 집약적인 대부분의 애플리케이션들은 규칙적인 메모리 접근 패턴과 동시에 불규칙적인 접근 패턴을 커널 코드에 포함하고 있다. 그 동안 대부분의 메모리 접근 패턴 최적화 기법은 규칙적인 패턴에 집중되어 있었다. 하지만 암호화/통신 관련 애플리케이션에서는 불규칙한 패턴으로 메모리 접근의 대부분을 구성하는 경우가 많다. 이러한 불규칙한 메모리 접근 패턴을 대상으로 온칩메모리를 효율적으로 사용하도록 최적화 기법을 일반화하여 설계하는 일은 어려운 작업이기 때문에 관련 연구분야에 큰 진전이 없는 실정이다. 우리는 불규칙 메모리 접근 패턴 최적화 문제를 해결하기 위하여 데이터 클러스터링 기법을 제안하였다. 클러스터링은 접근되는 데이터의 시공간 지역성을 계산하여 이득이 큰 데이터들을 하나의 블록으로 구성하여 온칩메모리에 상주시키는 기본단위로 사용하는 기법이다. 본 기법을 이용하면 기존의 캐시메모리에 비하여 약 19% 에너지 소모를 절감할 수 있다.

머신러닝 알고리즘을 이용한 결측 강우 데이터 추정에 관한 연구 (Imputation of missing precipitation data using machine learning algorithms)

  • 한희찬
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.320-320
    • /
    • 2023
  • 강우 데이터는 수문기상, 환경, 농업, 자연재해, 그리고 수자원 시스템 분야에서 가장 필수적인 기본 요소 중 하나이다. 또한 강우 데이터는 수문학적 분석에서 활용되는 필수 입력 자료 중 하나로 관측 데이터의 품질에 따라 수문 모형을 이용한 모의 결과물의 정확도가 결정된다고 할 수 있다. 따라서, 강우 관측소별로 강우 데이터의 품질을 어떻게 관리하느냐에 따라 수문 모형의 활용 범위 및 수자원 관리의 효율성이 결정될 수 있다. 강우의 시공간적 변동성은 수 많은 인자들과 직간접적으로 연계되어 있기 때문에 미계측 강우 자료에 대해 직접 관측이 아닌 수치 모형을 이용하여 강우의 발생과 강우량을 산정하는 것은 매우 복잡한 과제 중 하나이다. 현재 국내에서 운용되고 있는 강우 관측소의 경우에도 미계측 된 강우 데이터가 존재함으로써 강우 데이터의 활용에 제한이 생기는 경우가 있다. 따라서, 이러한 미계측 데이터의 추정 및 보완은 보다 효과적인 수재해 방지, 수자원 관리를 위한 필수 과제 중 하나이다. 일반적으로, 미계측 강우를 산정하기 위해서 Kriging, Thiessen, 등우선법, 그리고 역거리 관측법 등 다양한 수문학적 방법들이 적용되고 있다. 이러한 방법들은 산악효과나 강우 관측소의 분포 상태 등을 고려하지 못하기 때문에 측정하는 지역에 따라 강우 추정 오차가 커질 수 있다는 한계가 있다. 최근에는 데이터 관측 시스템과 빅데이터 기술의 발전과 활용 가능한 데이터의 양이 증가함에 따라 머신러닝을 활용한 사례가 증가하고 있다. 머신러닝은 데이터 사이의 관계를 기반으로 분류, 회귀, 그리고 예측 문제에 주로 사용되는 기법 중 하나이다. 따라서, 본 연구에서는 광주광역시 지역에 위치한 주요 강우 관측 지점들을 대상으로 미계측 된 시강우 데이터를 추정 및 복원하고자 한다. 여기서 데이터 추정 기술이란 미계측 강우의 발생 유무 및 강우량을 추정할 수 있는 기술을 의미한다. 이를 위해 대표적인 머신러닝 알고리즘인 인공신경망(Artificial Neural Network) 및 랜덤포레스트(Random Forest)를 적용하였다.

  • PDF

이동 호스트에서 FEC와 서버기반 지역복구를 이용한 멀티캐스트 성능 향상 방안 (Performance Improvement Methods of Multicast using FEC and Local Recovery based on Sever in Mobile Host)

  • 김회옥;양환석;이웅기
    • 정보처리학회논문지C
    • /
    • 제9C권4호
    • /
    • pp.589-596
    • /
    • 2002
  • 이동호스트에서의 데이터 전송 서비스로는 대역폭의 부담을 줄이고 신뢰성 있는 에러 복구를 위하여 원본 데이터를 그룹화하여 오류 복구 패리티를 생성한 후 손실이 발생하였을 경우에 오류 복구 패리티를 재전송하는 FEC 방식과 재전송 폭주를 막을 수 있는 지역복구 방식이 적합하다. FEC 방식과 SERVER기반의 지역복구 방식 두 가지의 병행은 신뢰성 있는 멀티캐스트를 가능하게 한다. 본 논문은 MH가 송신자인 경우와 수신자인 경우로 나누어서 이동호스트에서의 삼각라우팅, 터널집중성 문제 해결을 통하여, FEC방식과 SERVER 기반의 지역복구 방식의 병합으로 손실을 복구하는 알고리즘을 제안하였다. 이 알고리즘의 손실 모델은 동종 독립 손실, 이종 독립 손실, 상호 의존적 손실 모델로 성능 평가를 하였다. 제안된 알고리즘은 이동호스트에서 데이터의 양과 수신자의 수가 많은 환경에서 효율적임을 확인하였다.

단계 선형 배치 트리를 이용한 순차 패턴 추출 (Mining Sequential Patterns Using Multi-level Linear Location Tree)

  • 최현화;이동하;이전영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.70-72
    • /
    • 2003
  • 대용량 데이터베이스로부터 순차 패턴을 발견하는 문제는 지식 발견 또는 데이터 마이닝(Data Mining) 분야에서 주요한 패턴 추출 문제이다. 순차 패턴은 추출 기법에 있어 연관 규칙의 Apriori 알고리즘과 비슷한 방식을 사용하며 그 과정에서 시퀀스는 해쉬 트리 구조를 통해 다루어 진다. 이러한 해쉬 트리 구조는 항목들의 정렬과 데이터 시퀀스의 지역성을 무시한 저장 구조로 단순 검색을 통한 다수의 복잡한 포인터 연산수행을 기반으로 한다. 본 논문에서는 이러한 해쉬 트리 구조의 단정을 보완한 다단게 선형 배치 트리(MLLT, Multi-level Linear Location Tree)를 제안하고, 다단계 선형 배치 트리를 이용한 효율적인 마이닝 메소드(MLLT-Join)를 소개한다.

  • PDF

부산 지역 청소년 음성의 연령별 특징 변화 분석 (Acoustics of Young People's In Busan : Developmental Changes of Spectral Parameters)

  • 백승관;노용주;윤종락
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2001년도 추계학술발표대회 논문집 제20권 2호
    • /
    • pp.49-52
    • /
    • 2001
  • 부산지역 청소년 음성의 지속시간, 피치주파수 포만트 주파수 특성을 연령별, 성별로 분석하였다. 실제 발음 환경에서의 음성 패턴은 발성화자 개인 및 화자별로 다양하게 변화한다. 이를 모델 화하기 위해서는 다량의 음성 데이터로부터 통계적 방법에 의한 변화 요인별 파라미터 분석이 선행되어야 할 것이다. 실험에 사용된 데이터는 부산지역에 거주하는 청소년(초등학생, 중학생, 고등학생)들이 연령별로 3회 발성한 우화의 일부와 단모음(/아/,/이/,/우/,/에/,/오/)이다 실험 결과로부터 얻어진 지속시간, 주파수 특성 변화 패턴을 연령별, 성별로 구분하여 통계적으로 분석한 뒤 이를 정량화 하였다. 실험 결과로부터 부산 지역 청소년 음성의 지속시간, 주파수 특성은 예측된 바와 같이 기 연구된 성인 음성과 많은 차이를 보였으며 이는 부산 지역 방언의 DB 구축 시 설계자가 고려해야 할 기초자료로 활용 될 수 있을 것이다.

  • PDF

직접변조 방식을 채택한 2.5Gbit/s 송신기에서 소광비와 처핑의 바이어스 전류 의존성 (Chirp and Extinction Ratio dependence on bias current in 2.5Gbit/s transmitter based on direct modulation)

  • 김근영;이용기
    • 한국광학회:학술대회논문집
    • /
    • 한국광학회 2001년도 제12회 정기총회 및 01년도 동계학술발표회
    • /
    • pp.182-183
    • /
    • 2001
  • 가입자 지역의 데이터 통신 용량의 증가로 기존 국간에서 병목현상을 피하기 위해 도입된 파장분할다중화(WDM) 기술이 도심(Metro) 지역에도 적용되고 있다. 100km 미만의 단거리 지역은 경제성을 고려할 때 장거리 전송에 사용되는 외부변조 방식보다는 저가로 구현이 가능한 직접변조 방식의 송신기가 주로 사용되고 있다. 반도체 레이저를 이용한 직접변조 방식을 채택한 시스템에 있어 소광비와 처핑은 시스템의 전송성능을 결정하는 중요한 요소이다. (중략)

  • PDF

히스토그램 시퀀스 구성을 위한 공간 지역성 보존 척도 (Spatial Locality Preservation Metric for Constructing Histogram Sequences)

  • 이정곤;김범수;문양세;최미정
    • 정보화연구
    • /
    • 제10권1호
    • /
    • pp.79-91
    • /
    • 2013
  • 본 논문은 히스토그램 시퀀스(histogram sequence)에 저차원 변환을 적용할 때, 어떤 공간 채움 곡선(space filling curve: SFC)의 성능이 가장 좋은지를 판단하는 체계적인 평가방법을 제안한다. 히스토그램 시퀀스는 이미지를 주어진 SFC에 따라 시계열 형태로 표현한 것을 말한다. 히스토그램 시퀀스는 매우 고차원이므로 저장 및 검색이 매우 어렵다. 효율적인 저장 및 검색을 위해서 시계열 저차원 변환의 하한을 사용할 수 있는데, 이 하한의 성능은 SFC의 종류에 따라 큰 영향을 받게 된다. 본 논문에서는 히스토그램 시퀀스를 저차원 변환할 때 어떤 SFC의 성능이 좋은지를 평가하기 위해, "히스토그램 시퀀스에서 엔트리들이 인접하면 이미지에서도 해당 셀들이 인접해야 한다"는 공간지역성(spatial locality)의 개념을 제안한다. 다음으로, 공간 지역성을 정량적으로 평가할 수 있는 공간 지역성 보존 척도(spatial locality preservation metric)를 제안하고, 이를 계산하기 위한 정형적인 방법을 제시한다. 본 논문에서는 공간 지역성 보존 척도 측면에서 총 다섯 가지의 SFC를 평가하고, 이 평가 결과가 실제 이미지 매칭의 저차원 변환 성능 평가와 유사함을 확인한다. 또한, 저차원 변환 기반의 k-NN(k-nearest neighbors) 검색을 실험하여, 공간 지역성 보존 척도가 가장 낮은 힐버트-오더가 k-NN 검색에서도 가장 좋은 성능을 보임을 통해, 제안한 공간 지역성 보존 척도의 유용성을 입증한다.

내장형 시스템을 위한 선택적 뱅크 알고리즘을 이용한 데이터 캐쉬 시스템 (Data Cache System based on the Selective Bank Algorithm for Embedded System)

  • 정보성;이정훈
    • 정보처리학회논문지A
    • /
    • 제16A권2호
    • /
    • pp.69-78
    • /
    • 2009
  • 캐쉬의 성능을 향상시키는 가장 효과적인 방법은 프로그램 수행 특성에 내재되어 있는 시간적 (temporal locality) 지역성과 공간적 지역성(spatial locality)을 활용하는 것이다. 본 논문은 프로그램 수행 특성에 적합한 시간적/공간적 지역성을 이용하기 위한 뱅크 선택 메커니즘을 가진 고성능 저전력 캐쉬 구조를 제안하였다. 제안하는 캐쉬 시스템은 다른 블록 크기와 다른 연관도를 가지는 두개의 캐쉬로 구성되어 진다. 즉 작은 블록 크기를 지원하는 직접사상 구조의 주 캐쉬(main direct-mapped cache)와 큰 블록을 지원하는 완전연관 버퍼 (fully associative buffer)로 구성되어 진다. 특히 주 캐쉬는 저전력을 위해 2-뱅크로 구성되며, 완전연관 버퍼에서 선택되어진 작은 블록은 제안된 뱅크 선택 알고리즘에 의해 주 캐쉬의 뱅크에 저장된다. 제안된 뱅크 선택 알고리즘과 3비트 상태 비트를 이용하여 시간적 지역성이 높은 데이터들을 주 캐쉬에 선택적으로 저장함으로써 고성능의 효과를 얻을 수 있었다. 제안된 알고리즘은 또한 충돌 미스 (conflict miss)와 캐쉬 오염 (cache pollution)을 효과적으로 줄여준다. 시뮬레이션 결과에 따르면, 평균 접근 실패율의 경우 Mibench 응용군에 대해 Victim 캐쉬에 비해 23%, STAS 캐쉬에 비해 32%의 감소효과를 보여준다. 평균 메모리 접근 시간의 경우 Victim 캐쉬에 비해 14%, STAS 캐쉬에 비해 18%의 감소효과를 얻을 수 있었다. 에너지 소비의 관점에서도 제안된 캐쉬 시스템은 Victim 캐쉬와 STAS 캐쉬에 비해 약 10% 감소 효과를 얻을 수 있었다.