• 제목/요약/키워드: 데이타 병합

검색결과 35건 처리시간 0.028초

데이타베이스 공유 환경에서 빠른 회복을 위한 버전 관리 (A Version Management for Fast Recovery in a Database Sharing System)

  • 정용석;조행래
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.256-258
    • /
    • 2002
  • 데이타베이스 공유 시스템(Database Sharing System : DSS)은 고성능 트랜잭션 처리를 위해 다수 개의 노드들을 연동하며, 각 노드는 디스크 계층에서 데이타베이스를 공유한다. DSS를 구성하는 노드들이 고장날 경우, 데이타베이스를 정확한 상태로 복구하기 위한 회복 기법이 필요하다. DSS에서의 데이터베이스 회복 과정은 여러 노드에 분산된 로그 레코드의 병합 작업을 포함하며, 병합된 로그 레코드를 이용한 REDO 작업을 수행하여야 하므로 일반적인 단일 데이타베이스 시스템에 비해 많은 시간이 소요된다. 본 논문에서는 Oracle 9i에서 개발된 캐쉬 연합(cache fusion) 기법을 개선한 버전 관리 기법을 제안한다. 제안한 기법은 DSS를 구성하는 단일 노드의 고장 시 로그 병합 과정이 필요 없으므로 빠른 회복을 지원할 수 있으며, Oracle 9i에서 발생하는 빈번한 디스크 저장 오버헤드를 줄일 수 있다는 장점을 갖는다.

  • PDF

무선 센서 네트워크에서 데이타 병합을 위한 다중 경로 라우팅 기법 (A Multi Path Routing Scheme for Data Aggregation in Wireless Sensor Networks)

  • 손형서;이원주;전창호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권3호
    • /
    • pp.206-210
    • /
    • 2009
  • 본 논문에서는 전체 노드들의 에너지를 균등하게 사용하기 위한 다중 경로 기반의 새로운 라우팅 정책을 제안한다. 이 정책은 기존의 데이타 병합 라우팅 기법에 새로운 형태의 루트 노드들을 추가한다. 각 루트 노드는 싱크노드의 일부 역할을 위임받고 개별적인 데이타 병합 경로를 구축한다. 그리고 전체 네트워크의 소스 노드들을 각 경로에 적절히 연결함으로써 더 많은 노드들의 에너지를 균등하게 사용할 수 있다. 따라서 전체 네트워크의 수명을 연장할 수 있다. 시뮬레이션을 통하여 네트워크를 구성하는 노드의 에너지 소모를 분산하면 네트워크의 생존시간을 연장할 수 있음을 검증한다. 또한 제안한 라우팅 기법은 소스노드 수가 증가할수록 전체 센서 네트워크의 성능 개선에 효율적임을 검증한다.

스트라이드 배열 병합 방법의 데이터 선인출 효과 (Data Prefetching Effect of the Stride Merging-Arrays Method)

  • 정인범;이준원
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권11호
    • /
    • pp.1429-1436
    • /
    • 1999
  • 데이타들에 대한 선인출 효과를 얻기 위하여 캐쉬 메모리의 캐쉬 블록은 다중 워드로 구성된다. 그러나 선인출된 데이타들이 사용되지 않을 경우 캐쉬 메모리가 낭비되고 따라서 캐쉬 실패율이 증가한다. 데이타 배열 병합 방법은 캐쉬 실패 원인의 하나인 캐쉬 충돌 실패를 감소시키기 위하여 사용되고 있다. 그러나 기존의 배열 병합 방법은 유용하지 못한 데이타들을 캐쉬 블록에 선인출하는 현상을 보인다. 본 논문에서는 이러한 현상을 개선한 스트라이드 배열 병합을 제안한다. 모의시험에서 캐쉬 블록이 다중 워드로 구성된 경우 스트라이드 배열 병합은 캐쉬 충돌 실패를 감소시킬 뿐 만 아니라 유용한 데이타 선인출을 증가 시키므로 캐쉬 성능을 향상시킴을 보여준다. 또한 이렇게 향상된 캐쉬 성능은 프로세서 증가에 따른 확장성 있는 프로그램 성능을 나타낸다.Abstract The cache memory is composed of cache lines with multiple words to achieve the effect of data prefetching. However, if the prefetched data are not used, the spaces of the cache memory are wasted and thus the cache miss rate increases. The data merging-arrays method is used for the sake of the reduction of the cache conflict misses. However, the existing merging-arrays method results in the useless data prefetching. In this paper, a stride merging-arrays method is suggested for improving this phenomenon. Simulation results show that when a cache line is composed of multiple words, the stride merging-arrays method increases the cache performance due to not only the reduction of cache conflict misses but also the useful data prefetching. This enhanced cache performance also represents the more scalable performance of parallel applications according to increasing the number of processors.

데이타베이스 공유 시스템에서 버전 캐싱을 이용한 단일 노드 고장 회복 기법 (A Recovery Scheme of Single Node Failure using Version Caching in Database Sharing Systems)

  • 조행래;정용석;이상호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권4호
    • /
    • pp.409-421
    • /
    • 2004
  • 데이타베이스 공유 시스템(DSS)은 고성능 트랜잭션 처리를 위하여 여러 개의 처리 노드를 연결한 구조로서, 각 노드는 데이타베이스를 저장한 디스크를 공유한다. DSS를 구성하는 노드들이 고장날 경우 데이타베이스를 정확한 상태로 복구하기 위한 회복 과정이 필요한데 DSS에서 회복 작업은 하나의 노드로 구성된 일반적인 데이타베이스 시스템보다 많은 시간이 소요된다. 그 이유는 데이타베이스를 회복하기 위해 여러 노드에 나누어 저장된 로그들을 병합하여야 하며, 병합된 로그들을 이용하여 REDO 작업을 수행하여야 하기 때문이다. 본 논문에서는 Oracle 9i Real Application Cluster (ORAC)에서 제안된 캐쉬 연합 알고리즘의 성능을 개선한 2VC(Two Version Caching) 알고리즘을 제안한다. 2VC는 단일 노드 고장에 대한 회복 작업에서 로그 병합 과정을 생략할 수 있으므로 빠른 데이타베이스 회복을 지원할 수 있다는 장점을 갖는다. 뿐만 아니라, ORAC에서 발생하는 불필요한 디스크 기록 오버헤드를 줄임으로써 정상적인 트랜잭션 처리의 성능을 향상시킬 수 있다.

Super Resolution Convolutional Neural Network(SRCNN)를 이용한 다중 해상도 기반의 강수 데이타 병합 (Merging of multiple resolution-based precipitation data using super resolution convolution neural network)

  • 노규호;안국현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.121-121
    • /
    • 2023
  • 다수의 서로 다른 해상도의 자료를 병합(Merge)하는 것은 강수 자료 사용에 중요한 절차 중 하나이다. 강수 자료는 다수의 소스(관측소, 레이더, 위성 등)에서 관측 자료를 제공한다. 연구자들은 각 원본 자료의 장점을 취하고 단점을 보완하기 위해 다중소스 기반의 재분석 강수 자료를 제작하여 사용하고 있다. 기존의 방법은 자료를 병합하기 위해 서로 다른 공간적 특성을 갖는 자료들을 공간적으로 동일한 위치로 보간(Interpolation) 하는 과정이 필요하다. 하지만 보간 절차는 원본자료에 인위적인 변형을 주기 때문에 많은 오차(Error)를 발생시키는 것으로 알려져 있다. 따라서 본 연구는 병합 과정에서 보간 절차를 제외하고 원본 해상도 자료를 그대로 입력하기 위해 머신 러닝 방법의 하나인 Super resolution convolutional neural network(SRCNN)에 기반한 병합 방법을 제안하고자 한다. 이 방법은 원본 자료의 영향을 모델이 직접 취사선택하여 최종 자료에 도달하기 때문에 병합 과정의 오류를 줄일 수 있을 것으로 기대된다.

  • PDF

전역적 범주화를 위한 샘플 분할 포인트를 이용한 점진적 기법 (An Incremental Method Using Sample Split Points for Global Discretization)

  • 한경식;이수원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권7호
    • /
    • pp.849-858
    • /
    • 2004
  • 대부분의 교사학습 알고리즘은 수치형 변수 처리의 어려움을 해결하기 위해 전처리 단계에서 연속형 변수를 범주형으로 변환시킨 후 적용된다. 이러한 전처리 단계를 전역적 범주화라 하며 빈즈(Bins)라는 클래스 분포 리스트를 이용한다. 그러나 대부분의 전역적 범주화 기법은 단일 빈즈를 필요로 하기 때문에 데이타가 대용량이고 범주화를 수행할 변수의 범위가 매우 클 경우, 단일 빈즈를 생성하기 위해 많은 정렬 및 병합을 수행해야한다. 또한, 기존의 방법은 일괄처리 방식으로 범주화를 수행하기 때문에 새로운 데이타가 추가되면 이 데이타가 반영된 범주를 생성하기 위해 처음부터 범주화를 다시 수행해야한다. 본 논문은 이러한 문제점을 해결하기 위해 샘플 분할 포인트를 추출하고 이로부터 범주화를 수행하는 기법을 제안한다. 본 논문의 접근 방법은 단일 빈즈를 생성하기 위한 병합이 필요 없기 때문에 대용량 데이타에 대한 범주화를 수행할 때 효율적이다. 본 연구에서는 실제 데이타와 가상의 데이타를 이용하여 기존의 방법과 비교 실험하였다.

신경망을 이용한 도로가 포함된 야외영상 인식 (Recognition of Outdoor Scenery Containing Roads using Neural Network)

  • 이효종
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권2호
    • /
    • pp.132-140
    • /
    • 2001
  • 야외에서 인지되는 자연 경치는 다양한 개체, 빛의 산란, 또는 변화를 주는 많은 요소들 때문에 컴퓨터 영상처리에서 인식하기가 쉽지 않다. 본 논문에서는 다층 인지 신경망을 이용하여 도로가 포함된 야외영상에 나타나는 개체들을 인식하는 방법을 연구하였다. 자연 영상을 영역화한 후, 각각의 영역들에 대하여 색상과 기하학적인 특성에 근거하여 특성벡터를 추출하고 이를 신경망에 입력하여 각 영역을 구분하는 2단계의 알고리듬을 제안한다. 먼저 야외 영상들을 개선된 영역 확장법과 병합과정에 의하여 개체별로 영역화하였다. 영역화된 연상은 자연 영상과 함께 영상 데이타베이스에 저장되고, 이 자료들을 이용하여 각 영역의 특성벡터를 계산하였다. 이 특성 벡터를 구성된 신경망의 입력층에 전달하면, 각 영역은 27개의 개체 중의 하나로 출력층에서 인식된다. 제안된 방법은 학습에 사용된 데이타, 학스베 사용되지 않은 새로운 데이타, 그리고 모두 합하여 놓은 데이타의 세가지 데이타 군에서 무작위로 선별하여 인식률을 측정하였다. 학습된 데이타에서는 99.4%까지의 인식률을 보여주었고, 학습되지 않은 데이타에 대해서도 최고 89.1%까지의 인식률을 나타내었다. 제안된 방법은 평균적으로 88.1%~97.9%의 인식률을 보여주어 자연 경치의 인식에 신뢰성이 있는 방법으로 사용될 수 있음을 증명하였다.

  • PDF

스페어 영역을 활용한 NAND 플래시 메모리 관리 (NAND Flash Memory Management Using Spare Area)

  • 이옥희;김진호;차재혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.149-152
    • /
    • 2004
  • 플래시 메모리에서의 가비지 컬렉션은 유효하지 않은 데이타를 블록단위로 지우고 새로운 데이터를 할당할 수 있는 영역으로 만들어 주는 것을 의미하는데. 이것은 읽기/쓰기 작업에 비해 많은 시간을 요구하므로 빈번한 가비지 컬렉션은 시스템의 성능을 저하시킨다. 본 논문에서는 NAND 플래시 메모리에 데이타 베이스의 레코드 저장방식을 이용하여 데이타를 투플 단위로 저장하였고, 스페어 영역을 변경하여 이러한 작업이 편리하게 진행되도록 하였다. 가비지 컬렉션 시 투플의 크기에 따른 페이지 병합 작업 또한 스페어 영역의 정보를 이용하며, 이것은 실제 활용 가능한 페이지 수를 늘림으로써 가비지 컬렉션의 횟수를 줄이고 성능을 향상시킨다.

  • PDF

협력적 여과와 내용 기반 여과의 병합을 통한 추천 시스템에서의 사용자 선호도 발견 (Discovery of User Preference in Recommendation System through Combining Collaborative Filtering and Content based Filtering)

  • 고수정;김진수;김태용;최준혁;이정현
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권6호
    • /
    • pp.684-695
    • /
    • 2001
  • 최근의 추천 시스템은 협력적 여과 시스템의 희박성과 초기 평가 문제를 해결하기 위하여 내용 기반 여과 시스템과 협력적 여과 시스템을 병합하는 방법을 사용한다. 협력적 여과 시스템은 부가적인 상품을 예측하기 위해 사용자의 선호도에 대한 데이타베이스를 사용한다. 내용 기반 여과 시스템은 상품의 속성과 사용자의 흥미를 대조함에 의해 아이템을 추천한다. 본 논문에서는 두 가지의 기술을 기계 학습 알고리즘에 응용하고 병합함으로써 사용자의 선호도를 발견하는 방법을 기술한다. 제안된 협력적 여과 방법에서는 유전자 알고리즘을 이용하여 Naive Bayes 분류자에 의해 분류된 아이템을 기반으로 사용자 군집을 생성하며 내용 여과 기법에서는 연관 피드백에 의해 사용자의 흥미를 추출함으로써 사용자의 프로파일을 생성한다. 제안된 방법은 웹문서에 대해 사용자가 평가한 데이타베이스에서 평가되며 기존의 방법보다 높은 성능을 나타냄을 보인다.

  • PDF

유전 목 지도의 동적 확장 (Dynamic Extension of Genetic Tree Maps)

  • 하성욱;권기향;강대성
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권6호
    • /
    • pp.386-395
    • /
    • 2002
  • 본 논문에서는, 인식될 데이타에서 최적 특징을 구성할 수 있는 새로운 신경망 구조인 동적 유전 트리맵(DGTM)을 제안한다. DGTM은 기존의 신경망(neural networks)에서 고려되지 못한 데이터의 특징(feature)에 대한 중요도를 유전 알고리즘(genetic algorithm)으로 구성하고, 특징의 우선순위에 따라 트리 구조를 도입한 GTM(genetic tree-map)을 적용한다. 데이타의 유사성에 따라서 신경망의 뉴런이 동적으로 분리되고 병합될 수 있도록 동적인 기능을 갖는 DGTM(dynamic GTM)으로 확장한 방식을 제안한다.