• 제목/요약/키워드: 중복제거기법

검색결과 221건 처리시간 0.026초

클라이언트/서버 데이터베이스 시스템에서 역방향 로그 분석을 이용한 로그 관리 (Log Management Using Backward Log Analysis in Client-Server Database System)

  • 이찬섭;박용문;고병오;최의인
    • 한국통신학회논문지
    • /
    • 제25권11B호
    • /
    • pp.1928-1938
    • /
    • 2000
  • 기존 데이터베이스 시스템에서 사용되는 회복 기법들은 시스템 파손 시 빠른 회복을 지원하기 위해서 물리적 로깅(physical logging)을 사용한다. 그러나 이런 기법들을 클라이언트/서버 환경에 그대로 적용할 경우에는 여러 가지 문제점이 발생된다. 물리적 기법의 경우에는 로그 분석 시 before-image와 after-image의 중복이 발견된다는 문제점이 있으며, 기존의 대부분 회복 기법들은 시스템 파손 시 전방향(forward)으로 로그를 분석함으로써 불필요한 회복 동작이 존재할 수 있다. 또한 시스템 회복 시 로그 접근 횟수의 증가로 인해 회복 속도가 늦어지는 문제점이 있다. 이 논문에서는 이런 문제점을 해결하고 클라이언트/서버 환경에 적합한 회복 기법을 제안하기 위해 중복된 before-image를 제거하고 재수행 전용 로그 레코드(redo-only log record)만을 로그에 기록함으로써 로깅 오버헤드를 감소시키면서 로그 분석 시간을 감소시킨 역방향 로그 분석 기법을 제안하였다. 또한 로그 분석 시 유지해야 하는 자료구조의 오버헤드를 최소화했다. 마지막으로 제안된 기법과 기존의 기법을 비교 분석하였다.

  • PDF

Three-step 알고리즘을 이용한 H.263 기반의 움직임 측정 (H.263 Motion Estimation using the three-step algorithm)

  • 윤성규;유환종;임명수;임영환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.389-391
    • /
    • 1999
  • 영상 압축 기법에는 여러 가지 알고리즘을 적용되고 있다. 이런 알고리즘들에는 주파수 영역 중복을 제거하기 위한 DCT, 시간 중복성 제거를 위한 움직임 측정, 압축기법에 의해서 만들어진 정보를 부호화하는 VLC들이 있다. 이런 부호화 알고리즘들은 부호화기를 구현하는데 많은 시간을 요구하며 특히 움직임 추정은 부호화기의 절반에 가까운 시간을 소비한다. 움직임 측정 기술의 복잡도는 search algorithm, cost function, search range parameter의 요인으로 나타낼 수 있다. 본 논문에서는 기존의 Full Search 알고리즘 대신에 three-step 알고리즘을 사용하여 움직임 측정 시간을 줄였다. Full Search 알고리즘은 search area에서 모든 지역에 대해 cost function을 사용하여 이전 블록과 얼마나 유사한지를 조사한다. 따라서 이전 블록과 가장 유사한 부분을 찾는 좋은 방법이지만 그만큼 시간이 많이 사용한다. Three-step 알고리즘은 search area의 일정 지역에 대해 cost function를 사용하여 이전 블록과의 유사성을 찾는 fast 알고리즘이다. Three-step 알고리즘을 사용한 경우 기존의 full search 알고리즘을 사용할 때 보다 60% 정도의 시간이 단축되었다. 그리고 생성되는 압축 데이터의 크기는 full search 알고리즘을 사용할 때 보다 많이 차지한다. 생성되는 H.263파일의 화질에서는 Three-step 알고리즘을 사용한 경우일지라도 full search 알고리즘을 사용한 경우와 거의 비슷한 화질을 보여준다.

  • PDF

모바일 환경에서 파일 입출력 연산을 활용한 메모리 중복 제거 기법 (Memory De-duplication Mechanism using File I/O Operations in Mobile Devices)

  • 이세호;김인혁;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.44-45
    • /
    • 2013
  • 전 세계의 스마트폰 보급률이 증가와 함께 새로운 형태의 스마트 워치, 구글 글래스 등의 모바일 장비들이 등장하고 있다. 이는 제한된 자원을 사용하는 스마트폰 환경에서 효율적으로 CPU, 메모리, 저장 장치들을 효과적으로 사용하기 위한 연구를 필요로 한다. 이에 본 논문에서는 안드로이드 환경에서 부족 메모리의 공간 확보를 위해 동일한 내용의 페이지 캐시를 찾고, 중복 제거하는 기법을 제안한다. 이는 부족한 메모리 공간 확보와 캐시를 지속하여 I/O 연산의 빈도를 줄여 스마트폰 성능 향상을 가져올 것으로 기대된다.

CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거 (CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality)

  • 김명식;원유집
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.59-76
    • /
    • 2015
  • 고성능 내장형 기기의 대중화 및 광대역 통신기술의 발달로 생성-관리되는 데이터가 증가하고 있다. 중복제거 기법은 중복된 저장 요청을 판별하여 유일한 데이터만을 저장함으로써 저장 공간을 절약하는 방법으로 폭증하는 데이터의 저장과 처리 시스템을 경제적으로 구축 할 수 있다. 본 연구는 입출력 크기 (IO Extent) 단위 기반 분할 방법을 사용한 CORE-Dedup을 제안한다. CORE-Dedup의 Extent 단위 분할은 접근한 Content가 보존하는 접근 단위의 속성을 활용 한다. 가상머신에서 IO 경향을 수집하고 고정 크기 분할과 새로운 Extent 분할 방법에 대해 중복제거 성능을 비교 평가하였다. 동일 크기 워크로드 경우 4 KB 고정 분할 대비 적은 색인 버퍼를 가지고 유사한 수준의 중복 비교를 성능을 얻을 수 있다. 특히 다수 유저의 유사 IO 중복 접근을 가정한 워크로드 경우에는 CORE-Dedup이 Extent 단위 분할의 넓은 워크로드 Coverage에 의해 고정 크기 분할을 사용한 동일 조건의 Inline-Dedup에 비해 1/10 수준 버퍼를 가지고도 유사 중복제거 성능을 얻었다. 10명 사용자의 동일 compile 입출력을 가정한 병합 워크로드에서 4 KB 고정 크기 분할에서는 14,500개 분할 색인에서 최대 60.4%의 중복 발견율을 얻었으나 Extent 분할에서는 1,700개 색인만으로 57.6%를 얻었다.

원격 저장소 데이터 아웃소싱에서 발생하는 중복 식별 과정에서의 부채널 분석 및 제거 (Analysis and Elimination of Side Channels during Duplicate Identification in Remote Data Outsourcing)

  • 구동영
    • 정보보호학회논문지
    • /
    • 제27권4호
    • /
    • pp.981-987
    • /
    • 2017
  • 클라우드 컴퓨팅의 대중화로 개인 및 기업의 로컬 저장소에서 관리되던 데이터가 클라우드 스토리지 등 제 3의 공간에 아웃소싱 되면서 유지, 관리 비용의 절감 효과를 얻을 수 있게 됨과 동시에, 다수의 원격저장 서비스 제공자는 공간 자원의 효율화를 위하여 아웃소싱된 데이터의 중복제거 기법을 도입하고 있다. 동일 데이터의 중복성 판단에 해시 트리가 사용되는 경우에는 검증 데이터의 크기 및 트리의 일부 정보에 대한 부채널이 존재하게 되는데, 이로부터 특정 데이터에 대한 정보 수집 및 검증의 우회 가능성이 증가하게 된다. 이러한 부채널로 인한 검증의 유효성 문제를 개선하기 위하여, 본 논문에서는 멀티 셋 해시함수를 이용한 동일성 검증 기법을 제시한다.

중복 패리티 이미지 제거를 통한 RAID 5에서의 패리티 로킹 기법 성능 개선 (Performance Improvement of Parity Logging Scheme in RAID 5 by Eliminating Redundant Parity Image)

  • 길준호;이민영;이진호;박명순
    • 한국정보처리학회논문지
    • /
    • 제2권4호
    • /
    • pp.543-553
    • /
    • 1995
  • RAID 5는 높은 성능과 신뢰성을 가지고 다양한 응용 분야에서 사용되지만 쓰기 작업시 성능이 저하되는 문제를 가지고 있다. 이러한 문제를 완화하기 위하여 패리티 로깅(parity logging) 기법이 제시된 바있다. 패리티 로깅 기법은 디스크로의 작은 크 기의 임의의 블럭 단위 접근들을 큰 크기의 순차적인 트랙 단위 접근으로 변환하여 디스크 처리 시간을 줄이는 방법이다. 본 논문에서는 패리티 로깅 기법에서 디스크 버 퍼의 패리티 이미지 중복 저장을 제거하여 패리티 갱신 오버헤드를 줄이는 방법을 설 명하고 그에 대한 간략한 분석 모델과 시률레이션 결과를 제시하였다.

  • PDF

원격 센싱된 인공위성 화상의 효율적인 부호화 (An Efficient Coding of Remotely Sensed Satellite Image)

  • 김영춘;반성원;이건일
    • 센서학회지
    • /
    • 제6권2호
    • /
    • pp.106-114
    • /
    • 1997
  • 본 논문에서는 영역분류 및 대역간 예측을 이용한 원격 센싱된 인공위성 화상의 효과적인 부호화 기법을 제안하였다. 이 기법에서는 인공위성 화상데이타의 대역별 특성에 따라 각 화소벡터를 분류한 후, 대역내 중복성을 제거하기 위하여 하나의 기준대역에 대하여 분류영역별 대역내 벡터양자화를 행한다. 나머지 대역의 대역간 중복성을 제거시키기 위하여 분류영역별 대역간 예측을 행한다. 실제 LANDSAT-TM 인공위성 화상데이타에 대한 실험을 통하여 제안한 기법의 부호화 효율이 기존의 Gupta의 기법에 비하여 우수함을 확인하였다.

  • PDF

에지 영역을 보상한 원격 센싱된 인공위성 화상의 부호화 (Coding of Remotely Sensed Satellite Image with Edge Region Compensation)

  • 김영춘;이건일
    • 센서학회지
    • /
    • 제6권5호
    • /
    • pp.376-384
    • /
    • 1997
  • 본 논문에서는 에지 영역을 보상한 원격 센싱된 인공위성 화상의 부호화 기법을 제안하였다. 이 기법에서는 인공위성 화상데이타의 분광적 반사 특성에 따라 각 화소벡터를 분류한 후, 각 분류영역에 대하여 대역내 및 대역간 중복성을 각간 제거하기 위하여 분류영역별 대역내 벡터양자화 및 분류영역별 대역간 예측을 행한다. 에지영역의 경우에 주변블럭의 영역정보 및 양자화된 기준대역의 화소값을 이용하여 에지영역을 보상한다. 그후, 대역간 중복성을 효과적으로 제거하기 위하여 보상된 영역정보를 이용하여 분류영역별 대역간 예측을 행한다. 실제 LANDSAT-TM 인공위성 화상데이타에 대한 실험을 통하여 제안한 기법의 부호화 효율이 기존의 기법에 비하여 우수함을 확인하였다.

  • PDF

스테레오 영상 간 관측 벡터에 기반한 다중 포인트 클라우드 통합 (Multi Point Cloud Integration based on Observation Vectors between Stereo Images)

  • 윤완상;김한결;이수암
    • 대한원격탐사학회지
    • /
    • 제35권5_1호
    • /
    • pp.727-736
    • /
    • 2019
  • 본 연구에서는 여러 장의 무인항공기 영상을 사용하여 대상지역에 대한 포인트 클라우드를 생성하고, 데이터 세트 간 발생하는 이격과 중복점을 제거하는 방안에 대한 연구를 수행하였다. 이를 위해 사진 측량 기반의 IBA(Incremental Bundle Adjustment)기법을 적용하여 무인기의 위치/자세를 보정하고 스테레오 페어를 구성했다. 각각의 스테레오 영상으로부터 에피폴라 영상을 생성하고 MDR(Multi-Dimensional Relaxation) 정합 기법을 적용하여 포인트 클라우드를 생성하였다. 다음으로 스테레오 영상 간 관측 벡터에 기반한 포인트 클라우드 등록을 통해 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격을 제거하였다. 마지막으로 점유격자(Occupancy grid) 기반 통합 알고리즘을 적용하여 중복점이 제거된 하나의 포인트 클라우드를 생성하였다. 실험은 무인항공기에서 취득된 연직 촬영 영상을 사용하였으며, 실험을 통해 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격 및 중복점 제거가 가능함을 확인하였다.

잡음제거와 주요성분분석에 의한 효과적인 얼굴인식 (An Efficient Fan Recognition by Denoising and Principal Component Analysis)

  • 조용현;홍성준
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2005년도 추계학술대회 학술발표 논문집 제15권 제2호
    • /
    • pp.546-549
    • /
    • 2005
  • 본 논문에서는 잡음제거와 주요성분분석을 이용한 효과적인 얼굴인식 기법을 제안하였다. 여기서 잡음제거는 필터링과 1차 모멘트 평형이동을 조합하여 영상의 특징정보와 관계가 없는 배경을 제거함을 위한 것이고, 주요성분분석은 얼굴영상의 주요성분인 2차원의 중복성분이 제거된 특징을 효과적으로 추출하기 위함이다. 제안된 기법을 768*576 픽셀 크기를 갖는 24개의 AR얼굴영상을 대상으로 시뮬레이션한 결과, 제안된 얼굴인식이 잡음제거를 하지 않은 기존의 얼굴인식에 비해 주요성분의 개수에 따른 압축성능, 특징추출 시간, 그리고 city-block, Euclidean, negative angle(cosine)의 거리척도에 따른 인식에 있어서 보다 우수한 성능이 있음을 확인할 수 있었다.

  • PDF