• 제목/요약/키워드: 중복데이터

검색결과 1,023건 처리시간 0.025초

다수 클라우드 스토리지로의 데이터 분할 및 부분 중복을 통한 데이터 가용성 향상 (Improving Data Availability by Data Partitioning and Partial Overlapping on Multiple Cloud Storages)

  • 박준철
    • 한국통신학회논문지
    • /
    • 제36권12B호
    • /
    • pp.1498-1508
    • /
    • 2011
  • 시스템의 고장, 크래킹, 오작동, 정전 등의 이유로 저장된 고객 데이터의 영구적 유실이나 일정 기간 동안의 접근 불가 상황이 발생할 때, 클라우드 스토리지 서비스 고객은 클라우드 서비스 제공자에 의한 데이터 복원이 가능하기를 기대할 수밖에 없다. 본 논문에서는 이 문제에 대해 클라우드 스토리지 시스템 내에서가 아니라 클라우드 고객의 영역에서 실현할 수 있는 솔루션을 고려한다. 본 논문은 고객이 다수의 클라우드 스토리지 제공자 들을 선택하여, 저장할 데이터 단위를 분할, 암호화 후 부분 중복 저장함으로써 일부 클라우드 스토리지에 접근이 불가능한 상황에서도 데이터 단위를 복원할 수 있는 기법 및 그 적용 구조를 제안한다. 제안 방식은 높은 데이터 가용성 보장과 더불어, 개별 사용자에 투명하게 데이터 암호화 키를 갱신할 수 있으며, 사용자별로 접근했던 데이터 단위의 목록들을 명시할 수 있어 필요 시 데이터 유출의 범위를 명확히 규정할 수 있도록 한다.

트리 기반 애드혹 멀티캐스트 라우팅 프로토콜을 위한 멀티캐스트 데이터 포워딩의 구현 (Implementation of Multicast Data Forwarding for Tree-Based Ad Hoc Multicast Routing Protocol)

  • 김영민;안상현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.28-30
    • /
    • 2004
  • 이동 애드혹 환경에서의 멀티캐스트 라우팅 테이블을 이용하여 패킷을 전달하기 위해서는 멀티캐스트 데이터 포워딩이 지원되어야 한다. 무선 환경에서의 멀티캐스트 데이터 포워딩은 유선 환경에서의 멀티캐스트 데이터 포워딩과는 차이기 있다. 유선 환경에서 노드의 네트워크 인터페이스는 다른 노드의 네트워크 인터페이스와 1대1로 연결되고, 네트워크 인터페이스로 들어온 패킷이 다른 노드로 전달되어야 한다면 해당되는 다른 네트워크 인터페이스를 통해 전달된다. 그러나 이동 애드혹 환경에서 대부분의 노드는 하나의 네트워크 인터페이스를 가지며 패킷 진입 인터페이스와 진출 인터페이스가 같고 노드의 무선 네트워크 인터페이스는 이웃 노드의 네트워크 인터페이스들과 1대다의 관계를 갖는다. 이동 애드혹 환경에서 멀티캐스트 데이터 포워딩시에 이러한 특성을 고려하지 않을 경우 패킷 중복현상과 라우팅 루프 문제 등이 유발될 수 있다. 본 연구에서 제안하고 구현한 멀티캐스트 데이터 포워딩 기법은 리눅스 환경에서 넷필터[1]와 중복을 방지하기 위한 별도의 테이블을 사용하여 트리 기반 멀티캐스트 라우팅 프로토콜에 의해 결정된 경로를 이용한 효율적인 멀티캐스트 데이터 포워딩을 지원한다.

  • PDF

센서 데이터 획득을 위한 이동 에이전트 설계 (Design of Mobile Agent for Sensor Data Acquisition)

  • 이연식;이정수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.1070-1073
    • /
    • 2010
  • 센서 네트워크 환경에서 센서 노드들은 무선 통신 능력을 이용하여 접근하기 어려운 시공간적 환경에서 센싱 데이터를 송수신하며 각종 데이터를 수집, 분석, 감시 및 처리를 용이하게 한다. 이러한 센서 노드들은 동적으로 변화하는 환경에 대한 적응력이 떨어지고, 센서 데이터의 과잉 및 중복 송수신으로 인한 전력이나 네트워크 대역폭 관련 등의 문제점을 가진다. 이에 본 논문에서는 센서 노드를 이주하며 중복 데이터를 제거하고, 사용자나 어플리케이션의 요구에 적합한 데이터만을 수집 및 전송하여 데이터의 과잉 송수신으로 인한 전력낭비와 네트워크 부하를 줄일 수 있는 이동 에이전트를 설계한다. 또한 기존 멀티 에이전트 시스템과의 연계를 통한 이동 에이전트의 이주 알고리즘을 제시하고, 실제 이동 에이전트의 통신 수행과정을 보임으로써 설계 방법의 유효성을 보인다.

클라우드 환경에서 검색 효율성 개선과 프라이버시를 보장하는 유사 중복 검출 기법 (Efficient and Privacy-Preserving Near-Duplicate Detection in Cloud Computing)

  • 한창희;신형준;허준범
    • 정보과학회 논문지
    • /
    • 제44권10호
    • /
    • pp.1112-1123
    • /
    • 2017
  • 최근 다수의 콘텐츠 서비스 제공자가 제공하는 콘텐츠 중심 서비스가 클라우드로 이전함과 동시에 온라인 상의 유사 중복 콘텐츠가 급격히 증가함에 따라, 불필요한 과잉 검색 결과를 초래하는 등 클라우드 기반 데이터 검색 서비스의 품질이 저하하고 있다. 또한 데이터 보호법 등에 의거, 각 서비스 제공자는 서로 다른 비밀키를 이용하여 콘텐츠를 암호화하기 때문에 데이터 검색이 어렵다. 따라서, 검색 프라이버시를 보장하면서 유사 중복 데이터 검색의 정확도까지 보장하는 서비스의 구현은 기술적으로 어려운 실정이다. 본 연구에서는, 클라우드 환경에서 데이터 복호 없이 불필요한 검색 결과를 제거함으로써 검색서비스 품질을 제고하며, 동시에 효율성까지 개선된 유사 중복 검출 기법을 제안한다. 제안 기법은 검색 프라이버시와 콘텐츠 기밀성을 보장한다. 또한, 사용자 측면의 연산 비용 및 통신 절감을 제공하며, 빠른 검색 평가기능을 제공함으로써 유사 중복 검출 결과의 신뢰성을 보장한다. 실제 데이터를 통한 실험을 통해, 제안 기법은 기존 연구 대비 약 70.6%로 성능이 개선됨을 보인다.

중복을 허용하는 계층적 클러스터링 기법에서 클러스터 간 유사도 평가 (A Novel Linkage Metric for Overlap Allowed Hierarchical Clustering)

  • 전준우;송광호;김유성
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.157-161
    • /
    • 2016
  • 본 논문에서는 클러스터 간의 중복을 허용한 계층적 클러스터링(hierarchical clustering) 기법에 적합한 클러스터 간 유사도 평가방법(linkage metric)을 제안하였다. 클러스터 간 유사도 평가방법은 계층적 클러스터링에서 클러스터를 통합하거나 분해하는데 쓰이며 사용된 방법에 따라 클러스터링의 결과가 다르게 형성된다. 기존의 클러스터 간 유사도 평가방법인 single linkage, complete linkage, average linkage 중 single linkage와 complete linkage는 클러스터 간 중복이 허용된 환경에서 정확도가 낮은 문제점이 있고, average linkage는 정확도가 두 방법에 비해 높지만 계산 시간 소요가 크다는 단점이 있다. 따라서 본 논문에서는 기존의 average linkage를 개선하여 중복된 데이터에 의한 필요 계산량을 크게 줄임으로써 시간적 성능이 우수한 클러스터 간 유사도 평가방법을 제안하였다. 또한, 제안된 방법을 기존 방법들과 비교실험하여 중복을 허용하는 계층적 클러스터링 환경에서 정확도는 비슷하거나 더 높고, average linkage에 비해 계산량이 감소됨을 확인하였다.

  • PDF

MADE (Minhash-Assisted Delta Compression Engine) : 델타 압축 기반의 낸드 플래시 저장장치 내구성 향상 기법 (Improving the Lifetime of NAND Flash-based Storages by Min-hash Assisted Delta Compression Engine)

  • 권혁준;김도현;박지성;김지홍
    • 정보과학회 논문지
    • /
    • 제42권9호
    • /
    • pp.1078-1089
    • /
    • 2015
  • 본 연구에서는 쓰기 데이터양 감소를 통해 낸드 플래시 기반 저장장치의 수명향상을 도모할 수 있는 MADE(Min-hash Assisted Delta-compression Engine) 모듈을 제안한다. MADE 모듈은 델타압축기법(delta compression)을 통해 중복되는 데이터 패턴을 최소화하여 실제 낸드 플래시에 인가되는 쓰기 명령 횟수를 획기적으로 줄일 수 있을 뿐만 아니라, 중복제거기법(deduplication) 및 무손실압축기법(lossless compression)의 통합적용과 유사한 효과를 볼 수 있도록 설계되었다. 또한 델타압축기법 과정 중 필요한 참조 페이지 탐색 및 압축 기법을 최적화하여, 저장되는 데이터양을 최대한 줄이는 동시에 부가적인 오버헤드를 최소화 하였다. 시뮬레이션 결과, MADE가 적용된 플래시 변환계층(Flash Transition Layer, FTL)은 실제 낸드 플래시 칩에 저장되는 데이터를 최소 50% 줄일 수 있었으며, 순차적인 중복제거기법과 무손실압축 기법을 단순 통합하여 적용한 경우에 비해 추가적으로 12%의 쓰기 데이터양을 감소시킬 수 있었다.

새로운 정렬 알고리즘 : 정보 블록 정렬 알고리즘 (A New Sort Algorithm : Information Block Sort Algorithm(IBSA))

  • 송태옥;김태영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.560-562
    • /
    • 2000
  • 본 논문에서는 정보블록알고리즘(IBPA;Information Block Preprocessing Algorithm)을 이용한 정보블록 정렬알고리즘 (IBSA; Information Block Sort Algotithm)을 제안하고 그 성능을 평가하였다. IBSA의 시간복잡도는 O(N)이며, 데이터의 분포상태에 영향을 받지 않는다. IBPA의 성능을 측정해본 결과, 2백만개의 랜덤데이터를 정렬한 경우, 중복값 허용의 경우 (a)는 퀵 정렬의 32.42%, 기수정렬의 9%정도의 비교회수만으로도 정렬할 수 있음을 보여주었으며, 중복값이 없는 경우 (b)는 퀵 정렬의 53.12%, 기수정렬의 12.79%정도의 비교회수만으로도 정렬할 수 있음을 보여주었다.

  • PDF

3차원 동영상의 시ㆍ공간적 정보 중복성을 이용한 효과적인 3차원 비디오 홀로그램의 생성 (Efficient Generation of 3-D Video Holograms Using Temporal-Spatial Redundancy of 3-D Moving Images)

  • 김동욱;구정식;김승철;김은수
    • 한국통신학회논문지
    • /
    • 제37C권10호
    • /
    • pp.859-869
    • /
    • 2012
  • 본 논문에서는 3차원 동영상의 시 공간적 정보 중복성 (TSR: temporal-spatial redundancy)과 노블 룩업테이블(N-LUT: novel look-up table)를 이용한 효과적인 3차원 동영상 홀로그램 생성기법인 TSR-N-LUT을 제시하였다. 제안된 기법에서는 먼저, DPCM (differential pulse code modulation) 알고리즘을 이용하여 3차원 동영상 프레임간의 시간적 중복 데이터를 제거한 다음, 잔여 영상에 대해서도 각 프레임별로 영상라인 간 중복 데이터를 제거하게 된다. 따라서, 시 공간적인 중복 데이터가 제거된 물체영상에 N-LUT 기법을 적용함으로써 효과적으로 3차원 비디오 홀로그램을 합성하게 된다. 실험결과 제안된 TSR-N-LUT 기법은 기존 방법에 비해 평균적으로 홀로그램 계산을 위한 물체 포인트 수가 23.72% 감소함과 동시에 홀로그램 생성속도 역시 19.55% 개선됨을 보임으로써 제안된 기법의 실제 응용 가능성을 제시하였다.

SyncML 어플리케이션에서의 데이터 충돌 해결 방안 (Conflict Resolution Policies and Rules for SyncML Applications)

  • 김연수;최훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.460-462
    • /
    • 2003
  • PDA(Personal Data Assistant)나 Handheld PC와 같은 모바일 디바이스(Mobile Device)를 이용하여 주소록이나 일정관리와 같은 개인 정보를 관리하는 것이 일반적인 추세이다. 모바일 디바이스는 그 특성상 중요한 정보를 신뢰성 있는 서버와 같은 컴퓨터에 중복 저장하는 것이 필요한데, 동일한 데이터를 중복 저장하면 데이터 동기화(Data Synchronization)를 통하여 일치성을 유지하도록 해야 한다. 그러나 동기화 과정에서 데이터 충돌이 발생할 수 있다. 본 논문에서는 이러한 데이터 충돌에 대한 해결 정책을 제시하였고, 그 중 서버 우선 정책과 클라이언트 우선 정책에 필요한 해결 규칙을 설명하였다. 서버 우선 정책은 서버에 이미 존재하고 있는 값을 유지하는 것을 기본으로 하는 정책이며, 클라이언트 우선 정책은 클라이언트가 요청한 값이 우선하는 정책이다.

  • PDF

SISAC 바코드를 이용한 최적의 서지DB제작시스템 설계 및 구현 (Design and Implementation of Optimal Bibliographic DB by SISAC Barcode)

  • 노경란;권오진;예용희;신영호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2293-2296
    • /
    • 2002
  • 과거 서지DB 제작시스템은 자료의 수집부터 DB제작에 이르기까지 자료입수지연 및 서지데이터입력오류, 중복레코드생성, 권호정보의 부정확한 기입, 철자오류와 관련된 많은 문제들을 내포하고 있었다. 본 연구는 이와같은 문제들을 최소화하기 위해 SISAC기반 서지DB 제작시스템을 설계 구현하였다. 이 시스템은 기존 가용자원을 최대한 활용하기 위해 SISAC 바코드를 스캐닝하여 자료의 입수처리를 신속하게 하고, 서지데이터를 입력할 때 기존에 구축된 데이터를 공유함으로써 데이터 중복입력으로 인한 시간소모적인 작업을 줄인다. 그리고 개방형 환경에서 양질의 능력을 지닌 DB제작 전문가를 선정하는데 투명성을 제공하고, 이들 DB제작전문가를 활용함으로써 데이터의 품질향상에 기여한다.

  • PDF