• 제목/요약/키워드: 중복 데이터

검색결과 1,018건 처리시간 0.027초

관계형 스키마로부터 중복성이 없는 XML 스키마로의 효율적인 변환 기법 (An Efficient Transformation Technique from Relational Schema to Redundancy Free XML Schema)

  • 조정길
    • 인터넷정보학회논문지
    • /
    • 제11권6호
    • /
    • pp.123-133
    • /
    • 2010
  • XML은 웹상에서 데이터를 만들고 교환하기 위한 새로운 표준이 되었다. 그러나 대부분의 비즈니스 데이터는 아직까지 관계형 데이터베이스 관리 시스템으로 저장되고 관리되고 있다. 따라서 효과적으로 관계형 데이터를 인터넷 기반의 XML 데이터로 변환하는 필요성이 증대되고 있다. 변환 과정에서 가장 중요한 점은 관계형 스키마의 구조적, 의미적 관계 정보를 XML 스키마에 정확히 반영하는 것이다. 그러나 대부분의 변환 방법들이 이러한 관계 정보들을 지원하지 못하는 문제점을 지니고 있다. 이 논문에서는 관계형 데이터베이스 스키마를 XML 스키마인 XML Schema로 변환하는 알고리즘을 제안한다. 변환에는 명시적/묵시적 참조 무결성 관계 정보뿐만 아니라 데이터 중복이 없는 중첩 구조의 높은 단계를 달성할 것이다. 이 논문에서의 절차는 우선 참조 무결성 정보를 추출하여 중복 배제 스키마 모델을 제안하고, 그리고 중첩 구조를 탐사함으로 데이터 중복이 없는 XML Schema 구조를 개선한다.

그래프 데이터에 대한 비-중복적 키워드 검색 방법 (A Method for Non-redundant Keyword Search over Graph Data)

  • 박창섭
    • 한국콘텐츠학회논문지
    • /
    • 제16권6호
    • /
    • pp.205-214
    • /
    • 2016
  • 최근 소셜 네트워크, 시맨틱 웹, 바이오 인포매틱스 등 여러 응용 분야에서 그래프 구조를 갖는 대용량 데이터들에 활용됨에 따라 이런 데이터들에 대한 키워드 기반 검색 방법이 많은 관심을 받고 있다. 본 논문에서는 그래프 구조 데이터에 대한 키워드 질의에 대해 질의와 연관성이 높으면서 구조적인 중복성을 갖지 않는 top-k 결과 집합을 효율적으로 검색하는 방법을 제안한다. 키워드 질의에 대한 비-중복적인 결과 트리 구조와 그것의 연관도 척도를 정의하고, 그래프 내에 포함된 유용한 경로 정보들에 대한 효과적인 인덱싱 방법을 제안한다. 그리고 기 생성된 인덱스를 활용하여 주어진 키워드 질의에 대해 비-중복적이면서 연관도가 큰 top-k 결과 집합을 생성하는 효율적인 질의 처리 알고리즘을 제시한다. 실 데이터를 이용한 실험을 통해 제안한 방법의 효과와 성능을 기존 방법과 비교 분석한다.

Peer-to-Peer 환경에서 중복된 데이터의 갱신 전파 기법 (Update Propagation of Replicated Data in a Peer-to-Peer Environment)

  • 최민영;조행래
    • 한국통신학회논문지
    • /
    • 제31권4B호
    • /
    • pp.311-322
    • /
    • 2006
  • P2P(Peer-to-Peer) 시스템은 대용량의 데이터를 공유하는데 유용하며, 네트워크 구조에 따라 중앙 집중형, 구조적 분산형, 그리고 비구조적 분산형으로 분류된다. 이 중 Gnutella와 같은 비구조적 분산형 P2P 시스템은 확장성과 신뢰성 측면에서 장점을 갖지만, 참여하는 노드의 수가 증가함에 따라 데이터를 액세스하는 비용도 증가한다는 문제를 가진다. 데이터 중복을 이용하여 이러한 문제를 해결할 경우 중복된 데이터들의 일관성을 유지하기 위한 기법이 필요하다 본 논문에서는 특정 노드가 데이터를 갱신할 때 중복된 사본을 저장하고 있는 다른 노드에 전파하기 위한 새로운 갱신 전파 알고리즘을 제안한다. 제안한 알고리즘은 타임스탬프와 push/pull 개념을 조합하여 메시지의 전송 오버헤드를 줄일 수 있다는 장점을 갖는다.

이동 에이전트 미들웨어를 이용한 중복 센서 데이터 제거 (Elimination of the Redundant Sensor Data using the Mobile Agent Middleware)

  • 이정수;이연식
    • 인터넷정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.27-36
    • /
    • 2011
  • 센서 네트워크 시스템의 센서 노드들은 싱크 노드와 무선으로 송수신하며 사람이 일일이 접근하기 힘든 방대한 지역의 센서 데이터를 획득 및 전송한다. 하지만 센서 노드들의 중복 센서 데이터의 비효율적인 반복 전송은 전체 시스템의 수명을 짧게 하고, 이때 발생하는 많은 양의 데이터들은 사용할 때 다시 선별해야 하는 번거로움이 있다. 본 논문에서는 네이밍 에이전트의 네임 스페이스의 메타 테이블로부터 제공되는 이주 대상 노드들을 차례로 방문하여, 사용자 조건에 따라 중복 센서 데이터를 제거하고, 용도 및 필요에 따라 센서 데이터를 수집 및 전송함으로써 센서 데이터의 과잉 송수신을 막고 전체 시스템의 수명을 늘릴 수 있는 이동 에이전트 미들웨어를 설계 및 구현한다. 또한, 실제 환경에서 발생할 수 있는 상황을 고려한 조건 및 제한들을 적용한 이동 에이전트를 이용한 실험을 통하여 중복 센서 데이터의 제거 및 데이터 수집의 효율성을 보이고, 향후 제안된 이동 에이전트 미들웨어에 능동 규칙을 탑재하거나 능동 규칙 시스템과의 연계를 통하여 다양한 능동적 센서 네트워크 응용에의 적용 가능성을 보인다.

중복 데이터 관리 기법을 통한 저장 시스템 성능 개선 (Storage System Performance Enhancement Using Duplicated Data Management Scheme)

  • 정호민;고영웅
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권1호
    • /
    • pp.8-18
    • /
    • 2010
  • 기존의 전통적인 저장 서버는 중복 데이터 블록에 의해서 저장 공간과 네트워크 대역폭의 낭비가 발생되고 있다. 이와 같은 문제를 해결하기 위하여, 다양한 중복 제거 메커니즘이 제시되었으나, 대부분 Contents-Defined Chunking (CDC) 기법을 사용하는 백업 서버에 한정되었다. 왜냐하면 CDC 기법은 앵커를 사용하여 중복 블록을 쉽게 추적할 수 있기 때문에 파일의 업데이트를 관찰하기 유리한 백업 시스템에서 널리 사용되고 있는 것이다. 본 논문에서는 저장 시스템 성능을 개선하기 위하여, 새로운 중복 제거 메커니즘을 제시하고 있다. 범용적인 중복제거 서버를 구축하기 위한 효율적인 알고리즘에 초점을 맞추고 있으며, 이를 통하여 백업 서버, P2P 서버, FTP 서버와 같은 다양한 시스템에 활용이 가능하게 하는 것을 목표로 한다. 실험 결과 제안한 알고리즘이 중복 영역의 블록을 찾아내는 시간을 최소화하고 효율적으로 저장 시스템을 관리하는 것을 보였다.

제어 및 데이터 신호에 의한 Esterel에서의 새로운 회로 중복사용 문제 (New Schizophrenia Patterns on Esterel caused by Control/Data Signals)

  • 윤정한;김철주;김성건;최광무;한태숙
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.311-316
    • /
    • 2010
  • Esterel은 명령형 동기언어로서, 많은 경우에 메모리, 캐쉬 컨트롤러, 버스 인터페이스 등을 개발하는데 사용하고 있다. Esterel 프로그램은 특정 상황에서 한 문장이 한 단위시간 안에 2번 이상 수행될 수 있다. 이러한 문장을 하드웨어로 컴파일 할 경우, 하나의 회로(circuit)가 한 클럭 안에 2번 수행되어 정상적으로 동작하지 않을 수 있다. 이러한 문제를 회로 중복사용(schizophrenia) 문제라고 부른다. 기존연구에서는 지역신호선언문과 병렬문만이 회로 중복사용 문제를 유발할 수 있다고 보았다. 하지만, 예외선언문에 의해 생성되는 제어 신호와 출력문이 만들어내는 데이터 신호도 회로 중복사용 문제를 유발할 수 있다. 특히, 출력문의 경우에는 기존 회로 중복사용 문제에 대한 해결책들의 출발점인 단순한 루프 펼치기(loop unrolling)로는 해결되지 않았다. 본 논문에서는 예외선언문과 출력문이 만들어 내는 2가지 새로운 회로 중복사용 문제들을 열거하고 회로 중복사용 문제를 재정의 하였다.

가상화 환경을 위한 SSD 캐시 기반의 중복 제거 기법 (SSD Caching based De-Duplication for Virtualization Environment)

  • 강동우;김세욱;이남수;최종무;김준모
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.293-295
    • /
    • 2012
  • 가상화 기술은 물리적 컴퓨팅 자원을 사용자에게 논리적으로 제공하여 시스템의 효율성을 높이고 유연성을 향상시키기 위한 기술로 서버 통합이나 아마존 EC2와 같은 클라우드 컴퓨팅 환경에서 사용되고 있다. 이러한 가상화 환경에서는 다수의 가상머신들의 동시적인 I/O 수행으로 인해 저장장치에 병목현상이 발생된다. 또한 각 가상머신들의 중복된 데이터들을 저장하기 위해 불필요한 쓰기 비용이 발생하여 시스템의 성능 저하가 발생하게 된다. 본 논문에서는 이러한 가상화 환경에서의 I/O비용을 감소시키기 위해 SSD를 캐시로 사용하는 중복 제거 기법을 제안한다. 제안된 기법은 중복된 데이터를 제거하여 불필요한 디스크에 대한 I/O 수행을 감소시키며, 중복 발생 패턴의 특성을 고려하여 SSD의 빠른 쓰기 성능을 효과적으로 사용할 수 있는 캐시 구조 모델을 통해 가상화 환경에서 I/O 성능을 향상 시킬 수 있음을 보인다.

다수 클라우드 스토리지로의 데이터 분할 및 부분 중복을 통한 데이터 가용성 향상 (Improving Data Availability by Data Partitioning and Partial Overlapping on Multiple Cloud Storages)

  • 박준철
    • 한국통신학회논문지
    • /
    • 제36권12B호
    • /
    • pp.1498-1508
    • /
    • 2011
  • 시스템의 고장, 크래킹, 오작동, 정전 등의 이유로 저장된 고객 데이터의 영구적 유실이나 일정 기간 동안의 접근 불가 상황이 발생할 때, 클라우드 스토리지 서비스 고객은 클라우드 서비스 제공자에 의한 데이터 복원이 가능하기를 기대할 수밖에 없다. 본 논문에서는 이 문제에 대해 클라우드 스토리지 시스템 내에서가 아니라 클라우드 고객의 영역에서 실현할 수 있는 솔루션을 고려한다. 본 논문은 고객이 다수의 클라우드 스토리지 제공자 들을 선택하여, 저장할 데이터 단위를 분할, 암호화 후 부분 중복 저장함으로써 일부 클라우드 스토리지에 접근이 불가능한 상황에서도 데이터 단위를 복원할 수 있는 기법 및 그 적용 구조를 제안한다. 제안 방식은 높은 데이터 가용성 보장과 더불어, 개별 사용자에 투명하게 데이터 암호화 키를 갱신할 수 있으며, 사용자별로 접근했던 데이터 단위의 목록들을 명시할 수 있어 필요 시 데이터 유출의 범위를 명확히 규정할 수 있도록 한다.

트리 기반 애드혹 멀티캐스트 라우팅 프로토콜을 위한 멀티캐스트 데이터 포워딩의 구현 (Implementation of Multicast Data Forwarding for Tree-Based Ad Hoc Multicast Routing Protocol)

  • 김영민;안상현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.28-30
    • /
    • 2004
  • 이동 애드혹 환경에서의 멀티캐스트 라우팅 테이블을 이용하여 패킷을 전달하기 위해서는 멀티캐스트 데이터 포워딩이 지원되어야 한다. 무선 환경에서의 멀티캐스트 데이터 포워딩은 유선 환경에서의 멀티캐스트 데이터 포워딩과는 차이기 있다. 유선 환경에서 노드의 네트워크 인터페이스는 다른 노드의 네트워크 인터페이스와 1대1로 연결되고, 네트워크 인터페이스로 들어온 패킷이 다른 노드로 전달되어야 한다면 해당되는 다른 네트워크 인터페이스를 통해 전달된다. 그러나 이동 애드혹 환경에서 대부분의 노드는 하나의 네트워크 인터페이스를 가지며 패킷 진입 인터페이스와 진출 인터페이스가 같고 노드의 무선 네트워크 인터페이스는 이웃 노드의 네트워크 인터페이스들과 1대다의 관계를 갖는다. 이동 애드혹 환경에서 멀티캐스트 데이터 포워딩시에 이러한 특성을 고려하지 않을 경우 패킷 중복현상과 라우팅 루프 문제 등이 유발될 수 있다. 본 연구에서 제안하고 구현한 멀티캐스트 데이터 포워딩 기법은 리눅스 환경에서 넷필터[1]와 중복을 방지하기 위한 별도의 테이블을 사용하여 트리 기반 멀티캐스트 라우팅 프로토콜에 의해 결정된 경로를 이용한 효율적인 멀티캐스트 데이터 포워딩을 지원한다.

  • PDF

센서 데이터 획득을 위한 이동 에이전트 설계 (Design of Mobile Agent for Sensor Data Acquisition)

  • 이연식;이정수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.1070-1073
    • /
    • 2010
  • 센서 네트워크 환경에서 센서 노드들은 무선 통신 능력을 이용하여 접근하기 어려운 시공간적 환경에서 센싱 데이터를 송수신하며 각종 데이터를 수집, 분석, 감시 및 처리를 용이하게 한다. 이러한 센서 노드들은 동적으로 변화하는 환경에 대한 적응력이 떨어지고, 센서 데이터의 과잉 및 중복 송수신으로 인한 전력이나 네트워크 대역폭 관련 등의 문제점을 가진다. 이에 본 논문에서는 센서 노드를 이주하며 중복 데이터를 제거하고, 사용자나 어플리케이션의 요구에 적합한 데이터만을 수집 및 전송하여 데이터의 과잉 송수신으로 인한 전력낭비와 네트워크 부하를 줄일 수 있는 이동 에이전트를 설계한다. 또한 기존 멀티 에이전트 시스템과의 연계를 통한 이동 에이전트의 이주 알고리즘을 제시하고, 실제 이동 에이전트의 통신 수행과정을 보임으로써 설계 방법의 유효성을 보인다.