• Title/Summary/Keyword: 중복 데이터

Search Result 1,019, Processing Time 0.026 seconds

An Efficient Data Transmission Technique Based on Adaptive Non-Transmission Push & Pull Model in Distributed Computing (분산 환경에서 동적 미전송 Push & Pull 모델 기반 효율적인 데이터 전송 기법)

  • Kim, NamHyun;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.43-44
    • /
    • 2016
  • 시스템 자원의 효율성에 대한 관심이 높아짐에 따라 성능데이터의 효과적인 전송에 대한 연구가 지속되고 있다. 본 논문에서는 기존 성능데이터의 Push & Pull 전송 방식에 변동률 기반 예측 알고리즘 적용함으로써 성능데이터의 중복 수치 처리하여 효율적인 성능데이터를 전송하도록 하였다.

A Study on a Lossless Compression Scheme for Cloud Point Data of the Target Construction (목표 구조물에 대한 점군데이터의 무손실 압축 기법에 관한 연구)

  • Bang, Min-Suk;Yun, Kee-Bang;Kim, Ki-Doo
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.48 no.5
    • /
    • pp.33-41
    • /
    • 2011
  • In this paper, we propose a lossless compression scheme for cloud point data of the target construction by using doubleness and decreasing useless information of cloud point data. We use Hough transform to find the horizontal angle between construction and terrestrial LIDAR. This angle is used for the rotation of the cloud point data. The cloud point data can be parallel to x-axis, then y-axis doubleness is increased. Therefore, the cloud point data can be more compressed. In addition, we apply two methods to decrease the number of cloud point data for useless information of them. One is decimation of the cloud point data, the other is to extract the range of y-coordinates of target construction, and then extract the cloud point data existing in the range only. The experimental result shows the performance of proposed scheme. To compress the data, we use only the position information without additional information. Therefore, this scheme can increase processing speed of the compression algorithm.

LTRE: Lightweight Traffic Redundancy Elimination in Software-Defined Wireless Mesh Networks (소프트웨어 정의 무선 메쉬 네트워크에서의 경량화된 중복 제거 기법)

  • Park, Gwangwoo;Kim, Wontae;Kim, Joonwoo;Pack, Sangheon
    • Journal of KIISE
    • /
    • v.44 no.9
    • /
    • pp.976-985
    • /
    • 2017
  • Wireless mesh network (WMN) is a promising technology for building a cost-effective and easily-deployed wireless networking infrastructure. To efficiently utilize limited radio resources in WMNs, packet transmissions (particularly, redundant packet transmissions) should be carefully managed. We therefore propose a lightweight traffic redundancy elimination (LTRE) scheme to reduce redundant packet transmissions in software-defined wireless mesh networks (SD-WMNs). In LTRE, the controller determines the optimal path of each packet to maximize the amount of traffic reduction. In addition, LTRE employs three novel techniques: 1) machine learning (ML)-based information request, 2) ID-based source routing, and 3) popularity-aware cache update. Simulation results show that LTRE can significantly reduce the traffic overhead by 18.34% to 48.89%.

Design and Implementation of a Backup System for Digital Contents (디지털콘텐츠의 특성을 고려한 백업 시스템의 설계 및 구현)

  • Lee Seok Jae;Yun Jong Hyun;Hwang Sok Choel;Yoo Jae Soo
    • The Journal of the Korea Contents Association
    • /
    • v.6 no.2
    • /
    • pp.105-116
    • /
    • 2006
  • With the development of IT technology, the amount of digital contents used in various environments of wired/wireless networks have been increased hugely and rapidly To protect the loss of the digital contents from the sudden accident, continuous data backup is required. In this paper, we design and implement the backup system that stores digital contents in backup storage by objectifying the contents with a unit of I/O size and giving them the unique E using the properties of digital contents to avoid duplicated store of the same data. The backup system reduces the amount of backup data efficiently by backing up the only one copy of the duplicated data. as a result, the backup system can back up the digital contents more efficiently in a constrained storage space.

  • PDF

Similar Video Detection Method with Summarized Video Image and PCA (요약 비디오 영상과 PCA를 이용한 유사비디오 검출 기법)

  • Yoo, Jae-Man;Kim, Woo-Saeng
    • Journal of Korea Multimedia Society
    • /
    • v.8 no.8
    • /
    • pp.1134-1141
    • /
    • 2005
  • With ever more popularity of video web-publishing, popular content is being compressed, reformatted and modified, resulting in excessive content duplication. Such overlapped data can cause problem of search speed and rate of searching. However, duplicated data on other site can provide alternatives while specific site cause problem. This paper proposes the efficient method, for retrieving. similar video data in large database. In this research we have used the method to compare summarized video image instead of the raw video data, and detected similar videos through clustering in that dimension feature vector through PCA(principle component analysis). We show that our proposed method is efficient and accurate through our experiment.

  • PDF

Intelligent Distributed Platform using Mobile Agent based on Dynamic Group Binding (동적 그룹 바인딩 기반의 모바일 에이전트를 이용한 인텔리전트 분산 플랫폼)

  • Mateo, Romeo Mark A.;Lee, Jae-Wan
    • Journal of Internet Computing and Services
    • /
    • v.8 no.3
    • /
    • pp.131-143
    • /
    • 2007
  • The current trends in information technology and intelligent systems use data mining techniques to discover patterns and extract rules from distributed databases. In distributed environment, the extracted rules from data mining techniques can be used in dynamic replications, adaptive load balancing and other schemes. However, transmission of large data through the system can cause errors and unreliable results. This paper proposes the intelligent distributed platform based on dynamic group binding using mobile agents which addresses the use of intelligence in distributed environment. The proposed grouping service implements classification scheme of objects. Data compressor agent and data miner agent extracts rules and compresses data, respectively, from the service node databases. The proposed algorithm performs preprocessing where it merges the less frequent dataset using neuro-fuzzy classifier before sending the data. Object group classification, data mining the service node database, data compression method, and rule extraction were simulated. Result of experiments in efficient data compression and reliable rule extraction shows that the proposed algorithm has better performance compared to other methods.

  • PDF

Incremental Modulo-K algorithm for Content Based File Partitioning (파일의 의미기반분할을 위한 효율적인 점진형 Modulo-K 알고리즘)

  • Ban, Jong-Myeong;Won, You-Jip;Min, Jae-Hong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.460-463
    • /
    • 2008
  • 현재의 스토리지 시스템 및 백업 시스템에서 중복된 데이터의 증가로 인한 문제가 점점 대두되고 있다. 이러한 중복 데이터를 검사하거나 파일의 유사성을 검사하는 데에는 BSW알고리즘이 많이 사용되고 있으며 이 BSW알고리즘 내에서 해시 값을 구하는데에는 Rabin's Fingerprint알고리즘이 일반적으로 사용되고 있다. 본 논문에서는 Rabin's Fingerprint알고리즘에 비해 보다 빠르고 간단한 Modulo-K알고리즘을 제안하며 BSW알고리즘에서 Rabin's Fingerprint를 대체함으로써 최종적으로 BSW알고리즘의 속도를 향상 시킬 수 있는 Modulo-K알고리즘을 제안한다.

  • PDF

A New Sort Algorithm : Information Block Sort Algorithm(IBSA) (정보 블록 정렬 알고리즘)

  • Song, Tae-Ok;Jung, Sang-Wuk;Kim, Tae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10a
    • /
    • pp.195-198
    • /
    • 2000
  • 본 논문에서는 정보블록알고리즘(IBPA; Information Block Preprocessing Algorithm)을 이용한 정보블록 정렬알고리즘(IBSA; Information Block Sort Algorithm)을 제안하고 그 성능을 평가하였다. IBSA의 시간복잡도는 O(N)이며, 데이터의 분포상태에 영향을 받지 않는다. IBPA의 성능을 측정해본 결과, 2백만개의 랜덤데이터를 정렬한 경우, 중복 값 허용의 경우(a)는 퀵 정렬의 32.42%, 기수정렬의 9%정도의 비교회수만으로도 정렬할 수 있음을 보여주었으며, 중복 값이 없는 경우(b)는 퀵 정렬의 53.12%, 기수정렬의 12.79%정도의 비교회수만으로도 정렬할 수 있음을 보여주었다.

  • PDF

A Comparison of Multi- Way Join Algorithms in MapReduce (맵리듀스를 이용한 멀티웨이 조인 알고리즘의 비교)

  • Myung, Jae-Seok;Lee, Sang-Goo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.127-130
    • /
    • 2011
  • 맵리듀스는 데이터의 분산 및 병렬 처리를 돕는 프레임워크로서, 하둡과 같은 오픈 소스 맵리듀스 구현이 배포되면서 많은 연구가 이루어지고 있다. 맵리듀스를 이용한 조인은 대용량 데이터 분석을 위한 필수적인 연산이며, 여러 개의 테이블을 한 번의 맵리듀스로 조인하기 위한 멀티웨이 조인 알고리즘에 대한 연구도 계속 진행되고 있다. 이 논문에서는 반복(iteration) 기반 멀티웨이 조인과 중복(replication) 기반 멀티웨이 조인 알고리즘의 장단점을 분석한다. 또한 두 가지 방식의 조인 알고리즘의 단점을 보완하여 하나의 통합적인 2단계 멀티웨이 세미조인을 제시하고, 이를 기존의 방식과 비교한다. 결과적으로, 2단계 멀티웨이 세미조인은 반복 기반의 조인에 비하여 입출력 비용을 절감하고, 중복 기반의 조인에 비하여 커뮤니케이션 비용을 절감한다.

The Design and Implementation of System for providing mobile may service in Wireless Devices (무선 단말기에서 지도 서비스를 위한 시스템의 설계 및 구현)

  • 이재호;임덕성;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.46-48
    • /
    • 2002
  • 무선 네트웍을 통해 공간 데이터를 요청하고 수신하는 PDA에서 지도 정색을 하기 위해 캐쉬와 공간 색인을 사용하는 한정을 대상으로 한다. 서 대로부터 전송되는 공간 객체들은 캐쉬된 영역의 공간 객체와 중복이 발생하므로 이에 대한 처리 방법이 필요하다. 또한 추가되는 영역의 공간 데이터를 색인에 추가하는 연산은 Bulk-Insertion기법이 효과적이지만 추가영역에 대한 색인 구축 연산이 무선 단말기에 부하를 준다. 그리고 교체로 인한 캐쉬 영역 삭제 시에도 신속한 영역 단위의 삭제 방법이 필요하다 이 논문에서는 먼저 중복 객체에 대한 처리 방법을 분류하고 Bulk-operation을 통해 캐쉬 영역의 빠른 색인 삽입, 삭제 연산을 수행하는 지도 서비스를 위한 시스템을 계시한다. 무선 단말기에 집중된 부하를 분산시키고 성능 향상을 위해 에이전트를 이용한 시스템을 설계하고 구현한다. 구현하여 실험한 결과 클리핑 방법이 효과적이며 전체적인 성능 향상을 보인다

  • PDF