• Title/Summary/Keyword: 캐시 데이터

Search Result 256, Processing Time 0.026 seconds

Mechanism to Select the Data Source of HDFS with SSD Cache Based on Storage I / O Cost (SSD 캐시를 적용한 HDFS의 I/O 비용 기반 데이터 선택 기법)

  • Kim, Minkyung;Shin, Mincheol;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.676-679
    • /
    • 2015
  • 빅데이터 분석을 위한 Hadoop 환경에서 고성능 저장장치인 SSD에 대한 중요성이 증가하면서 일반적으로 사용되는 저장장치인 HDD와 혼합하여 사용하는 연구들이 주목 받고 있다. 특히 SSD를 HDD의 캐시로 사용했을 때 저장장치에 대한 I/O 성능을 향상할 수 있다는 연구 결과들이 있다. 본 연구는 이를 바탕으로 SSD를 HDD의 캐시로 사용한다. HDFS는 저장장치에 접근하여 I/O를 수행하는데 기존에는 로컬 서버에서 캐시 미스가 발생한 경우 로컬 HDD로 접근한다. 이러한 방식은 접근하는 데이터에 따라 SSD의 높은 Bandwidth를 활용하지 못하게 되는 경우를 발생시키고 그 결과 특정 서버의 I/O 지연으로 전체 분산 처리의 성능을 저하시킬 수 있다. 이를 해결하기 위해 본 연구는 HDFS 레벨에서 로컬 서버의 HDD와 데이터 복제본들이 저장된 원격 서버의 SSD에서 I/O를 수행하는 경우에 대해 수식을 통해 비용을 비교한다. 그 결과 항상 기대 성능이 높은 저장 장치를 선택하여 데이터를 읽어오게 함으로써 기존 방식보다 성능이 개선될 수 있음을 입증한다.

A User Preference-based Cache Management Scheme In a Mobile Broadcasting Environment (모바일 Broadcasting 환경에서 User Preference 기반 캐시 관리 기법)

  • Choi, Young-Hwan;Hwang, Een-Jun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.235-238
    • /
    • 2008
  • 최근 모바일 Broadcasting 환경에서의 캐시 관리 기법에 관한 다양한 연구가 활발히 진행되고 있으며 가장 많이 쓰이는 기법으로는 무효화 보고(Invalidation Report) 기법을 들 수 있다. 하지만 무선 기기들의 대용량 지원 및 많은 사용자의 무선 이용으로, 사용자 요청에 대한 지연이나 Multi-Cell 환경과 대용량 갱신 등에 대한 대처 능력의 부족 등이 문제점으로 부각되고 있다. 본 연구는 이런 무효화 보고의 대처 능력을 보완할 뿐 아니라, User Preference를 추가하여 사용자의 QoS를 만족시키는 새로운 시스템을 제안한다. 본 연구는 서버 측에서의 일방적인 브로드캐스팅에 의한 데이터 전송이 아닌, 사용자로부터의 요청에 따른 캐시 데이터 관리 기법을 제안한다. 연구의 주된 효과는 사용자로 하여금 선택적 청취(Selective Listening)을 하게 함으로써 서버와의 교류를 적게 하고, 자주 사용하는 많은 양의 데이터를 한번에 가져와 빠른 시간 내에 데이터를 사용할 수 있게 한다. 또한, 자신이 필요한 데이터에 한에서만 자료 갱신(Update) 여부를 확인하여, 짧은 시간 안에 동적으로 자신의 정보를 확인 할 수 있다.

A Caching Mechanism for Remote Queries in Distributed Directory Systems (분산 디렉토리 시스템에서의 원격 질의에 대한 캐싱 기법)

  • Lee, Kang-Woo
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.1
    • /
    • pp.50-56
    • /
    • 2000
  • In this paper, for improving the speed of query processing on distributed directory system, we proposed a caching mechanism which is store the queries and their on the remote site objects in the cache of local site. For this, first, cached information which is stored in distributed directory systems is classified as application data and system data. And cache system architecture is designed according to classified information. Second least-TTL replacement mechanism which uses the weighted value of geographical information and access frequency for replacements are developed for each cache. Finally, performance evaluations are performed by comparing the proposed caching mechanism and other mechanisms (LRU, LFU replacement). Our least-TTL mechanism shows a performance improvement of 25% over the LRU and that of 30% over LFU.

  • PDF

An Efficient Cache Consistency Method for Mobile Clients in Wireless Environment (무선 환경에서의 이동 클라이언트를 위한 효율적인 캐시 일관성 유지 방안)

  • 송원민;정성원
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.181-183
    • /
    • 2002
  • 최근 이동 컴퓨터(Mobile Computing)환경에서의 잦은 접속 단절로 인한 클라이언트 캐시 일관성(Consistency) 문제를 해결하기 위한 방법으로 클라이언트 캐시 유지에 대한 연구가 진행되고 있다. 이러한 캐시 유지 방법의 한 분야로서 캐시 데이터의 일관성 문제를 해결하기 위한 무효화 보고(Invalidation Report, IR)에 대한 연구가 진행 중이다. 그러나 기존의 무효화보고는 시간 의존적인 정보로써 전송되기 이전 일정 시간동안의 서버 업데이트 정보만을 포함한다. 따라서 서버의업데이트 정도와 무관하게 일정 시간 이상의 클라이언트 접속 단절에 대하여 클라이언트의 캐시 일관성을 유지하지 못한다. 따라서 본 논문에서는 시간 의존적 정보를 가지는 무효화 보고와 서버의 업데이트 정도에 따른 무효화 보고를 함께 사용하여 클라이어트의 접속 단절 시간과는 무관하게 서버의 업데이트 정도에 따라 캐시 일관성을 유지할 수 있는 효율적인 기법을 제안한다.

  • PDF

IT-based Technology An Efficient Global Buffer Management ,algorithm for SAN Environments (SAN 환경을 위한 효율적인 전역버퍼 관리 알고리즘)

  • 이석재;박새미;송석일;유재수;이장선
    • The Journal of the Korea Contents Association
    • /
    • v.4 no.3
    • /
    • pp.71-80
    • /
    • 2004
  • In distributed file-systems, cooperative caching algorithm which owns the data cached at each node jointly is used to reduce an expense of disk access. Cooperative caching algorithm is the method that increases a cache hit-ratio and decrease a disk access as it holds the cache information of distributed systems in common and makes cache larger virtually. Recently, several cooperative caching algorithms decrease the message costs by using approximate information of the cache and increase the cache hit-ratio by using local and global cache fields dynamically. And they have an advantage that increases the whole field hit-ratio by sending a replaced buffer to the idle node on buffers replacement in order to maintain the replaced cache in the cache field. However the wrong approximate information deteriorates the performance, the consistency maintenance goes to great expense to exchange messages and the cost that manages Age-information of each node to choose the idle node increases. In this thesis, we propose a cooperative cache algorithm that maintains correct cache information, minimizes the maintenance cost for consistency and the management cost for buffer Age-information. Also, we show the superiority of our algorithm through the performance evaluation.

  • PDF

Development of A Web-cache System with Compression Capability (압축 기능을 가진 웹캐시 시스템 개발)

  • Park, Zin-Won;Kim, Myung-Kyun;Hong, Yoon-Hwan
    • The KIPS Transactions:PartA
    • /
    • v.11A no.1
    • /
    • pp.29-36
    • /
    • 2004
  • As the number of Internet users and the amount of web contents have increased very fast, reducing the load of web servers and providing web services more rapidly have been great issues. A web-cache system, which is located between the user and the web server, has been used by many web service providers as an effective way to reduce the load of web servers and the web service response time. In this paper, we have developed a web-cache system which is based on the Squid cache and has a compression capability. The web-cache system in which compression capability reduces the amount of network traffic and the web service response time by transfering the web contents in the compressed format over the network between the web-cache system and the user. The performance enhancement is greater in the reverse-cache system than in the forward-cache system because in the case of the reverse-cache system, the cache reduces the amount of traffic on the Internet which is the bottleneck in the network path between the user and the web server. The experimentation result shows that the amount of data traffic has reduced from 2 to 8 times depending on the size of the web contents. The web server response time has reduced 37% on the average and when the size of the web content is greater than 10Kbyte, the response time has reduced 87% on the average.

A Dedicated Bus System for Cache Coherence (캐시 일관성 유지를 위한 전용 버스 시스템)

  • 천희식;김우완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.30-32
    • /
    • 1998
  • 멀티프로세서 시스템을 설계할 경우에는 공유메모리 구조와 메시지 전달방법의 두 가지의 패러다임을 바탕으로 하게 된다. 데이터 분할과 동적 부하 분산 문제를 단순화시틸 수 있으며 확장성을 용이하게 지원하는 장점을 가지고 있는 공유메모리 구조의 멀티프로세서 시스템에서 각 프로세서가 자신의 전용 캐시를 가지는 경우에는 메인 메모리와 이러한 전용 캐시내에 존재하는 데이터사본간에 일관성 문제가 발생한다. 본 논문에서는 일관성 유지를 위해 제안되어 있는 여러 알고리즘 중 처리 노드와 고대역 저지연 인터커넥션 네트워크로 구성되는 공유메모리 구조의 멀티프로세서 프로토타입인 DASH 프로토콜을 지원하기 위한 전용 버스 시스템을 완전 개방형인 IEEE Futurebus+ 스탠다드에 준비하여 설계한 다음, 이 시스템이 DASH 프로토콜을 지원하려 캐시의 일관성을 유지하기 위해 필요한 각종 행동과 기존의 범용 버스 시스템이 수행하는 행동의 병렬 처리를 지원할 수 있음을 시뮬레이션으로 증명한다.

  • PDF

A Program Transformation Framework for Improving Data Locality Based on Loop Distribution , Interchange, Unrolling, and Scalarization (루프 분산, 교환, 펼침 , 스칼라화에 기초한 데이터 지역성 개선을 위한 프로그램 변환체계)

  • U, Deok-Gyun;Pyo, Chang-U;Yun, Seok-Han
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.4
    • /
    • pp.557-567
    • /
    • 1999
  • 본 논문은 데이터 캐시를 효과적으로 사용하기 위하여 개발된 원시 프로그램의 루프 변환체제에 대하여 논하고 있다. DIUS로 명명된 이 체계는 외부 루프 펼침을 중심으로 루프 분산, 교환이 선행되고 , 마직막에 스칼라화가 적용되는 변환체계이다. 루프 교환은 회전 공간이 루프 단위로 변형되어 전반적으로 캐시 재사용 기회를 높이지만 일부 배열 참조에 대해서는 오히려 재사용 기회를 감소시킨다. 본 연구에서는 이 문제를 외부 루프 펼침으로 해결하였다. 외부 루프 펼침과 루프 교환을 루프 몸체의 문장들에 선별적으로 적용하기 위하여 루프 분산을 도입하였다. 외부 루프 펼침을 적용하면 배열 참조를 스칼라 참조로 변환하는 스칼라화의 효과가 증대되어 레지스터 사용의 효율성이 높아진다. SPEC CFP95 벤치마크에 대하여 DIUS를 적용한 결과 기하학적 평균으로 속도 향상 1.10을 얻었으며, 특정 프로그램들은 모두 캐시 미스수가 줄어들었음을 확인하였다. 이와 같은 성능향상은사용된 루프 변환기법들이 갖는 캐시와 레지스터의 효율적인 사용에 기인한다.

A Cache Management Scheme for Effective Processing of Continuous Partial Match Queries in Mobile Computing Environments (이동 컴퓨팅 환경에서 연속 부분 부합 질의의 효과적인 처리를 위한 캐시 관리 방안)

  • Jeong, Yeon-Don;Lee, Ji-Yeon;Lee, Yun-Jun;Kim, Myeong-Ho
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.253-265
    • /
    • 2001
  • 본 논문은 이동 컴퓨팅 환경에서 연속 부분 질의의 효과적인 처리를 위한 캐시 관리 방안을 제안한다. 연속 부분 부합 질의란 질의의 결과가 클라이언트의 메모리에 일관성을 유지하면서 지속되는 부분 부합 질의이다. 기존의 이동 환경을 위한 캐시 관리 기법은 레코드 식별자를 기반으로 하는 방법들이다. 하지만, 부분 부합 질의는 데이터의 내용을 기반으로 탐색하는 질의이기 때문에 이러한 레코드 식별자를 기반으로 하는 방법들은 캐시 관리를 효율적으로 할 수 없다. 제안하는 캐시 관리 방안에서는, 이동 클라이언트의 캐시 상태를 프레디킷(predicate)으로 기술하고, 서버가 캐시 관리를 위해 클라이언트에게 방송하는 캐시 무효화 정보, 즉 Cache Invalidation Reports(CIR)을 프레디킷으로 구성한다. 이러한 프레디킷 표현을 사용하여, 일련의 캐시 관리 기법-억지 방법(the brute-force method), 빼기 방법(the subtraction method), 교차 방법(the intersection method)-들을 제안한다. 그리고, 제안하는 방법의 계산 복잡도를 계산한다.

  • PDF

Research on Web Cache Infection Methods and Countermeasures (웹 캐시 감염 방법 및 대응책 연구)

  • Hong, Sunghyuck;Han, Kun-Hee
    • Journal of Convergence for Information Technology
    • /
    • v.9 no.2
    • /
    • pp.17-22
    • /
    • 2019
  • Cache is a technique that improves the client's response time, thereby reducing the bandwidth and showing an effective side. However, there are vulnerabilities in the cache technique as well as in some techniques. Web caching is convenient, but it can be exploited by hacking and cause problems. Web cache problems are mainly caused by cache misses and excessive cache line fetch. If the cache miss is high and excessive, the cache will become a vulnerability, causing errors such as transforming the secure data and causing problems for both the client and the system of the user. If the user is aware of the cache infection and the countermeasure against the error, the user will no longer feel the cache error or the problem of the infection occurrence. Therefore, this study proposed countermeasures against four kinds of cache infections and errors, and suggested countermeasures against web cache infections.