• Title/Summary/Keyword: 메모리 초과 사용

Search Result 20, Processing Time 0.025 seconds

Technique to Reduce Container Restart for Improving Execution Time of Container Workflow in Kubernetes Environments (쿠버네티스 환경에서 컨테이너 워크플로의 실행 시간 개선을 위한 컨테이너 재시작 감소 기법)

  • Taeshin Kang;Heonchang Yu
    • The Transactions of the Korea Information Processing Society
    • /
    • v.13 no.3
    • /
    • pp.91-101
    • /
    • 2024
  • The utilization of container virtualization technology ensures the consistency and portability of data-intensive and memory volatile workflows. Kubernetes serves as the de facto standard for orchestrating these container applications. Cloud users often overprovision container applications to avoid container restarts caused by resource shortages. However, overprovisioning results in decreased CPU and memory resource utilization. To address this issue, oversubscription of container resources is commonly employed, although excessive oversubscription of memory resources can lead to a cascade of container restarts due to node memory scarcity. Container restarts can reset operations and impose substantial overhead on containers with high memory volatility that include numerous stateful applications. This paper proposes a technique to mitigate container restarts in a memory oversubscription environment based on Kubernetes. The proposed technique involves identifying containers that are likely to request memory allocation on nodes experiencing high memory usage and temporarily pausing these containers. By significantly reducing the CPU usage of containers, an effect similar to a paused state is achieved. The suspension of the identified containers is released once it is determined that the corresponding node's memory usage has been reduced. The average number of container restarts was reduced by an average of 40% and a maximum of 58% when executing a high memory volatile workflow in a Kubernetes environment with the proposed method compared to its absence. Furthermore, the total execution time of a container workflow is decreased by an average of 7% and a maximum of 13% due to the reduced frequency of container restarts.

Analyzing performance imbalance between virtual machines caused by excessive use of GPU memory in RPC-based GPU virtualization environments (RPC 기반 GPU 가상화 환경에서 GPU 메모리의 초과 사용 시 발생하는 가상머신 사이의 성능 불균형 문제 분석)

  • Kang, Jihun;Lee, Jaehak;Gil, Joon-Min
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.113-114
    • /
    • 2019
  • 클라우드 환경에서는 가상머신의 고성능 연산을 지원하기 위해 Graphic Processing Unit(GPU)를 사용한다. 가상머신들은 공평성을 위해 독립적인 가상머신 스케줄러를 사용하기 때문에 컴퓨팅 자원의 초과 사용으로 인한 성능 저하가 발생해도 동일한 작업을 수행하는 가상머신들의 성능은 균등하게 측정된다. 하지만 GPU 연산의 경우 다중 작업을 수행할 때 하드웨어 기반 스케줄러를 사용하며 가상머신의 입출력 작업을 위한 하이퍼바이저의 First In First Out(FIFO) 기반 스케줄링 기법으로 인해 가상머신 사이의 공평성을 보장할 수 없다. 본 논문에서는 GPU 메모리를 초과 사용하는 환경에서 가상머신들의 성능을 측정하고 성능 불균형으로 인한 문제를 분석한다.

Load Balancing Policy Based on CPU and Memory Workload in Cluster Computing System (클러스터 컴퓨팅 시스템에서 CPU와 메모리 부하에 기반한 작업 부하 균등화 정책)

  • 박말순;이원주;전창호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.385-387
    • /
    • 2003
  • 본 논문에서는 이질적인 클러스터 컴퓨팅시스템 에서 CPU와 메모리 자원을 효율적으로 사용하는 작업 부하 균등화 정책을 제안한다. 이 정책의 특징은 CPU부하 상태와 수행중인 작업의 메모리 요구량을 고려하여 작업을 동적으로 할당하는 것이다. 먼저 각 노드는 CPU와 메모리 사용량에 따라 과부하 상태가 아니면 작업을 할당받아 수행한다. 그리고 수행중인 작업의 메모리 요구량이 가용 메모리 크기를 초과하여 페이지 폴트가 발생하면 수행 중인 작업을 다른 노드로 이주시킴으로써 메모리 과부하에 따른 페이지 폴트 발생을 줄이고, 작업의 대기 시간과 수행시 간을 단축한다. 본 논문에서는 시뮬레이션을 통하여 제안한 작업부하 균등화 정책이 기존의 CPU 기반정책에 비해 시스템의 성능향상 면에서 유리함을 검증한다.

  • PDF

A Study on Memory Protection for Embedded Systems (임베디드 시스템의 메모리 보호에 관한 연구)

  • Im, Do-Yeon;Park, Ik-Su;Oh, Byeong-Kyun;Gwun, Oh-Bong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.1483-1486
    • /
    • 2005
  • 일반적으로 응용 프로그램의 메모리 요구를 배치 전에 평가하는 것은 많은 어려움이 따르기 때문에 주기억장치의 부족을 초래한다. 또한 임베디드 시스템의 디스크와 가상 메모리의 결핍은 out-of-memory 에러가 발생할 때 응용이 확장되기 위한 swap 공간이 없어 시스템이 붕괴되고 가상 기억장소로부터의 보호가 없어 세그먼트가 그 바운드를 초과했다는 것조차 발견되지 않으므로 붕괴 전의 교정 동작이 불가능하게 한다. 시스템 붕괴가 치명적인 손실이 될 수 있는 임베디드 시스템에서 Out-of-memory 에러는 비신뢰성을 보이는 중요한 원인이 된다. 본 논문에서는 컴파일러에 의한 런타임 조사 코드를 사용함으로써 out-of-memory 에러들이 발생하기 바로 전에 발견하는 런타임 조사와 out-of-memory 이후 죽은 변수 같은 사용되지 않는 공간과 살아있는 변수의 압축으로 자유롭게 된 공간으로 스택이나 힙 세그먼트를 확장시키는 공간 재활용과 데이터 압축 기법으로 시스템 신뢰성을 개선하는 방법을 연구하였다.

  • PDF

Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries (공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법)

  • Baek, Sung-Ha;Lee, Dong-Wook;Kim, Gyoung-Bae;Chung, Weon-Il;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.89-98
    • /
    • 2009
  • As data stream is entered into system continuously and the memory space is limited, the data exceeding the memory size cannot be processed. In order to solve the problem, load shedding methods which drop a part of data to prevent exceeding the storage space have been researched. Generally, a traditional load shedding method uses random sampling with optimized rate according to data deviation. The method samples data not to distinguish those used in spatial query because the method uses only a random sampling with optimized rate according to data deviation. Therefore, the accuracy of query was reduced in u-GIS environment including spatial query. In this paper, we researched a new load shedding method improving accuracy of the query in u-GIS environment which runs spatial query and aspatial query simultaneously. The method uses a new sampling method that samples data having low probability used in query. Therefore proposed method improves spatial query accuracy and query processing speed as applying spatial filtering operation to sampling operator.

  • PDF

Run-time Memory Optimization Algorithm for the DDMB Architecture (DDMB 구조에서의 런타임 메모리 최적화 알고리즘)

  • Cho, Jeong-Hun;Paek, Yun-Heung;Kwon, Soo-Hyun
    • The KIPS Transactions:PartA
    • /
    • v.13A no.5 s.102
    • /
    • pp.413-420
    • /
    • 2006
  • Most vendors of digital signal processors (DSPs) support a Harvard architecture, which has two or more memory buses, one for program and one or more for data and allow the processor to access multiple words of data from memory in a single instruction cycle. We already addressed how to efficiently assign data to multi-memory banks in our previous work. This paper reports on our recent attempt to optimize run-time memory. The run-time environment for dual data memory banks (DBMBs) requires two run-time stacks to control activation records located in two memory banks corresponding to calling procedures. However, activation records of two memory banks for a procedure are able to have different size. As a consequence, dual run-time stacks can be unbalanced whenever a procedure is called. This unbalance between two memory banks causes that usage of one memory bank can exceed the extent of on-chip memory area although there is free area in the other memory bank. We attempt balancing dual run-time slacks to enhance efficiently utilization of on-chip memory in this paper. The experimental results have revealed that although our algorithm is relatively quite simple, it still can utilize run-time memories efficiently; thus enabling our compiler to run extremely fast, yet minimizing the usage of un-time memory in the target code.

A Design and Implementation of Windows CE Boot Loader to support Compact Flash (컴팩트 플래시 지원을 위한 Windows CE 부트로더의 설계 및 구현)

  • Pi Mu-ho;choi Jong-pil;Kong Ki-sok
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.931-933
    • /
    • 2005
  • Windows CE는 Microsoft사의 Windows 운영체제 가운데서 가장 작은 운영체제로서 일반 데스크톱 Windows 커널을 수용할 수 없는 소형/임베디드 장비에서 주로 사용되어진다. 현재 Windows CE에서 사용되고 있는 부트로더로는 E-boot(Ethernet bootloader)가 있으며 RAM 이미지와 플래시 이미지 다운로드 기능을 제공한다. E-boot의 문제점으로는 플래시 메모리상에서 부팅을 수행하기 때문에 NOR 타입의 플래시만을 지원하여, 컴팩트 플래시와 같은 NAND 타입의 플래시 지원하지 않는다. 이는 OS Binary 이미지의 용량이 NOR 플래시를 초과할 경우에 수행이 불가능하다는 문제를 발생시킨다. 따라서 본 논문에서는 기존의 E-boot를 수정하여 NDR 플래시보다 상대적으로 가격이 저렴하고 휴대성이 좋은 컴팩트 플래시 메모리를 이용하여 부팅이 가능한 부트로더를 구현한다. 또한 컴팩트 플래시 지원을 위한 새로운 읽기/쓰기 메카니즘을 소개한다.

  • PDF

SSD Assisted Recovery Efficiency Optimization System Based on Deduplication Method in the Cloud (클라우드 환경에서 중복 제거 기법을 적용한 SSD 기반의 회복 효율성 최적화 시스템 설계)

  • Kim, Min-Jae;Kim, Kyung-Tae;Youn, Hee-Young
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.223-226
    • /
    • 2014
  • 클라우드 컴퓨팅 및 모바일 통신 서비스의 사용량이 급격히 증가함에 따라 데이터가 기하급수적으로 증가하고 있다. 이러한 데이터를 저장하는 스토리지 장치로서 소비 전력이 작으며 우수한 데이터 접근 성능을 보이는 SSD(Solid State Disk)가 각광받고 있다. SSD는 다수의 NAND 플래시 메모리를 부착하고 호스트에서 요구하는 명령을 받아 수행하는 대용량 장치이다. 이러한 SSD는 비휘발성, 빠른 성능, 내구성, 저전력 등의 장점으로 인해 시장에서 널리 사용되고 있다. 그러나 이러한 SSD의 장점들에도 불구하고 읽기, 쓰기, 삭제 연산 수행 시간의 비대칭성과 불균등한 기본단위, 덮어쓰기 연산의 불가, 한정된 블록 당 삭제횟수 등의 NAND 플래시 메모리의 내재적 단점들이 존재한다. 그 중 NAND 플래시 메모리의 블록 당 한정된 삭제 횟수는 SSD의 수명에 영향을 끼치며 일정한 삭제 횟수를 초과하게 되면 안정성이 크게 떨어지게 되고 더 이상 사용이 불가능하게 된다. 따라서 본 논문에서는 클라우드 환경에서의 SSD에서 NAND 플래시 블록의 한정된 삭제 횟수에 따른 성능의 효율성을 향상시키기 위하여 중복 제거 기법을 적용한 SSD기반의 회복 효율성 최적화 시스템을 설계하였다.

  • PDF

Scope Minimization of Join Queries using a Range Window on Streaming XML Data (스트리밍 XML 데이타에서 영역 윈도우를 사용한 조인 질의의 범위 최소화 기법)

  • Park, Seog;Kim, Mi-Sun
    • Journal of KIISE:Databases
    • /
    • v.33 no.2
    • /
    • pp.224-238
    • /
    • 2006
  • As XML became the standard of data exchange in the internet, the needs for effective query processing for XML data in streaming environment is increasing. Applying the existing database technique which processes data with the unit of tuple to the streaming XML data causes the out-of-memory problem due to limited memory volume. Likewise the cost for searching query path and accessing specific data may be remarkably increased because of special structure of XML. In a word it is unreasonable to apply the existing database system to the streaming environment that processes query for partial data, not the whole one. Thus, it should be able to search partial streaming data that rapidly satisfies join predicate through using low-capacity memory, based on a store technique suitable to streaming XML data. In this thesis, in order to study the store technique for low-capacity memory, the PCDATA and the CDATA-related parts, which can be used as predicate on join query, were fetched and saved. In addition, in an attempt to compare rapid join predicates, the range window of streaming XML data was set with the object of selectively joining windows that satisfies the query, based on Cardinality * and + among the structure information of DTD.

Microcontroller-based Gesture Recognition using 1D CNN (1D CNN을 이용한 마이크로컨트롤러기반 제스처 인식)

  • Kim, Ji-Hye;Choi, Kwon-Taeg
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.01a
    • /
    • pp.219-220
    • /
    • 2021
  • 본 논문에서는 마이크로컨트롤러에서 6축 IMU 센서를 사용한 제스쳐를 인식하기 위한 최적화된 학습 방법을 제안한다. 6축 센서값을 119번 샘플링할 경우 특징 차원이 매우 크기 때문에 다층 신경망을 이용할 경우 학습파라미터가 마이크로컨트롤러의 메모리 허용량을 초과하게 된다. 본 논문은 성능은 유지하며 학습 파라미터 개수를 효과적으로 줄이기 위한 마이크로컨트롤러에 최적화된 1D CNN을 제안한다.

  • PDF