• 제목/요약/키워드: 메모리 초과 사용

검색결과 20건 처리시간 0.034초

쿠버네티스 환경에서 컨테이너 워크플로의 실행 시간 개선을 위한 컨테이너 재시작 감소 기법 (Technique to Reduce Container Restart for Improving Execution Time of Container Workflow in Kubernetes Environments)

  • 강태신;유헌창
    • 정보처리학회 논문지
    • /
    • 제13권3호
    • /
    • pp.91-101
    • /
    • 2024
  • 데이터 집약적이고 메모리 변동성이 높은 워크플로의 이식성 보장을 위해 컨테이너 가상화 기술이 사용되고 있다. 그리고 쿠버네티스는 이러한 컨테이너 애플리케이션들을 관리하기 위한 오케스트레이션 도구로써 사실상 표준으로 사용되고 있다. 클라우드 사용자는 리소스 부족으로 인한 컨테이너 재시작을 방지하기 위해 컨테이너 애플리케이션을 오버프로비저닝하는 경향이 있다. 그러나 과도한 오버프로비저닝은 CPU, 메모리 등 시스템 리소스의 사용량을 낮아지게 만든다. 이 문제를 해결하기 위해 컨테이너 리소스를 초과 사용하는 방식이 널리 사용되고 있으나, 지나친 메모리 리소스 초과 사용은 노드의 메모리 부족으로 인해 연쇄적인 컨테이너 재시작을 유발할 수 있다. 컨테이너 재시작 발생 시 작업을 처음부터 다시 시작해야 하므로 많은 상태저장 애플리케이션이 포함된 메모리 변동성이 높은 컨테이너에 큰 오버헤드를 유발할 수 있다. 본 논문은 쿠버네티스 환경에서 메모리 초과 사용 시 컨테이너 재시작을 완화하는 기법을 제안한다. 메모리 사용량이 많은 노드에서 메모리 할당을 요청할 가능성이 큰 컨테이너를 식별하고 이러한 컨테이너를 일시정지한다. 컨테이너의 CPU 사용량을 크게 줄이면 컨테이너가 일시정지하는 상태와 유사한 효과를 얻을 수 있다. 해당 노드의 메모리 사용량이 개선된 것으로 판단되면 컨테이너의 일시정지를 해제한다. 제안기법을 적용하여 쿠버네티스 환경에서 메모리 변동성이 높은 워크플로를 구동한 경우 제안기법을 사용하지 않았을 때에 비해 컨테이너의 재시작 횟수가 평균 40%, 최대 58% 감소하였다. 그리고 컨테이너 재시작 횟수 감소로 인해 컨테이너 워크플로의 총 실행 시간이 평균 7%, 최대 13% 단축되었다.

RPC 기반 GPU 가상화 환경에서 GPU 메모리의 초과 사용 시 발생하는 가상머신 사이의 성능 불균형 문제 분석 (Analyzing performance imbalance between virtual machines caused by excessive use of GPU memory in RPC-based GPU virtualization environments)

  • 강지훈;이재학;길준민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.113-114
    • /
    • 2019
  • 클라우드 환경에서는 가상머신의 고성능 연산을 지원하기 위해 Graphic Processing Unit(GPU)를 사용한다. 가상머신들은 공평성을 위해 독립적인 가상머신 스케줄러를 사용하기 때문에 컴퓨팅 자원의 초과 사용으로 인한 성능 저하가 발생해도 동일한 작업을 수행하는 가상머신들의 성능은 균등하게 측정된다. 하지만 GPU 연산의 경우 다중 작업을 수행할 때 하드웨어 기반 스케줄러를 사용하며 가상머신의 입출력 작업을 위한 하이퍼바이저의 First In First Out(FIFO) 기반 스케줄링 기법으로 인해 가상머신 사이의 공평성을 보장할 수 없다. 본 논문에서는 GPU 메모리를 초과 사용하는 환경에서 가상머신들의 성능을 측정하고 성능 불균형으로 인한 문제를 분석한다.

클러스터 컴퓨팅 시스템에서 CPU와 메모리 부하에 기반한 작업 부하 균등화 정책 (Load Balancing Policy Based on CPU and Memory Workload in Cluster Computing System)

  • 박말순;이원주;전창호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.385-387
    • /
    • 2003
  • 본 논문에서는 이질적인 클러스터 컴퓨팅시스템 에서 CPU와 메모리 자원을 효율적으로 사용하는 작업 부하 균등화 정책을 제안한다. 이 정책의 특징은 CPU부하 상태와 수행중인 작업의 메모리 요구량을 고려하여 작업을 동적으로 할당하는 것이다. 먼저 각 노드는 CPU와 메모리 사용량에 따라 과부하 상태가 아니면 작업을 할당받아 수행한다. 그리고 수행중인 작업의 메모리 요구량이 가용 메모리 크기를 초과하여 페이지 폴트가 발생하면 수행 중인 작업을 다른 노드로 이주시킴으로써 메모리 과부하에 따른 페이지 폴트 발생을 줄이고, 작업의 대기 시간과 수행시 간을 단축한다. 본 논문에서는 시뮬레이션을 통하여 제안한 작업부하 균등화 정책이 기존의 CPU 기반정책에 비해 시스템의 성능향상 면에서 유리함을 검증한다.

  • PDF

임베디드 시스템의 메모리 보호에 관한 연구 (A Study on Memory Protection for Embedded Systems)

  • 임도연;박익수;오병균;권오봉
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1483-1486
    • /
    • 2005
  • 일반적으로 응용 프로그램의 메모리 요구를 배치 전에 평가하는 것은 많은 어려움이 따르기 때문에 주기억장치의 부족을 초래한다. 또한 임베디드 시스템의 디스크와 가상 메모리의 결핍은 out-of-memory 에러가 발생할 때 응용이 확장되기 위한 swap 공간이 없어 시스템이 붕괴되고 가상 기억장소로부터의 보호가 없어 세그먼트가 그 바운드를 초과했다는 것조차 발견되지 않으므로 붕괴 전의 교정 동작이 불가능하게 한다. 시스템 붕괴가 치명적인 손실이 될 수 있는 임베디드 시스템에서 Out-of-memory 에러는 비신뢰성을 보이는 중요한 원인이 된다. 본 논문에서는 컴파일러에 의한 런타임 조사 코드를 사용함으로써 out-of-memory 에러들이 발생하기 바로 전에 발견하는 런타임 조사와 out-of-memory 이후 죽은 변수 같은 사용되지 않는 공간과 살아있는 변수의 압축으로 자유롭게 된 공간으로 스택이나 힙 세그먼트를 확장시키는 공간 재활용과 데이터 압축 기법으로 시스템 신뢰성을 개선하는 방법을 연구하였다.

  • PDF

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

DDMB 구조에서의 런타임 메모리 최적화 알고리즘 (Run-time Memory Optimization Algorithm for the DDMB Architecture)

  • 조정훈;백윤흥;권수현
    • 정보처리학회논문지A
    • /
    • 제13A권5호
    • /
    • pp.413-420
    • /
    • 2006
  • 대부분의 디지털 신호 처리기 (Digital Signal Processor)는 두 개 이상의 메모리 뱅크를 가지는 하버드 아키텍처 (Harvard architecture)를 지원한다. 다중 메모리 뱅크 중에서 하나는 프로그램용으로 나머지는 데이터용으로 사용하여 프로세서가 한 명령어 사이클에 메모리의 여러 데이터에 동시 접근을 가능하게 한다. 이전 연구에서 우리는 다중 메모리 뱅크에 효율적으로 데이터를 할당하는 방법에 대하여 논하였다. 본 논문에서는 이전 연구의 확장으로 런타임 메모리의 최적화에 대한 우리의 최근 연구에 대하여 소개한다. 듀얼 데이터 메모리 뱅3(Dual Data Memory Bank)를 효율적으로 이용하기 위해 각 메모리 뱅크에 할당된 변수를 관리하기 위한 독립적인 두 개의 런타임 스택이 필요하다. 프로시저에 대한 두 메모리 뱅크의 활성화 레코드(Activation Record)의 크기는 각 메모리 뱅크에 할당된 변수의 개수가 일정하지 않기 때문에 다를 수 있다. 따라서 여러 개의 프로시저가 연속으로 호출될 때 두 개의 런타임 스택의 크기가 크게 달라질 수 있다. 이러한 두 메모리 뱅크 사이의 불균형은 하나의 메모리에 여유 공간이 있음에도 불구하고 다른 하나의 메모리 뱅크의 사용량이 온칩 메모리(on-chip memory)범위를 초과하는 원인이 될 수 있다. 본 논문에서는 온칩 메모리를 효율적으로 사용하기 위해 두 런타임 스택의 균형 맞추기를 시도했다. 본 논문에서 제안하는 알고리즘은 상대적으로 단순하지만 효율적으로 런타임 메모리를 사용할 수 있다는 것을 실험결과를 통해 보여주고 있다.

컴팩트 플래시 지원을 위한 Windows CE 부트로더의 설계 및 구현 (A Design and Implementation of Windows CE Boot Loader to support Compact Flash)

  • 피무호;최종필;공기석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.931-933
    • /
    • 2005
  • Windows CE는 Microsoft사의 Windows 운영체제 가운데서 가장 작은 운영체제로서 일반 데스크톱 Windows 커널을 수용할 수 없는 소형/임베디드 장비에서 주로 사용되어진다. 현재 Windows CE에서 사용되고 있는 부트로더로는 E-boot(Ethernet bootloader)가 있으며 RAM 이미지와 플래시 이미지 다운로드 기능을 제공한다. E-boot의 문제점으로는 플래시 메모리상에서 부팅을 수행하기 때문에 NOR 타입의 플래시만을 지원하여, 컴팩트 플래시와 같은 NAND 타입의 플래시 지원하지 않는다. 이는 OS Binary 이미지의 용량이 NOR 플래시를 초과할 경우에 수행이 불가능하다는 문제를 발생시킨다. 따라서 본 논문에서는 기존의 E-boot를 수정하여 NDR 플래시보다 상대적으로 가격이 저렴하고 휴대성이 좋은 컴팩트 플래시 메모리를 이용하여 부팅이 가능한 부트로더를 구현한다. 또한 컴팩트 플래시 지원을 위한 새로운 읽기/쓰기 메카니즘을 소개한다.

  • PDF

클라우드 환경에서 중복 제거 기법을 적용한 SSD 기반의 회복 효율성 최적화 시스템 설계 (SSD Assisted Recovery Efficiency Optimization System Based on Deduplication Method in the Cloud)

  • 김민재;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.223-226
    • /
    • 2014
  • 클라우드 컴퓨팅 및 모바일 통신 서비스의 사용량이 급격히 증가함에 따라 데이터가 기하급수적으로 증가하고 있다. 이러한 데이터를 저장하는 스토리지 장치로서 소비 전력이 작으며 우수한 데이터 접근 성능을 보이는 SSD(Solid State Disk)가 각광받고 있다. SSD는 다수의 NAND 플래시 메모리를 부착하고 호스트에서 요구하는 명령을 받아 수행하는 대용량 장치이다. 이러한 SSD는 비휘발성, 빠른 성능, 내구성, 저전력 등의 장점으로 인해 시장에서 널리 사용되고 있다. 그러나 이러한 SSD의 장점들에도 불구하고 읽기, 쓰기, 삭제 연산 수행 시간의 비대칭성과 불균등한 기본단위, 덮어쓰기 연산의 불가, 한정된 블록 당 삭제횟수 등의 NAND 플래시 메모리의 내재적 단점들이 존재한다. 그 중 NAND 플래시 메모리의 블록 당 한정된 삭제 횟수는 SSD의 수명에 영향을 끼치며 일정한 삭제 횟수를 초과하게 되면 안정성이 크게 떨어지게 되고 더 이상 사용이 불가능하게 된다. 따라서 본 논문에서는 클라우드 환경에서의 SSD에서 NAND 플래시 블록의 한정된 삭제 횟수에 따른 성능의 효율성을 향상시키기 위하여 중복 제거 기법을 적용한 SSD기반의 회복 효율성 최적화 시스템을 설계하였다.

  • PDF

스트리밍 XML 데이타에서 영역 윈도우를 사용한 조인 질의의 범위 최소화 기법 (Scope Minimization of Join Queries using a Range Window on Streaming XML Data)

  • 박석;김미선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.224-238
    • /
    • 2006
  • XML이 인터넷 상에서 데이타 교환의 표준으로 자리매김하면서 스트리밍 환경의 XML 데이타에 대한 효과적인 조인 질의 처리도 증가하고 있다. 튜플 단위로 처리하는 기존의 데이타베이스 기법을 스트리밍 XML 데이타에 적용했을 때 제한된 메모리 사용에 따른 메모리 한계를 초과하는 문제가 발생한다. 또한 구조적인 특징을 가지는 XML 데이타에 대한 질의 경로 탐색 및 특정 부분 데이타에 대한 접근에 소모되는 처리 비용이 급격히 증가하는 문제가 발생하게 된다. 근본적으로 전체 데이타가 아닌 부분 데이타를 저장하고 질의 처리해야 하는 스트리밍 환경에 적용하기에는 부적절하다. 따라서 스트리밍 XML 데이타에 맞는 저장 기법으로 적은 메모리의 사용을 통해 빠르게 조인 프레디킷을 만족하는 부분 스트리밍 데이타를 검색할 수 있는 새로운 기법이 요구된다. 본 논문에서는 적은 메모리 사용을 위한 저장 기법을 위해 PCDATA와 CDATA에 해당되는 부분만을 추출하여 저장한다. 그리고 빠른 조인 프레디킷(Predicate) 비교를 위해 DTD의 구조정보 중 지시자(Cardinality) "*" 와 "+"를 기초하여 영역 윈도우(Range Window)를 설정하여 질의에 만족하는 윈도우만을 선택적으로 조인하는 기법을 제안하여 문제를 해결한다.

1D CNN을 이용한 마이크로컨트롤러기반 제스처 인식 (Microcontroller-based Gesture Recognition using 1D CNN)

  • 김지혜;최권택
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.219-220
    • /
    • 2021
  • 본 논문에서는 마이크로컨트롤러에서 6축 IMU 센서를 사용한 제스쳐를 인식하기 위한 최적화된 학습 방법을 제안한다. 6축 센서값을 119번 샘플링할 경우 특징 차원이 매우 크기 때문에 다층 신경망을 이용할 경우 학습파라미터가 마이크로컨트롤러의 메모리 허용량을 초과하게 된다. 본 논문은 성능은 유지하며 학습 파라미터 개수를 효과적으로 줄이기 위한 마이크로컨트롤러에 최적화된 1D CNN을 제안한다.

  • PDF