• 제목/요약/키워드: 메모리기반 프레임워크

검색결과 43건 처리시간 0.037초

스마트폰에서의 실시간 영상처리를 위한 GPGPU 기반 프레임워크 구축 (GPGPU Based Real-Time Image Processing Framework on a Smartphone)

  • 이만희;강승헌;박인규
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2012년도 추계학술대회
    • /
    • pp.17-18
    • /
    • 2012
  • 본 논문에서는 스마트폰에서 해당 기기에 장착된 카메라로부터 실시간으로 입력되는 프리뷰 영상에 대하여 실시간으로 영상처리를 수행할 수 있는 프레임워크를 제안한다. 본 논문에서 제안하는 프레임워크의 경우 OpenGL ES 2.0 기반의 Shading Language 를 이용하여 모바일 GPU 에서 병렬처리를 수행함으로써 영상처리 알고리즘을 고속으로 적용할 수 있으며, 매 프레임의 입력 영상을 텍스처로 지정하고 연산 결과가 저장된 프레임 버퍼의 내용을 그대로 화면에 출력함으로써 메인 메모리와 GPU 메모리 사이의 자료 이동을 최소화 하였다. 현재 상용화 된 스마트폰에 제안하는 프레임워크를 이용하여 적용시킨 결과 필터링 기반의 여러 가지 영상처리 알고리즘의 실시간 처리가 가능함을 보여줌으로써 본 논문에서 제안하는 프레임워크의 실시간 활용을 확인할 수 있다.

  • PDF

메모리 기반 빅데이터 처리 프레임워크의 성능개선 연구 (An Empirical Evaluation Analysis of the Performance of In-memory Bigdata Processing Platform)

  • 이재환;최준;구동훈
    • 한국산업정보학회논문지
    • /
    • 제21권3호
    • /
    • pp.13-19
    • /
    • 2016
  • 최근에 실시간 처리를 위해 메모리 기반의 빅데이터 처리 프레임 워크인 스파크가 널리 사용되고 있다. 스파크는 프로그램이 필요로 하는 중간 데이터를 모두 메모리에 올려놓아, I/O 수행을 최소화함으로써 빠른 응답을 가져올 수 있다. 그러나 응용프로그램의 메모리 사용량이 클러스터의 실제 메모리의 량보다 많을 경우, 최적의 성능을 기대하기 어렵다. 본 논문에서는 메모리 사용량이 많은 페이지랭크 응용 프로그램에서 병목이 되는 현상을 실험을 통해 그 요인에 대해 분석하고, 스파크와 함께 타키온을 구성해서 메모리의 효율적 사용을 통해 병목의 요인을 해결하여 18%의 성능향상을 하였다.

스토리지 클래스 메모리에서의 파일 접근 설계 (A Design for File Access in Storage Class Memory-based Computer Systems)

  • 박성민;원유집;강수용
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권2호
    • /
    • pp.247-254
    • /
    • 2013
  • PRAM, FRAM, MRAM 등 스토리지 클래스 메모리(SCM)는 가까운 미래에 접근 속도는 DRAM에 용량은 플래시 메모리에 근접할 것으로 예상된다. 따라서 SCM이 컴퓨터 시스템에서 메모리(DRAM)뿐만 아니라 스토리지(하드디스크 혹은 플래시 메모리)를 대체할 수 있을 것이다. 이 논문에서는 SCM 기반 컴퓨터 시스템을 위한 효율적인 파일 접근 프레임워크를 제안한다. 제안하는 프레임워크는 SCM에 파일 저장을 위한 영역과 메모리 사용을 위한 영역을 구분하지 않는다. 또한 제안하는 프레임워크는 파일 관리를 위하여 단일 데이터 접근 경로, 파일 매핑을 통한 제로 카피 데이터 읽기, 카피 온 라이트 기반 데이터 쓰기, 다수 페이지 프리 폴팅 등 다양한 메모리 관련 기술들을 사용한다. 주요 실험 결과를 통해서 논문에서 제안하는 프레임워크는 SCM 기반 컴퓨터 시스템의 운영체제 디자인을 위한 초석이 될 것이다.

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

P2P 기반 분산 워크플로우 프레임워크 (Distributed Workflow Framework based on Peer to Peer)

  • 이이섭;박수현;백두권
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.692-694
    • /
    • 2003
  • 본 논문에서는 기존의 워크플로우 표준 및 구현방법에 대한 장단점을 정리하고 최근에 각광을 받고 있는 P2P기술을 기반으로 하는 워크플로우 시스템에 대하여 제안하고자 한다. P2P기술은 각 피어의 자원을 최대로 활용하여 서버의 부하를 줄여주는 장점을 갖고 있었으나, 파일 공유 정도의 단순한 상호 작용 기능만 제공되고 있다. 복잡한 형태의 상호 작용을 요구하는 워크플로우를 지원할 수 있는 구조를 제시함으로서, C/S, CORBA, HTTP 보다 완벽하게 분산된 구조의 워크를로우 시스템을 구축할 수 있게 되었다. 이러한 워크를로우은 보다 확장성 있고 견고하고 고성능을 제공하게 된다. 또한 본 연구에서는 확장성. 성능, 그리고 메모리 요구량에 대하여 기존 시스템과 비교하였다.

  • PDF

GPU 컨테이너 동시 실행에 따른 응용의 간섭 측정 프레임워크 설계 (A design of GPU container co-execution framework measuring interference among applications)

  • 김세진;김윤희
    • KNOM Review
    • /
    • 제23권1호
    • /
    • pp.43-50
    • /
    • 2020
  • 범용 그래픽 처리 장치(General Purpose Graphics Processing Unit, GPGPU)는 최근 고성능 컴퓨팅에서 중요한 역할을 함으로써, 여러 클라우드 서비스 공급업체들은 GPU 서비스를 제공하기 시작했다. 컨테이너를 사용하는 클라우드 환경에서 대부분의 클러스터 오케스트레이션 플랫폼은 정수 개의 GPU를 작업에 할당하고 다른 작업과 이를 공유하는 것을 허용하지 않는다. 이 경우 작업이 GPU에서 코어 및 메모리 등 자원이 집중적으로 필요하지 않다면 GPU 노드의 리소스 사용률이 저하될 수 있다. GPU 가상화는 응용의 동시 수행을 가능하게 하며 자원을 공유할 수 있는 기회를 제공한다. 하지만 응용의 동시 수행 성능은 동시 수행되는 응용의 특성과 노드 안에서 자원 경쟁으로 인한 간섭에 따라 달라질 수 있다. 본 논문은 컨테이너 오케스트레이션 플랫폼인 쿠버네티스(Kubernetes)를 기반으로 다중 서버 생성 및 실행을 통하여 GPU를 공유함으로써 발생할 수 있는 간섭을 측정하기 위한 프레임워크를 제안한다. 본 프레임워크를 통해 다양한 스케줄링 방법으로 GPU에서 여러 작업을 실행함으로써 이에 따른 성능 변화를 조사하였으며, 이를 통해 GPU 메모리 사용량 및 컴퓨팅 리소스만 고려해서는 최적의 스케줄링을 할 수 없음을 보인다. 마지막으로 해당 프레임워크를 사용하여 응용들의 동시 실행에 따라 발생한 간섭을 측정한다.

이미지 빅데이터를 고려한 하둡 플랫폼 환경에서 GPU 기반의 얼굴 검출 시스템 (A GPU-enabled Face Detection System in the Hadoop Platform Considering Big Data for Images)

  • 배유석;박종열
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.20-25
    • /
    • 2016
  • 디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

클라우드 기반 머신러닝 서비스 보안 프레임워크 (A Security Framework for ML service based on Cloud)

  • 서한결;강동윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.192-195
    • /
    • 2021
  • AI 모델 서비스 제공에 강제되는 높은 메모리 사용량을 해결하기 위해 일반적으로 클라우드 컴퓨팅 기술을 이용한다. 클라우드 기반 서비스는 개발자로 하여금 메모리 사용량에 대한 걱정을 덜어주고 서비스 이용자에게는 편리하게 양질의 서비스를 제공받을 수 있게 한다. 하지만 보안 대책이 미흡한 클라우드 서비스는 서비스를 제공받아 얻는 이익만을 생각하기에는 보안사고로 인한 피해가 막대할 수 있다. AI 기술이 인간의 삶에 깊이 파고든 현 상황에서 우리가 대부분 이용하는 클라우드에 기반 서비스의 보안 문제는 그 중요도가 굉장히 높다고 할 수 있다. 이를 위해 본 논문에서는 클라우드 기반 머신러닝 서비스를 분석하여 어떤 공격이 이루어질 수 있는지 분석하고 그에 대한 연구된 방어법들의 효과를 확인하여 효과적인 것들을 선별하고 접목시키는 시도를 한다.

자원인자 기반 스케줄링 프레임워크 (Resource Scheduling Framework based on Resource Parameter Graph)

  • 배재환;권성호;김덕수;이강우
    • 한국산업정보학회논문지
    • /
    • 제8권3호
    • /
    • pp.19-31
    • /
    • 2003
  • 대규모 환경의 고성능 그리드 구현을 위해서는 기존 그리드 자원 스케줄링 파라다임이 갖 성능 확장성 측면의 제한성을 극복할 수 있는 새로운 자원 스케줄링 프레임워크가 요구된다. 본 연구에서는 자원 스케줄링 성능 최적화를 목표로 자원인자 그래프(Resource Parameter Graph), 자원인자 인덱스 트리(Resource Parameter Index Tree), 그리고 정적 자원 정보 리포지터리로 구성되는 자원인자 스케줄링 프레임워크를 제안한다. 자원인자 그래프는 자원간의 관계 및 자원의 계층적 구성을 나타낼 수 있는 자원표현기법이며 이러한 표현을 기술하기 위한 XML 기반 자원정보 및 자원요청 기술 스키마를 설계하였다. 또한 자원인자 인덱스 트리는 자원 스케줄링의 자원탐색 및 자원할당, 상태정보 공지 등의 알고리즘의 효율적인 지원을 위한 메모리 기반 인덱스의 데이터 구조이다. 본 논문에서는 이러한 자원인자 스케줄링 프레임워크의 구성 내용에 대하여 기술한다.

  • PDF

EES 프레임워크를 위한 하이브리드 생산설비 데이터 습득 시스템(HEDAS)의 설계 및 구현 (Design and Implementation of a Hybrid Equipment Data Acquisition System(HEDAS) for Equipment Engineering System(EES) Framework)

  • 김경배
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.167-176
    • /
    • 2012
  • 본 논문은 장비엔지니어링 시스템(EES) 프레임워크에서 반도체와 광전자 제조장비를 위한 새로운 하이브리드 생산설비데이터 습득 시스템을 설계하고 구현한다. 장비엔지니어링 분야에서 장비로부터 수집되는 데이터 량이 급격히 증가하고 있다. 제안된 HEDAS(Hybrid Equipment Data Acquisition System)는 EES 프레임워크에서 발생하는 대용량의 실시간 데이터를 효율적으로 처리한다. 또한, 제안된 시스템은 실시간 EES 응용 뿐만 아니라 비실시간 EES 응용을 지원할 수 있다. 실시간 EES 응용을 위해서 HEDAS는 메모리 기반의 연속질의와 필터링 기술을 이용하여 고속의 실시간 처리를 수행한다. HEADS는 비 실시간 장비 데이터를 HEADS 기반의 데이터베이스 또는 기존의 데이터베이스에 선택적으로 저장할 수 있다. 특히, 급격하게 증가하는 장비 데이터에 대해 디스크 저장 비용을 절감하기 위해 타임스템프 기반의 압축 인덱싱과 질의처리 기법을 제공한다. HEDAS는 EES 프레임워크에서 대용량의 실시간 및 비 실시간 장비 데이터를 수집하여 다양한 EES 응용에 수집된 데이터를 전송할 수 있는 효율적인 시스템이다.