• 제목/요약/키워드: 메모리 효율

검색결과 1,782건 처리시간 0.025초

SWOSpark : 분산 처리 기반 공간 웹 객체 검색 시스템 (SWOSpark : Spatial Web Object Retrieval System based on Distributed Processing)

  • 양평우;남광우
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.53-60
    • /
    • 2018
  • 본 논문은 인 메모리 기반의 분산처리 시스템인 Spark를 이용하여 공간 웹 객체 검색 시스템을 구현한 논문이다. 소셜 네트워크의 발전은 방대한 양의 공간 웹 객체를 생성하게 되었고, 기존의 공간 웹 객체 검색 시스템을 이용한 데이터 검색이나 분석은 힘들어졌다. 최근에 분산처리 시스템의 발전은 대용량의 데이터를 빠르게 분석하고 검색하는 기능을 지원해준다. 따라서 대용량의 공간 웹 객체를 검색하기 위해서는 분산 처리 시스템을 이용한 방법이 필요하다. 분산 처리 시스템에서는 데이터가 블록 단위로 처리되고, 이러한 블록 하나를 Spark에서는 데이터를 RDD로 변환하여 처리한다. 본 논문에서는 위의 방법에 착안하여 전체 공간 영역을 기반으로 서로 겹치지 않는 공간영역으로 분할을 하고, 분할된 영역 하나당 하나의 파티션을 할당하고 각각의 파티션은 자신이 포함하고 있는 데이터에 대한 공간 웹 객체 인덱스로 구성하는 시스템을 제안한다. 즉, 본 논문에서는 공간 분할을 이용하여 분산처리 시스템을 효율적으로 이용하고, 분할된 공간에 대한 검색의 효율성을 높일 수 있는 시스템을 제안한다. 또한, 데이터의 검색을 위하여 공간 정보와 단어 정보를 같이 사용하여 인덱스를 구축하는 QP-tree를 적용한 방법과 공간 정보만을 이용하여 인덱스를 구축하는 R-tree를 적용한 방법과의 비교를 통하여 제안한 시스템이 공간 웹 객체의 검색에 더 우수한 성능을 보여주는 것을 확인할 수 있다.

실시간 위치 기반 서비스를 위한 확장 SLDS 설계 및 구현 (Design and Implementation of the Extended SLDS for Real-time Location Based Services)

  • 이승원;강홍구;홍동숙;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권2호
    • /
    • pp.47-56
    • /
    • 2005
  • 최근 이동 컴퓨팅 기술과 무선 측위 기술이 급속도로 발전하고 무선 인터넷이 보편화됨에 따라 이동체의 위치 정보를 활용하는 위치 기반 서비스(LBS: Location Based Service)가 다양한 분야에서 제공되고 있다. 위치 기반 서비스를 제공하기 위해서는 이동체의 위치 정보를 주기적으로 저장하는 위치 데이타 서버가 필요하다. 기존에는 이동체의 위치 데이타를 저장하기 위해서 GIS 서버를 사용해 왔다. 하지만 GIS 서버는 정적 데이타를 기반으로 설계되었기 때문에 이동체의 위치 데이타를 저장하는데 적합하지 않다. 따라서, 본 논문에서는 이동체의 위치 데이타를 관리하기 위해 제안된 클러스터 기반 분산 컴퓨팅 구조를 갖는 GALIS(Gracefully Aging Location Information System) 아키텍처의 서브 시스템인 SLDS(Short-term Location Data Subsystem)를 확장하여 실시간 위치 기반 서비스를 위한 확장 SLDS를 설계 및 구현하였다. 확장 SLDS는 TMO(Time-triggered Message-triggered Object) 프로그래밍 기법을 이용하여 위치 데이타 처리의 실시간성을 보장하며, 이동체 데이타를 다수의 노드에 적절히 분산시킴으로써 대용량 위치 데이타를 효율적으로 관리할 수 있다. 그리고, 메인메모리에서 위치 데이타를 관리하기 때문에 검색 및 갱신 오버헤드가 적다. 또한, 실험을 통하여 확장 SLDS는 기존에 제시된 SLDS 보다 더 효율적인 저장과 부하 분산을 수행한다는 것을 확인하였다.

  • PDF

이동통신 HLR 시스템에서의 효과적인 색인 및 백업 기법 (Effective Index and Backup Techniques for HLR System in Mobile Networks)

  • 김장환;이충세
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권1호
    • /
    • pp.33-46
    • /
    • 2003
  • HLR system은 이동전화 망에서 지속적으로 변하는 개별 가입자의 위치 정보를 관리한다. 이를 수행하기 위해, HLR database system은 table 관리 기능과 색인 관리 기능, 그리고 백업 관리 기능을 제공한다. 본 논문에서는, 이동 전화 번호(MDN : Mobile Directory Number)를 위한 적절한 객인 기법으로서 이단계 색인 기법의 사용과, 단말번호(ESN : Electronic Serial Number)를 위한 버켓 연결 해슁 기법을 제안한다. 이동 전화 번호(MDN)와 단말번호(ESN)는 HLR database system에서 key로 사용된다. 또한 HLR database transaction의 특성을 고려한 효율적인 백업 방법을 제안한다. 이단계 색인 기법은 기존의 T 트리 색인 기법보다 검색 속도와 기억 공간 사용 효율 측면에서 우수하다. 버켓 연결 해슁 기법은 기존의 변형된 선형 해슁 기법보다 삽입과 삭제 시의 오버헤드가 적다. 제안한 백업 방법에서는, 빈번한 위치 등록 기능 수행으로 인해 야기되는 성능 저하 문제론 해결하기 위해 두가지 종류의 갱신 플래그를 사용하였다. 100만 가입자 수용시. 제안 기법을 사용하게 되련 기존 기법보다 메모리 사용량 절감(62% 이상), 디렉토리 증가 작업(25만 번 이상)제거, 백업 작업 감소(80% 이상)를 제공받게 된다.

가상 절점을 이용한 적층 구조물의 페리다이나믹 층간 결합 모델링 검토 (Study on Peridynamic Interlayer Modeling for Multilayered Structures)

  • 안태식;하윤도
    • 한국전산구조공학회논문집
    • /
    • 제30권5호
    • /
    • pp.389-396
    • /
    • 2017
  • 결합 기반 페리다이나믹 모델은 취성재료의 동적파괴 해석에 많이 이용되고 있으며, 최근의 연구(Bobaru et al., 2012)를 통해 적층유리 구조물의 동적 파괴 패턴 분석에도 활용되었다. 특히 실험(Bless et al., 2010)에서 나타난 적층유리 구조물의 다양한 손상 형태(압축 영역, Floret, Hertz-type 균열 등)를 결합 기반 페리다이나믹 시뮬레이션을 이용하여 구현하였다. 그러나 실제 적층 구조물은 각 유리판 사이를 탄성이 있는 층간 재료로 결합하는 반면, 기존의 페리다이나믹 수치 시뮬레이션에서는 층간 재료 결합을 무시하고 각 유리판이 직접 결속되도록 가정하여 층간 재료 효과가 무시되었다. 본 연구에서는 페리다이나믹 층간 재료 모델링을 통해 실제 적층 구조물에 보다 근접한 페리다이나믹 수치 해석 모델을 제안한다. 일반적으로 층간 재료는 매우 얇기 때문에 층간 재료를 명시적으로 모델링할 경우 많은 해석시간과 메모리가 소모되어 비효율적이다. 따라서 본 연구에서는 명시적 모델링을 대신하여 가상 절점을 통해 층간 재료를 모델링한다. 수치 예제를 통해 제안된 층간 재료 모델링의 효율성 및 정확성을 검토한다. 또한 압축 상태의 적층 구조물 해석을 위해 단거리 상호작용력에 기반한 투과 방지 기법을 도입하고 파라미터 테스트를 통해 검증한다.

비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐 (Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving)

  • 이병엽;박재열;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제15권5호
    • /
    • pp.570-581
    • /
    • 2015
  • 최근 많은 기관들로부터 클라우드 서비스, 빅 데이터가 향후 대세적인 IT 트렌드 및 확고한 기술로서 예견되고 있다. 또한 현재 IT를 선도하는 많은 벤더를 중심으로 클라우드, 빅데이터에 대한 실질적인 솔루션과 서비스를 제공하고 있다. 이러한 기술들은 기업의 비용절감 측면에서, 클라우드는 인터넷 기반의 다양한 기술들을 기반으로 비즈니스 모델에 대한 자원의 사용을 자유스럽게 선택할 수 있는 장점을 가지고 있어 능동적인 자원 확장을 위한 프로비져닝 기술과 가상화 기술들이 주요한 기술로 주목 받고 있다. 또한 빅데이터는 그동안 분석하지 못했던 새로운 비정형 데이터들에 대한 분석 환경을 제공함으로서 데이터 예측모델의 차원을 한층 높이고 있다. 하지만 클라우드 서비스, 빅데이터의 공통점은 대용량 데이터를 기반으로 서비스 또는 분석을 요하고 있어, 초기 발전 모델부터 대용량 데이터의 효율적인 운영 및 설계가 중요하게 대두 되고 있다. 따라서 본 논문에 클라우드, 빅데이터 서비스를 위한 대용량 데이터 기술 요건들을 토대로 데이터 처리 아키텍처를 정립하고자 한다. 특히, 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술요건을 소개하고, 빅데이터, 클라우드의 대용량 데이터를 비용절감 측면에서 효율적인 압축기술 요건들을 제시한다.

부호책 제한을 가지는 표본 적응 프로덕트 양자기를 이용한 1차 마르코프 과정의 고 전송률 양자화 (High Bit-Rates Quantization of the First-Order Markov Process Based on a Codebook-Constrained Sample-Adaptive Product Quantizers)

  • 김동식
    • 대한전자공학회논문지SP
    • /
    • 제49권1호
    • /
    • pp.19-30
    • /
    • 2012
  • 디지털 신호의 양을 줄이기 위한 손실 소스 부호화에서 양자화는 필수적이다. 이때 보다 효율적인 양자화를 위해서는 벡터양자기(vector quantizer: VQ)를 사용하는데, 벡터의 차수 또는 전송률이 올라감에 따라 VQ의 부호화 복잡도는 기하급수적으로 증가한다. 이를 보완하기 위하여 여러 변형된 VQ가 제안되어 있다. 이러한 변형된 VQ의 일종으로 표본 적응 프로덕트 양자기(sample-adaptive product quantizer: SAPQ)가 있는데, 벡터의 차수를 줄여서 부호화 복잡도를 줄일 수 있는 프로덕트 VQ(product VQ: PQ)와 유사한 구조를 가지지만, 일반 PQ보다 더 좋은 성능을 가지면서 일반 VQ보다는 부호화 복잡도가 낮고 부호책을 위한 메모리의 크기도 작은 일종의 구조적 제한을 가지는 VQ이다. 이러한 SAPQ 중에서 부호책의 구조가 양자화 공간의 대각선에 대칭 형태를 가지는 단순한 형태의 1-SAPQ가 있는데, 이러한 1-SAPQ의 성능은 동일한 분포를 가지며 서로 독립인 입력에 좋은 성능을 보인다. 본 논문에서는 1-SAPQ를 1차 마르코프 과정에 대하여 설계하고 그 성능을 평가하였다. 효율적인 1-SAPQ의 설계를 위하여 초기 부호책 설계 알고리듬을 제안하였으며, 수치해석을 통하여 1-SAPQ는 비슷한 부호화 복잡도를 가지는 VQ보다 좋은 성능을 보임을 보였다. 또한 DPCM(differential pulse coded modulation) 기법에 Lloyd-Max 양자화를 사용한 경우의 성능에 근접함을 보였다.

고성능 HEVC 부호기를 위한 루프 내 필터 하드웨어 설계 (Hardware Design of In-loop Filter for High Performance HEVC Encoder)

  • 박승용;임준성;류광기
    • 한국정보통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.335-342
    • /
    • 2016
  • 본 논문에서는 고성능 HEVC(High Efficiency Video Coding) 부호기를 위한 루프 내 필터의 효율적인 하드웨어 구조를 제안한다. HEVC는 양자화 에러가 발생하는 복원 영상에서 화질을 향상시키기 위해 디블록킹 필터와 SAO(Sample Adaptive Offset)으로 구성된 루프 내 필터를 사용한다. 그러나 루프 내 필터는 추가적인 연산으로 인하여 부호기와 복호기의 복잡도가 증가되는 원인이 된다. 제안하는 루프 내 필터 하드웨어 구조는 수행 사이클 감소를 위해 디블록킹 필터와 SAO를 3단 파이프라인으로 구현되었다. 또한 제안하는 디블록킹 필터는 6단 파이프라인 구조로 구현되었으며, 효율적인 참조 메모리 구조를 위해 새로운 필터링 순서로 수행된다. 제안하는 SAO는 화소들의 처리를 간소화하며 수행 사이클을 감소시키기 위해 한번에 6개의 화소를 병렬 처리된다. 제안하는 루프 내 필터 하드웨어 구조는 Verilog HDL로 설계되었으며, TSMC $0.13{\mu}m$ CMOS 표준 셀 라이브러리를 사용하여 합성한 결과 약 131K개의 게이트로 구현되었다. 또한 164MHz의 동작 주파수에서 4K@60fps의 실시간 처리가 가능하며, 최대 동작 주파수는 416MHz이다.

DHP 연관 규칙 탐사 알고리즘을 위한 해싱 메커니즘 최적화 (An Optimization of Hashing Mechanism for the DHP Association Rules Mining Algorithm)

  • 이형봉;권기현
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권8호
    • /
    • pp.13-21
    • /
    • 2010
  • DHP 연관 규칙 탐사 알고리즘의 가장 큰 특징은 단계 k-1에서 k 개의 항목으로 구성된 해시 키 조합에 대한 계수를 미리 실시하고, 이를 단계 k에서 후보 빈발 항목 집합을 구성할 때 전지 정보로 활용하여 그 크기를 줄임으로써 성능을 개선한다는 점에 있다. 이 때, 모든 해시 키 조합에 대한 계수를 독립적으로 관리할 수 있다면 가장 이상적이나, 메모리 소요가 너무 많으므로 여러 개의 해시 키 조합들이 계수 공간을 공유하는 직접 해싱 메커니즘을 활용한다. 그러나, 연관 규칙 탐사 알고리즘의 특성상 해시 키 조합의 분포 공간이 불규칙하여 해싱 함수에 일반적인 단순 제산 연산을 사용할 경우 직접 해싱의 효율이 저하된다. 이 논문에서는 단계 3을 위한 길이 3인 해시 키 공간을 연속되는 정수 공간으로 사상하여 직접 해싱의 효율을 극대화시키는 사상 완전 해싱 함수를 제안한다. 42개의 시험 데이터 유형을 대상으로 실험한 결과 제안된 해싱 함수는 기존 방법보다 평균 7.3%, 최대 16.9%의 성능 개선 효과가 있는 것으로 나타났고, 특히 평균 거래 길이, 평균 빈발 항목 집합의 크, 전체 항목의 개수 등이 클수록 성능 개선 정도가 높았다.

플래시 변환 계층에서 시간적 지역성을 이용하여 쓰기 요청을 처리하는 효율적인 페이지 레벨 매핑 알고리듬 (An Efficient Page-Level Mapping Algorithm for Handling Write Requests in the Flash Translation Layer by Exploiting Temporal Locality)

  • 이해룡;황선영
    • 한국통신학회논문지
    • /
    • 제41권10호
    • /
    • pp.1167-1175
    • /
    • 2016
  • 본 논문에서는 플래시 메모리의 FTL에서 페이지 매핑 기법을 기반으로 소거횟수를 줄이는 알고리듬을 제안한다. 제안된 알고리듬은 버퍼에서 매 쓰기요청들의 가중치들을 유지하고 이용하여 현재 쓰여질 요청의 시간적 지역성의 정도를 판단한다. 시간적 지역성을 효율적으로 이용하여 핫 요청을 판단하기 위해 현재 쓰여질 요청은 실험적으로 정한 기준점보다 높은 시간적 지역성을 가져야 한다. 반면 LRU 알고리듬을 이용한 FTL에서는 새로 쓰여질 요청을 항상 시간적 지역성이 높은 요청으로 판단하여 데이터를 순차적으로 저장하지만 제안된 알고리듬을 사용하여 판단된 핫 요청들의 데이터는 핫 블록에 집중적으로 저장한다. 핫 블록에 저장된 데이터들은 웜 블록의 데이터들보다 자주 업데이트되어 Garbage Collection 수행 시 핫 블록들 중 무효한 페이지가 많은 블록이 주로 희생블록으로 선택되므로 소거연산의 시작을 지연시켜 전체 소거횟수를 줄인다. 임의적인 요청을 위주로 하는 실제 I/O시스템에서 추출한 트레이스 파일들을 적용하여 검증한 결과, 기존의 LRU 알고리듬을 사용하는 경우에 비해 소거횟수는 9.3% 줄어들었다.

모바일 IP 스토리지 상에서 멀티미디어 컨텐츠 실행을 위한 효율적인 무선랜 장치 전력제어 기법 (An Efficient WLAN Device Power Control Technique for Streaming Multimedia Contents over Mobile IP Storage)

  • 남영진;최민석
    • 정보처리학회논문지A
    • /
    • 제16A권5호
    • /
    • pp.357-368
    • /
    • 2009
  • 플래시 메모리와 하드디스크의 저장 공간 제약을 문제를 극복하기 위한 방법으로 모바일 IP 스토리지가 제안되었다. 모바일 IP 스토리지는 무선 IP 네트워크를 통하여 모바일 장치에 거의 무제한적인 저장 공간을 제공한다. 하지만, 모바일 IP 스토리지를 이용한 멀티미디어 컨텐츠 스트리밍 시 무선랜 장치의 지속적인 전력소모로 인해 모바일 장치의 배터리 수명이 급격히 감소하는 문제가 발생한다. 본 논문에서는 모바일 IP 스토리지를 통하여 멀티미디어 컨텐츠를 실행할 시에 무선랜 장치의 전력을 효율적으로 제어할 수 있는 기법을 제안한다. 제안된 기법은 선반입 버퍼 입출력 모듈, 무선랜 장치 전력제어 모듈, 선반입 버퍼 재구성 모듈로 구성되어 있다. 또한, 제안된 기법은 멀티미디어 컨텐츠의 품질에 적응적으로 선반입 버퍼의 크기를 자동적으로 결정하고 멀티미디어 컨텐츠가 실행되는 동안 On-Off 동작을 기반으로 무선랜 장치 전력 상태를 동적으로 제어한다. 제안된 기법의 성능을 임베디드 리눅스 2.6.11, 인텔 iSCSI 참조코드, 무선랜 장치를 이용하는 PXA270기반 모바일 장치 상에서 평가한다. 다양한 실험을 통하여 제안된 기법이 전력제어를 하지 않을 때에 비해 QVGA급 멀티미디어 컨텐츠 실행 시 무선랜 카드의 에너지 소모를 최대 8.5배 정도 감소시킴을 보인다.