• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.658-667
• /
• 2017

DRAM 기반의 인메모리 캐시는 고비용으로 인해 용량을 늘리는 데에는 한계가 있다. 이를 위해 압축을 이용하여 더 많은 데이터를 캐시하는 기법들이 연구되어 왔다. 그러나 압축은 높은 처리부하와 반응 지연을 야기한다. 본 논문에서는 섀넌 엔트로피를 통해 파일의 압축률을 낮은 오버헤드를 통해 고속으로 예측하여, 높은 압축률을 가진 파일만 압축하는 선택적 압축 기법을 제안하였다. 또한 이를 파일시스템 내에서 실제 사용이 가능하도록 커널 레벨에서 파일 시스템을 위한 인메모리 캐시를 제공하도록 구현하였다. 실험 결과 선택적 압축 기법은 비 압축에 비해 약 18%의 실행시간 감소를 보이며, 전체 캐시 데이터 압축 방법에 비해서도 캐시 히트율의 감소에 의한 성능하락을 최소화 시키고, 동시에 압축에 대한 오버헤드를 줄여, 7.5%의 실행시간을 감소시킬 수 있음을 보였다. 또한 압축에 사용되는 CPU사용시간을 모두 압축 했을 때와 비교하여 28%감소시킬 수 있음을 보여주었다.

• 정보처리학회논문지D
• /
• 제16D권1호
• /
• pp.27-42
• /
• 2009

유비쿼터스 컴퓨팅의 실현을 위해서는 이동 디바이스 등 클라이언트의 제약된 자원을 효율적으로 사용하는 기법이 요구된다. 메모리 용량이 크지 않은 이동 디바이스의 경우, 대용량 XML 데이터에 대한 질의 처리를 수행하기 위해서는 XML 스트림 질의 처리 기술의 활용이 필수적이다. 최근에 서버에서 XML 문서를 XML 조각(XML fragment)으로 분할하여 스트리밍하고 클라이언트에서 이 조각 스트림을 받아 질의를 처리하는 기법들이 제안되었다. XML 조각 스트림 질의 처리에 있어 XML 문서가 분할되는 방법에 따라 자원 사용(질의 처리 시간 및 메모리 사용량) 면에서 큰 차이가 날 수 있기 때문에 효율적인 XML 문서 분할 방법이 요구된다. 본 논문에서는 클라이언트의 질의 처리 시 자원 사용 효율을 높이기 위한 XML 문서 분할 기법을 제시한다. 이를 위하여 먼저 XML 조각 스트림 질의 처리의 비용 모델을 제시하고, 자원 효율적인 XML 문서 분할 알고리즘을 제시한다. 구현 및 성능 평가 결과 본 논문에서 제시한 기법이 기존 기법들에 비해 질의 처리 시간 및 메모리 사용량 양면 모두에서 우수한 것으로 나타났다. 본 논문의 기여는 XML 조각 스트림 질의 처리 기술의 실용화 가능성을 기존 기술에 비해 한 층더 높였다는 데 있다.

• 대한산업공학회지
• /
• 제24권4호
• /
• pp.661-671
• /
• 1998

It is important to minimize the number of disk accesses which is necessary to transfer data in disk into main memory when processing transactions in physical database design. A vertical file partitioning method is used to reduce the number of disk accesses by partitioning relations vertically and accessing only necessay fragments. In this paper, SOFM(Self-Organizing Feature Maps) network is used to solve vertical partitioning problems. This paper shows that SOFM network is efficient in solving vertical partitioning problem by comparing approximate solution of SOFM network with optimal solution of N-ary branch and bound method. And this paper presents a heuristic algorithm for allocating duplicate attributes to vertically partitioned fragments. As branch and bound method requires particularly much computing time to solve large-sized problems, it is shown that SOFM network is able to overcome this limitation of branch and bound method and solve large-sized problems efficiently in a short time.

• 대한공간정보학회지
• /
• 제17권4호
• /
• pp.61-66
• /
• 2009

본 연구는 넓은 지역의 DEM 생성 시 하드웨어 성능에 따라 자료를 부분적으로 처리해야 하는 불편을 개선하고 DEM의 정밀도를 개선하는 것에 그 목적이 있다. 본 연구에서 개발된 DEM Generator 프로그램은 대용량 LiDAR 자료, 수치지형도 자료에 스트리밍 방식을 적용하여 인덱싱 및 델로니 삼각망 생성을 수행하고, Natural Neighborhood 또는 TIN 보간법을 적용한 가상 파일을 생성하여 특정한 해상도로 대규모 지역의 DEM 및 음영기 복도를 효율적으로 생성하도록 설계되었다. 최종적으로 생성된 DEM 및 음영기복도는 GeoTIFF 포맷으로 제공된다. DEM Generator 프로그램은 GIS, 기상, 환경 분석 등 넓은 지역의 DEM 생성이 필요한 분야에서 기존의 부분적인 DEM 생성 및 인접 처리 과정에 의해 발생했던 시간적 경제적 손실을 절감시킬 수 있을 것으로 판단되며, 추가적인 인접 및 수정 작업이 불필요하여 DEM의 정밀도를 높일 수 있을 것으로 판단된다.

• JSTS:Journal of Semiconductor Technology and Science
• /
• 제16권1호
• /
• pp.44-57
• /
• 2016

Rectification is used as a preprocessing to reduce the computation complexity of disparity estimation. However, rectification also requires a complex computation. To minimize the computing complexity, rectification using a lookup-table (R-LUT) has been introduced. However, since, the R-LUT consumes large amount of memory, rectification with compressed LUT (R-CLUT) has been introduced. However, the more we reduce the memory consumption, the more we need decoding overhead. Therefore, we need to attain an acceptable trade-off between the size of LUT and decoding overhead. In this paper, we present such a trade-off by adaptively combining simple coding methods, such as differential coding, modified run-length coding (MRLE), and Huffman coding. Differential coding is applied to transform coordinate data into a differential form in order to further improve the coding efficiency along with Huffman coding for better stability and MRLE for better performance. Our experimental results verified that our coding scheme yields high performance with maintaining robustness. Our method showed about ranging from 1 % to 16 % lower average inverse of compression ratio than the existing methods. Moreover, we maintained low latency with tolerable hardware overhead for real-time implementation.

• 정보처리학회논문지D
• /
• 제15D권6호
• /
• pp.741-754
• /
• 2008

지속적으로 확장되는 데이터 스트림에 대한 데이터 마이닝 수행과정에서는 메모리 사용량을 가용한 범위 내로 제한하는 것이 중요한 요소이다. 본 논문에서는 데이터 스트림 환경에서 한정된 메모리 공간을 이용하여 빈발 항목집합을 탐색하는데 효과적인 프라임 패턴 트리(Prime pattern tree: PPT)구조를 제안한다. 프라임 패턴 트리는 기존의 전위 트리 구조와 비교하여 항목집합들을 하나의 노드로 관리함으로써 트리의 크기를 크게 줄일 수 있는 장점이 있다. 또한, 전지 임계값 $S_{\delta}$에 따라 노드를 병합하거나 분리하여 동적으로 트리의 크기와 결과 집합의 정확도를 마이닝 수행 중에 조절 할 수 있다. $S_{\delta}$값이 크면 한 노드에서 관리되는 항목집합의 수가 증가하게 되고, 출현 빈도수를 추정해야 하기 때문에, $S_{\delta}$값이 작을수록 결과집합의 정확도가 높다. 이처럼 PPT에는 트리의 크기와 정확도의 trade-off 가 존재한다. PPT의 이러한 특성에 기반하여, 데이터 스트림에서 갑자기 데이터 집합에 변화가 생겨 빈발항목이 될 가능성이 높은 항목들이 많이 출현하는 경우에도 마이닝을 지속적으로 수행할 수 있도록 지원한다. 본 논문에서는 프라임 패턴 트리를 이전 연구에서 제안한 데이터 스트림에서 최근 빈발 항목 탐색 방법인 estDec 방법에 적용하여 한정된 작은 양의 메모리 공간을 이용하여 온라인 데이터 스트림에서 빈발항목을 탐색하는 방법을 제시한다. 또한, 가용 메모리 범위에서 최적의 메모리를 사용하여 최적의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량에 대한 적응적 방법을 제시한다. 끝으로, 여러 실험을 통한 효율성 검증을 통해 제안된 방법의 여러 특성을 확인한다.

• 정보과학회 논문지
• /
• 제42권4호
• /
• pp.522-529
• /
• 2015

다차원의 데이터를 색인하기 위해 처음 R-tree가 제안된 이후 다양한 방법으로 질의 성능을 향상시키기 위한 많은 연구가 이루어졌다. 그 가운데 다중프로세서를 이용한 병렬 기법으로 질의 성능을 향상시킨 GPU기반의 R-tree가 제안되었다. 하지만 GPU가 갖는 물리적 메모리 크기의 한계가 있어 데이터의 크기가 제한된다. 이에 본 논문에서는 다중 GPU를 이용한 R-tree의 병렬 범위 질의 처리 기법인 MGR-tree 제안한다. 제안하는 MGR-tree는 기존의 GPU기반의 R-tree 질의 처리 기법을 기반으로 하여 다중 GPU에서 질의 처리를 가능하게 R-tree의 노드를 다중 GPU상에 분할하여 분산 처리 하였다. 실험을 통해 MGR-tree는 GPU에서의 선형검색에 비해 최대 9.1배, GPU기반 R-tree에 비해 최대 1.6배 가량의 성능이 향상된 것을 확인하였다.

• 응용통계연구
• /
• 제29권6호
• /
• pp.1077-1094
• /
• 2016

아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권6호
• /
• pp.732-736
• /
• 2010

대량의 데이터 처리 영역에 대한 중요성이 증가하는 가운데 다차원의 속성을 갖는 레코드에 대한 스캔을 필요로 하는 질의처리에 있어 SIMD 명령어 셋을 이용하여 보다 효율적인 스캔성능을 얻을 수 있다. 이러한 배경하에서 이 논문에서 제시하는 기법인 'SIMD 레코드 스캔'은 행-기반의 스캔으로 열-기반의 저장구조를 갖는 기존의 메모리 기반 데이터베이스 시스템에서 조건식 처리나 집계연산등에서의 연산성능을 높이기 위해 열에 종속적으로 SIMD 명령어를 이용하던 것과는 달리 다차원 속성들의 비교가 요구되는 레코드 스캔에서의 효율을 높일 수 있다. 이는 레지스터 및 시스템 메모리의 크기가 증가함에 따라 더 큰 성능향상을 가져올 수 있으며, 멀티코어 기반의 병렬화 기법과 독립적이므로 SIMD를 지원하는 단일 프로세서뿐 아니라 이들로 구성된 멀티코어 프로세서에도 기존 시스템이나 아키텍처를 변경하지 않고도 적용이 가능하다.

• 한국전자통신학회논문지
• /
• 제17권1호
• /
• pp.161-166
• /
• 2022

본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.