• 제목/요약/키워드: Memory Map

검색결과 220건 처리시간 0.025초

인메모리 기반의 클러스터 환경에서 분산 병렬 SWRL 추론에 대한 연구 (A Study on Distributed Parallel SWRL Inference in an In-Memory-Based Cluster Environment)

  • 이완곤;배석현;박영택
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.224-233
    • /
    • 2018
  • 최근 들어 대용량 온톨로지를 사용하여 분산 환경에서 사용자 정의 규칙을 기반으로 하는 SWRL 추론엔진에 대한 연구가 다양하게 진행되고 있다. 스키마를 기반으로 하는 공리 규칙과 다르게 SWRL 규칙들은 미리 효율적인 추론 순서를 정의할 수 없다. 또한 불필요한 반복과정으로 인해 많은 양의 네트워크 셔플링이 발생한다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 Map-Reduce 알고리즘과 인메모리 기반의 분산처리 프레임워크를 활용하여 동시에 여러 규칙을 추론할 수 있고, 클러스터의 노드간에 발생하는 데이터 셔플링의 양을 최소화할 수 있는 방법을 제안한다. 제안하는 방법의 성능을 측정하기 위해 약 2억 트리플로 구성된 WiseKB 온톨로지와 36개의 사용자 정의 규칙을 사용하여 실험을 진행했고 약 16분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 비교 실험에서 기존 연구보다 2.7배 높은 성능을 보였다.

Application of Statistical and Machine Learning Techniques for Habitat Potential Mapping of Siberian Roe Deer in South Korea

  • Lee, Saro;Rezaie, Fatemeh
    • Proceedings of the National Institute of Ecology of the Republic of Korea
    • /
    • 제2권1호
    • /
    • pp.1-14
    • /
    • 2021
  • The study has been carried out with an objective to prepare Siberian roe deer habitat potential maps in South Korea based on three geographic information system-based models including frequency ratio (FR) as a bivariate statistical approach as well as convolutional neural network (CNN) and long short-term memory (LSTM) as machine learning algorithms. According to field observations, 741 locations were reported as roe deer's habitat preferences. The dataset were divided with a proportion of 70:30 for constructing models and validation purposes. Through FR model, a total of 10 influential factors were opted for the modelling process, namely altitude, valley depth, slope height, topographic position index (TPI), topographic wetness index (TWI), normalized difference water index, drainage density, road density, radar intensity, and morphological feature. The results of variable importance analysis determined that TPI, TWI, altitude and valley depth have higher impact on predicting. Furthermore, the area under the receiver operating characteristic (ROC) curve was applied to assess the prediction accuracies of three models. The results showed that all the models almost have similar performances, but LSTM model had relatively higher prediction ability in comparison to FR and CNN models with the accuracy of 76% and 73% during the training and validation process. The obtained map of LSTM model was categorized into five classes of potentiality including very low, low, moderate, high and very high with proportions of 19.70%, 19.81%, 19.31%, 19.86%, and 21.31%, respectively. The resultant potential maps may be valuable to monitor and preserve the Siberian roe deer habitats.

CUDA를 이용한 효율적인 합산 영역 테이블의 생성 방법 (Bandwidth Efficient Summed Area Table Generation for CUDA)

  • 하상원;최문희;전태준;김진우;변혜란;한탁돈
    • 한국게임학회 논문지
    • /
    • 제12권5호
    • /
    • pp.67-78
    • /
    • 2012
  • 합산 영역 테이블은 모든 픽셀에 대해 임의의 크기 사각영역의 이미지 필터링 처리를 일정시간 안에 가능케 한다. 이러한 특성은 각각의 픽셀에 대해서 주변 픽셀의 밝기의 합 혹은 평균을 필요로 하는 이미지 처리 적용 분야에 유용하게 쓰일 수 있다. 합산 영역 테이블의 생성은 단지 행 혹은 열 단위의 합만을 구하는 메모리 바운드 작업임에도 불구하고 기존 연구들은 이미 존재하는 데이터 병렬성만을 활용하기 위하여 대기 시간이 긴 전역 메모리에 과도한 접근을 하여야만 했다. 본 논문에서는 입력 데이터를 정방의 서브 이미지로 분할하고 매개 데이터를 이들 간에 파급시킴으로써 GPGPU 환경 적합한 알고리즘을 제안하고자 한다. 이를 통하여 기존 방법 대비 전역 메모리 접근 량을 거의 반으로 줄임으로써 주어진 메모리 대역폭을 효율적으로 사용한다. 결과에서도 성능이 대폭 향상되었다.

모바일 서비스를 위한 메인 메모리 기반 공간 데이터 관리자 (Main-Memory Based Spatial Data Manager for Mobile Service)

  • 오병우
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권1호
    • /
    • pp.77-92
    • /
    • 2006
  • 최근 모바일 환경의 급격한 발전으로 모바일 기기에서 지도를 표현하기 위한 필요성이 급증하고 있다. 본 논문은 모바일 환경에서 공간 데이터를 효율적으로 제공하기 위해 가장 중요한 역할을 담당하는 공간 데이터 관리자를 제안한 논문이다. 본 논문에서 제안하는 공간 데이터 관리자는 상호운용성을 지원하면서도 효율적인 성능을 제공하기 위하여 다양한 방법을 사용한다. 상호운용성을 지원하기 위해서는 국제 표준을 준수하여 상이한 환경에서도 재사용성을 보장한다. 성능 향상을 위해서는 물리적인 메인 메모리에 공간 데이터를 적재하고 서비스하여 디스크 접근 시간을 없애고, 결과 데이터 형식으로 미리 변환한 공간 데이터를 메인 메모리에 적재하여 형식 변환에 걸리는 시간이 필요 없도록 한다. 그리고, 모바일 환경에서 유무선 온라인으로 공간 데이터를 실시간으로 전송하는 경우에 전체 데이터를 전송하지 않고 부분적으로 전송된 데이터만으로도 표현이 가능하도록 하여 응답 시간 및 처리 시간을 최소화할 수 있도록 한다.

  • PDF

스마트폰에서 운전자 이동패턴을 이용한 맵매칭 설계 및 구현 (Design and Implementation of Driving Pattern based Map Matching on Smart Phone)

  • 황재윤;최세휴
    • Spatial Information Research
    • /
    • 제23권4호
    • /
    • pp.47-56
    • /
    • 2015
  • 최근 스마트폰 내비게이션의 그룹주행, 위치공유 등 다양한 최신 기능을 사용하기 위해서 스마트폰 내비게이션을 이용하는 사람들이 많이 증가하였다. 하지만, 스마트폰에는 다양한 목적을 가진 많은 앱이 설치되기 때문에 하나의 앱이 사용할 수 있는 저장 공간이 한정적이다. 그래서 내비게이션 전용기기에서 맵매칭을 수행하기 위해 사용되는 용량이 큰 도로네트워크 데이터를 스마트폰에 저장할 수 없기 때문에 맵매칭을 할 수 없다. 또한, 외부 GPS 장치를 사용하지 않는 스마트폰의 경우 내비게이션 전용기기에 비해 GPS 위치측위가 부정확하다. 이러한 문제점으로 스마트폰 내비게이션은 정확한 위치 안내를 하지 못하고 있다. 이에 본 연구의 목적은 스마트폰 내비게이션에서 정확한 위치 안내를 위해 내비게이션 전용기기에서 사용되는 도로네트워크 정보를 새로운 도로네트워크 포맷 설계 및 변환으로 용량을 감소시키고 운전자의 운전 패턴 데이터를 데이터베이스화하여 기존 내비게이션 전용기기 맵매칭 보다 정확한 맵매칭을 하는 것이다. 결과적으로 맵매칭이 어려운 여러 도로가 만나는 교차로, 고속도로에 인접한 좁은 도로, GPS 오차가 많이 발생하는 빌딩 숲 등에서 내비게이션 전용기기와 비교분석을 통해 스마트폰에서 기존 내비게이션 전용기기보다 80% 이상의 작은 저장 공간의 사용으로 보다 정확한 맵매칭이 가능했으며 향후 내비게이션뿐만 아니라 GPS 위치측위와 지도를 사용하는 다양한 앱에서 더욱 정확한 위치기반 서비스가 가능할 것으로 판단된다.

A Low Cost IBM PC/AT Based Image Processing System for Satellite Image Analysis: A New Analytical Tool for the Resource Managers

  • Yang, Young-Kyu;Cho, Seong-Ik;Lee, Hyun-Woo;Miller, Lee-D.
    • 대한원격탐사학회지
    • /
    • 제4권1호
    • /
    • pp.31-40
    • /
    • 1988
  • Low-cost microcomputer systems can be assembled which possess computing power, color display, memory, and storage capacity approximately equal to graphic workstactions. A low-cost, flexible, and user-friendly IBM/PC/XT/AT based image processing system has been developed and named as KMIPS(KAIST (Korea Advanced Institute of Science & Technology) Map and Image Processing Station). It can be easily utilized by the resource managers who are not computer specialists. This system can: * directly access Landsat MSS and TM, SPOT, NOAA AVHRR, MOS-1 satellite imagery and other imagery from different sources via magnetic tape drive connected with IBM/PC; * extract image up to 1024 line by 1024 column and display it up to 480 line by 672 column with 512 colors simultaneously available; * digitize photographs using a frame grabber subsystem(512 by 512 picture elements); * perform a variety of image analyses, GIS and terrain analyses, and display functions; and * generate map and hard copies to the various scales. All raster data input to the microcomputer system is geographically referenced to the topographic map series in any rater cell size selected by the user. This map oriented, georeferenced approach of this system enables user to create a very accurately registered(.+-.1 picture element), multivariable, multitemporal data sets which can be subsequently subsequently subjected to various analyses and display functions.

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

Stereo matching for large-scale high-resolution satellite images using new tiling technique

  • Hong, An Nguyen;Woo, Dong-Min
    • 전기전자학회논문지
    • /
    • 제17권4호
    • /
    • pp.517-524
    • /
    • 2013
  • Stereo matching has been grabbing the attention of researchers because it plays an important role in computer vision, remote sensing and photogrammetry. Although most methods perform well with small size images, experiments applying them to large-scale data sets under uncontrolled conditions are still lacking. In this paper, we present an empirical study on stereo matching for large-scale high-resolution satellite images. A new method is studied to solve the problem of huge size and memory requirement when dealing with large-scale high resolution satellite images. Integrating the tiling technique with the well-known dynamic programming and coarse-to-fine pyramid scheme as well as using memory wisely, the suggested method can be utilized for huge stereo satellite images. Analyzing 350 points from an image of size of 8192 x 8192, disparity results attain an acceptable accuracy with RMS error of 0.5459. Taking the trade-off between computational aspect and accuracy, our method gives an efficient stereo matching for huge satellite image files.

Sketch Recognition Using LSTM with Attention Mechanism and Minimum Cost Flow Algorithm

  • Nguyen-Xuan, Bac;Lee, Guee-Sang
    • International Journal of Contents
    • /
    • 제15권4호
    • /
    • pp.8-15
    • /
    • 2019
  • This paper presents a solution of the 'Quick, Draw! Doodle Recognition Challenge' hosted by Google. Doodles are drawings comprised of concrete representational meaning or abstract lines creatively expressed by individuals. In this challenge, a doodle is presented as a sequence of sketches. From the view of at the sketch level, to learn the pattern of strokes representing a doodle, we propose a sequential model stacked with multiple convolution layers and Long Short-Term Memory (LSTM) cells following the attention mechanism [15]. From the view at the image level, we use multiple models pre-trained on ImageNet to recognize the doodle. Finally, an ensemble and a post-processing method using the minimum cost flow algorithm are introduced to combine multiple models in achieving better results. In this challenge, our solutions garnered 11th place among 1,316 teams. Our performance was 0.95037 MAP@3, only 0.4% lower than the winner. It demonstrates that our method is very competitive. The source code for this competition is published at: https://github.com/ngxbac/Kaggle-QuickDraw.

A data fusion method for bridge displacement reconstruction based on LSTM networks

  • Duan, Da-You;Wang, Zuo-Cai;Sun, Xiao-Tong;Xin, Yu
    • Smart Structures and Systems
    • /
    • 제29권4호
    • /
    • pp.599-616
    • /
    • 2022
  • Bridge displacement contains vital information for bridge condition and performance. Due to the limits of direct displacement measurement methods, the indirect displacement reconstruction methods based on the strain or acceleration data are also developed in engineering applications. There are still some deficiencies of the displacement reconstruction methods based on strain or acceleration in practice. This paper proposed a novel method based on long short-term memory (LSTM) networks to reconstruct the bridge dynamic displacements with the strain and acceleration data source. The LSTM networks with three hidden layers are utilized to map the relationships between the measured responses and the bridge displacement. To achieve the data fusion, the input strain and acceleration data need to be preprocessed by normalization and then the corresponding dynamic displacement responses can be reconstructed by the LSTM networks. In the numerical simulation, the errors of the displacement reconstruction are below 9% for different load cases, and the proposed method is robust when the input strain and acceleration data contains additive noise. The hyper-parameter effect is analyzed and the displacement reconstruction accuracies of different machine learning methods are compared. For experimental verification, the errors are below 6% for the simply supported beam and continuous beam cases. Both the numerical and experimental results indicate that the proposed data fusion method can accurately reconstruct the displacement.