• 제목/요약/키워드: data processing technique

검색결과 1,993건 처리시간 0.032초

지구통계학을 활용한 지반정보 가시화 기법 개발 (The Development of Technique for the Visualization of Geological Information Using Geostatistics)

  • 송명규;김진하;황제돈;김승렬
    • 한국지반공학회:학술대회논문집
    • /
    • 한국지반공학회 2001년도 봄 학술발표회 논문집
    • /
    • pp.501-508
    • /
    • 2001
  • A graph or topographic map can often convey larger amounts of information in a shorter time than ordinary text-based methods. To visualize information precisely it is necessary to collect all the geological information at design stage, but actually it is almost impossible to bore or explore the entire area to gather the required data. So, tunnel engineers have to rely on the judgement of expert from the limited number of the results of exploration and experiment. In this study, several programs are developed to handle the results of geological investigation with various data processing techniques. The results of the typical case study are also presented. For the electric survey, eleven points are chosen at the valley to measure the resistivity using Schlumberger array. The measured data are interpolated in 3-dimensional space by kriging and the distribution of resistivity are visualized to find weak or fractured zone. The correlation length appears to be around 5 to 20 meter in depth. Regression analyses were performed to find a correlation length. No nugget effect is assumed, and the topographic map, geologic formation, fault zone, joint geometry and the distribution of resistivity are successfully visualized by using the proposed technique.

  • PDF

하둡 분산 파일시스템의 동적 클러스터 관리 기법 (Dynamic Cluster Management of Hadoop Distributed Filesystem)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.435-437
    • /
    • 2016
  • 하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

  • PDF

A Computational Intelligence Based Online Data Imputation Method: An Application For Banking

  • Nishanth, Kancherla Jonah;Ravi, Vadlamani
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.633-650
    • /
    • 2013
  • All the imputation techniques proposed so far in literature for data imputation are offline techniques as they require a number of iterations to learn the characteristics of data during training and they also consume a lot of computational time. Hence, these techniques are not suitable for applications that require the imputation to be performed on demand and near real-time. The paper proposes a computational intelligence based architecture for online data imputation and extended versions of an existing offline data imputation method as well. The proposed online imputation technique has 2 stages. In stage 1, Evolving Clustering Method (ECM) is used to replace the missing values with cluster centers, as part of the local learning strategy. Stage 2 refines the resultant approximate values using a General Regression Neural Network (GRNN) as part of the global approximation strategy. We also propose extended versions of an existing offline imputation technique. The offline imputation techniques employ K-Means or K-Medoids and Multi Layer Perceptron (MLP)or GRNN in Stage-1and Stage-2respectively. Several experiments were conducted on 8benchmark datasets and 4 bank related datasets to assess the effectiveness of the proposed online and offline imputation techniques. In terms of Mean Absolute Percentage Error (MAPE), the results indicate that the difference between the proposed best offline imputation method viz., K-Medoids+GRNN and the proposed online imputation method viz., ECM+GRNN is statistically insignificant at a 1% level of significance. Consequently, the proposed online technique, being less expensive and faster, can be employed for imputation instead of the existing and proposed offline imputation techniques. This is the significant outcome of the study. Furthermore, GRNN in stage-2 uniformly reduced MAPE values in both offline and online imputation methods on all datasets.

A Design of DBaaS-Based Collaboration System for Big Data Processing

  • Jung, Yean-Woo;Lee, Jong-Yong;Jung, Kye-Dong
    • International journal of advanced smart convergence
    • /
    • 제5권2호
    • /
    • pp.59-65
    • /
    • 2016
  • With the recent growth in cloud computing, big data processing and collaboration between businesses are emerging as new paradigms in the IT industry. In an environment where a large amount of data is generated in real time, such as SNS, big data processing techniques are useful in extracting the valid data. MapReduce is a good example of such a programming model used in big data extraction. With the growing collaboration between companies, problems of duplication and heterogeneity among data due to the integration of old and new information storage systems have arisen. These problems arise because of the differences in existing databases across the various companies. However, these problems can be negated by implementing the MapReduce technique. This paper proposes a collaboration system based on Database as a Service, or DBaaS, to solve problems in data integration for collaboration between companies. The proposed system can reduce the overhead in data integration, while being applied to structured and unstructured data.

지적기준점 성과계산을 위한 GPS 소프트웨어 개발 (GPS Software Development for Calculation of Cadastral Control Points)

  • 우인제;이종기;김병국;이민석
    • Spatial Information Research
    • /
    • 제12권1호
    • /
    • pp.101-110
    • /
    • 2004
  • GPS 관측기법을 지적측량에 도입하기 위하여 GPS를 이용한 새로운 지적측량 모형(Model)을 정립하는 연구와 관련 기술들을 개발하는 연구가 활발히 진행되고 있다. 이와 같은 추세에 발맞추어 GPS 자료처리 및 기준점 성과산출과 관련하여 국내·외 측량 관련 상용 GPS 자료처리 소프트웨어의 현황 및 성능을 파악하고, 자료처리 알고리즘을 분석하여, 우리 실정에 적합한 GPS 자료처리 소프트웨어를 개발하는 것을 본 연구의 목적으로 한다. 본 연구에서는 국내ㆍ외의 전문 업체, 기관(대학)이 보유하고 있는 상용 소프트웨어 현황 분석 및 자료처리 방법에 따른 오차 발생을 연구하여 기선해석, 망 조정, 좌표변환 등에 관련된 전문 소프트웨어 기능을 비교 분석하여 자료처리 산출성과의 정확도를 향상시키는 방향을 모색한다. 또한 기존 GPS 자료처리 소프트웨어에 적용된 알고리즘을 분석하고 지적측량성과 산출에 최적인 알고리즘을 연구하여 새로운 지적기준점 성과 산출을 위한 지적측량 성과계산 소프트웨어를 개발한다.

  • PDF

OWL 질의 처리를 위한 시그너처 기반 최적화 기법 (An Optimization Technique based on Signatures for OWL Query Processing)

  • 임동혁;정호영;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권6호
    • /
    • pp.585-592
    • /
    • 2005
  • 시맨틱 웹은 차세대 웹으로 연구되고 있으며 시맨틱 웹 상에서는 사람이 아닌 컴퓨터가 이해할 수 있는 정보를 처리해야 한다. 이러한 웹 자원의 내용을 기술하기 위해 온톨로지(Ontology)들을 이용한다. 이러한 온톨로지 중에 현재 W3C에서 제안한 OWL이 부각되고 있다. OWL을 처리하는 데이타 베이스에서 데이타는 그래프 형태로 저장되어 그래프 탐색을 통해 질의 처리를 수행한다. 본 논문에서는 OWL 데이타를 효율적으로 처리하기 위하여 시그니처를 이용한 최적화 기법을 제안한다. 논문에서 제안한 최적화 기법은 질의 수행 시 각 노드의 탐색 회수를 줄여 질의 수행을 빠르게 할 수 있게 한다.

전력연구원 지진관측망 계측지진 분석을 사전자료 처리 (Data Processing of earthquake data from KEPRI seismic monitoring system)

  • 연관희
    • 한국지진공학회:학술대회논문집
    • /
    • 한국지진공학회 2001년도 춘계학술대회 논문집
    • /
    • pp.58-65
    • /
    • 2001
  • It is essential to know exactly what the response of the seismograph is inclusive of characteristic of the seismic sensors before using it for detailed seismic study. This is because the recorded earthquake data can be more or less affected by the overall system and need to be corrected properly to the analysis`s best to obtain the right results. In this respect, two basic earthquake data processing techniques are introduced and applied, for validation purpose, to real data from KEPRI seismic monitoring system which were established for determining the site-specific characteristics of the earthquakes around the Nuclear Power Plants. One is conventional instrumental correction technique for velocity data and the other is for removing acausal ringing originate from using linear phase FIR filter. These techniques are all implemented in the time domain using digital filtering process and shows the desired results when applied to real earthquake data.

  • PDF

객체 데이터베이스에서 스타 조인의 빠른처리를 위한 비트맵 색인 기법과 그의 선정 문제 (Bit-map Indexes and Their Selection Problem for Efficient Processing of Star Joins in Object Databases)

  • 조완섭;정태성;이현철;장혜경;안명상
    • Journal of Information Technology Applications and Management
    • /
    • 제10권2호
    • /
    • pp.19-31
    • /
    • 2003
  • We propose an indexing technique and an index selection algorithm for optimal OLAP query processing in object database systems, Although there are many research results on the relational database systems for OLAP Query processing, few researches have been done on the object database systems. Since OLAP queries represent complex business logic on a huge data ware-house, object database systems supporting the OLAP queries should have higher performance. Proposed bitmap index structure is an extension of conventional bitmap indexes for adapting object databases and provides higher performance with lower space overhead. We also propose a linear time solution of the index selection problem that will be used in the OLAP query optimization process.

  • PDF

PIV데이터의 post-processing에 의한 애니메이션 제작 및 적용예 (Animation construction and application example by the post-processing of PIV data)

  • 김미영;최장운;이현;이영호
    • 대한기계학회:학술대회논문집
    • /
    • 대한기계학회 2000년도 춘계학술대회논문집B
    • /
    • pp.655-660
    • /
    • 2000
  • Animation technique from the PIV database is particularly emphasized to give macroscopic and quantitative description of complex flow fields. This paper shows animation construction and application example for the post-processing of PIV data. As examples, first case is a pitching airfoil immersed in tree surface water circulating tunnel. Second case is a wake of a model-ship. Third case of PIV data is a large scale surface flow field. Obtained images are processed in time sequence by PIV exclusive routines where an efficient and reliable cross correlation algorithm is included for vector identification. All. animation Jobs are implemented completely on single personal computer environment. Compressed digital images are obtained initially by Motion-JPEG board and various An files are finally obtained through graphic processes.

  • PDF

빅데이터 분산처리시스템의 품질평가모델 (A Quality Evaluation Model for Distributed Processing Systems of Big Data)

  • 최승준;박제원;김종배;최재현
    • 디지털콘텐츠학회 논문지
    • /
    • 제15권4호
    • /
    • pp.533-545
    • /
    • 2014
  • IT기술이 발전함에 따라, 우리가 접하는 데이터의 양은 기하급수적으로 늘어나고 있다. 이처럼 방대한 데이터들을 분석하고 관리하기 위한 기술로 등장한 것이 빅데이터 분산처리시스템이다. 기존 분산처리시스템에 대한 품질평가는 정형 데이터 중심의 환경을 바탕으로 이루어져 왔다. 그러므로, 이를 비정형 데이터 분석이 핵심인 빅데이터 분산처리시스템에 그대로 적용시킬 경우, 정확한 품질평가가 이루어질 수 없다. 따라서, 빅데이터 분석 환경을 고려한 분산처리시스템의 품질평가모델에 대한 연구가 필요하다. 본 논문에서는 소프트웨어 품질에 관한 국제 표준인 ISO/IEC9126에 근거하여 빅데이터 분산처리 시스템에서 요구되는 품질평가 요소를 도출하고, 이를 측정하기 위한 메트릭을 정의함으로써 새로이 품질평가모델을 제안한다.