• 제목/요약/키워드: Large-scale Scientific Data

검색결과 53건 처리시간 0.026초

과학 빅데이터를 위한 엔디엔 테스트베드 분석: 현황, 응용, 특징, 그리고 이슈 (Analysis on NDN Testbeds for Large-scale Scientific Data: Status, Applications, Features, and Issues)

  • 임헌국;신광천
    • 한국정보통신학회논문지
    • /
    • 제24권7호
    • /
    • pp.904-913
    • /
    • 2020
  • 데이터 볼륨과 복잡도가 빠르게 증가함에 따라 과학 빅데이터를 다루는 데이터 집적 과학은 네트워크를 통해 보다 효과적인 데이터 저장 및 분배를 위한 새로운 기술을 발견하는 것을 필요로 한다. 최근 네임드 데이터 네트워킹 커뮤니티와 데이터 집적 과학 커뮤니티는 함께 과학 실험 빅데이터의 분배 및 관리에 있어서 혁신적인 변화를 꾀하였다. 본 논문 에서는 기후과학 및 고에너지물리 데이터 등과 같은 과학 빅데이터를 위한 현존하는 엔디엔 테스트베드들에 대한 분석이 처음으로 이루어진다. 과학 빅데이터를 위한 엔디엔 테스트베드들을 현황, 엔디엔 기반 응용, 특징 측면에서 묘사하고 토의한다. 마지막으로 과학 빅데이터를 위한 엔디엔 테스트베드 네트워크를 확립함에 있어서, 함정에 빠질 수 있는 다양한 이슈들을 엔디엔 테스트베드들에 대한 묘사 그리고 특징들로 부터 도출하여, 분석 제시한다.

Privacy Enhanced Data Security Mechanism in a Large-Scale Distributed Computing System for HTC and MTC

  • Rho, Seungwoo;Park, Sangbae;Hwang, Soonwook
    • International Journal of Contents
    • /
    • 제12권2호
    • /
    • pp.6-11
    • /
    • 2016
  • We developed a pilot-job based large-scale distributed computing system to support HTC and MTC, called HTCaaS (High-Throughput Computing as a Service), which helps scientists solve large-scale scientific problems in areas such as pharmaceutical domains, high-energy physics, nuclear physics and bio science. Since most of these problems involve critical data that affect the national economy and activate basic industries, data privacy is a very important issue. In this paper, we implement a privacy enhanced data security mechanism to support HTC and MTC in a large-scale distributed computing system and show how this technique affects performance in our system. With this mechanism, users can securely store data in our system.

대형구조물 모니터링을 위한 high-rate GPS 자료처리 (A High-rate GPS Data Processing for Large-scale Structure Monitoring)

  • 배태석
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2010년 춘계학술발표회 논문집
    • /
    • pp.181-182
    • /
    • 2010
  • For real-time displacement monitoring of large-scale structures, the high-rate (>1 Hz) GPS data processing is necessary, which is not possible even for the scientific GPS data processing softwares. Since the baseline is generally very short in this case, most of the atmospheric effects are removed, resulting in the unknowns of position and integer ambiguity. The number of unknowns in real-time kinematic GPS positioning makes the positioning impossible with usual approach, thus two-step approach is tested in this study.

  • PDF

A Multi-Application Controller for SAGE-enabled Tiled Display Wall in Wide-area Distributed Computing Environments

  • Fujiwara, Yuki;Date, Susumu;Ichikawa, Kohei;Takemura, Haruo
    • Journal of Information Processing Systems
    • /
    • 제7권4호
    • /
    • pp.581-594
    • /
    • 2011
  • Due to the recent advancement of networking and high-performance computing technologies, scientists can easily access large-scale data captured by scientific measurement devices through a network, and use huge computational power harnessed on the Internet for their analyses of scientific data. However, visualization technology, which plays a role of great importance for scientists to intuitively understand the analysis results of such scientific data, is not fully utilized so that it can seamlessly benefit from recent high-performance and networking technologies. One of such visualization technologies is SAGE (Scalable Adaptive Graphics Environment), which allows people to build an arbitrarily sized tiled display wall and is expected to be applied to scientific research. In this paper, we present a multi-application controller for SAGE, which we have developed, in the hope that it will help scientists efficiently perform scientific research requiring high-performance computing and visualization. The evaluation in this paper indicates that the efficiency of completing a comparison task among multiple data is increased by our system.

GIS 기법을 활용한 도시지역 상권 특성 분석 - 대형할인점과 전통시장을 중심으로 - (Analyzing Characteristic of Business District in Urban Area Using GIS Methods - Focused on Large-Scale Store and Traditional Market -)

  • 송봉근;박경훈
    • 한국지리정보학회지
    • /
    • 제20권2호
    • /
    • pp.89-101
    • /
    • 2017
  • 본 연구는 소상공인의 상권 활성화를 위해 경상남도 창원시 도시지역을 대상으로 GIS 기법을 활용하여 전통시장과 대형할인점의 상권 특성을 분석하였다. 전통시장과 대형할인점의 정보를 GIS로 구축한 후, Kernel 밀도 분석, Network analysis, Huff 확률모형 등 다양한 GIS 공간분석기법을 적용하였다. 전통시장의 공간특성은 대형할인점이 밀집된 지역에 위치하는 것으로 나타났다. 상권특성을 도출한 결과, 대형할인점을 이용하는 소비자가 157,071명으로 전통시장 59,953명보다 약 3배 많았다. 이러한 현상의 원인은 인구가 밀집되고 전통시장에 인접한 지역에 대형할인점이 위치하고 있기 때문으로 판단된다. 따라서 소상공인의 상권 활성화를 위해서는 대형할인점 입지선정에 대한 기준 및 규제가 마련되어야 할 것이다. 본 연구는 도시지역의 상권 특성을 공간적이고 정량적으로 도출하였다. 향후 소상공인 상권 활성화를 위한 기초적인 자료로 활용될 것이다.

논문 서지정보를 이용한 빈산소수괴 연구 분야의 연구용어 빈도분석 (Frequency Analysis of Scientific Texts on the Hypoxia Using Bibliographic Data)

  • 이기섭;이지영;조홍연
    • Ocean and Polar Research
    • /
    • 제41권2호
    • /
    • pp.107-120
    • /
    • 2019
  • The frequency analysis of scientific terms using bibliographic information is a simple concept, but as relevant data become more widespread, manual analysis of all data is practically impossible or only possible to a very limited extent. In addition, as the scale of oceanographic research has expanded to become much more comprehensive and widespread, the allocation of research resources on various topics has become an important issue. In this study, the frequency analysis of scientific terms was performed using text mining. The data used in the analysis is a general-purpose scholarship database, totaling 2,878 articles. Hypoxia, which is an important issue in the marine environment, was selected as a research field and the frequencies of related words were analyzed. The most frequently used words were 'Organic matter', 'Bottom water', and 'Dead zone' and specific areas showed high frequency. The results of this research can be used as a basis for the allocation of research resources to the frequency of use of related terms in specific fields when planning a large research project represented by single word.

DATA MINING AND PREDICTION OF SAI TYPE MATRIX PRECONDITIONER

  • Kim, Sang-Bae;Xu, Shuting;Zhang, Jun
    • Journal of applied mathematics & informatics
    • /
    • 제28권1_2호
    • /
    • pp.351-361
    • /
    • 2010
  • The solution of large sparse linear systems is one of the most important problems in large scale scientific computing. Among the many methods developed, the preconditioned Krylov subspace methods are considered the preferred methods. Selecting a suitable preconditioner with appropriate parameters for a specific sparse linear system presents a challenging task for many application scientists and engineers who have little knowledge of preconditioned iterative methods. The prediction of ILU type preconditioners was considered in [27] where support vector machine(SVM), as a data mining technique, is used to classify large sparse linear systems and predict best preconditioners. In this paper, we apply the data mining approach to the sparse approximate inverse(SAI) type preconditioners to find some parameters with which the preconditioned Krylov subspace method on the linear systems shows best performance.

대규모 과학계산 컴퓨팅센터를 위한 모바일 모니터링 시스템 (Mobile Monitoring System for Large Scale Scientific Computing Center)

  • 최민
    • 중소기업융합학회논문지
    • /
    • 제2권1호
    • /
    • pp.41-50
    • /
    • 2012
  • 본 연구에서는 대규모 과학계산 컴퓨팅센터를 위한 모바일 모니터링 기술을 개발하였다. 일반적으로 대규모 과학계산 컴퓨팅센터에는 수많은 노드들이 존재하는데, 각 노드에서 생성되는 시스템 자원정보를 최상위 계층에서 모두 모니터링 하는 방법은 오버헤드가 크고 확장성(scalability)에 제약이 있다. 따라서, 본 연구에서는 각 계층간 정보를 요약(summarizing) 전달함에 의하여 확장성을 향상한 모니터링 기술을 제안하고 프로토타입 시스템을 구현한다. 또한, 모바일 스마트 기기에서 활용할 수 있는 HTML5 기술을 활용한 모바일 모니터링 시스템 기술을 소개한다.

  • PDF

ScienceDMZ 기반의 네트워크 구성에서 접근제어정책 적용 (Application of access control policy in ScienceDMZ-based network configuration)

  • 권우창;이재광;김기현
    • 융합보안논문지
    • /
    • 제21권2호
    • /
    • pp.3-10
    • /
    • 2021
  • 데이터 기반의 과학연구가 추세인 요즘 대용량의 데이터 전송은 연구 생산성에 많은 영향을 미친다. 이러한 문제를 해결하기 위해서 대용량 과학 빅데이터를 전송하기 위한 별도의 네트워크 구조가 필요하다. ScienceDMZ는 이러한 과학 빅데이터를 전송하기 위해서 고안된 네트워크 구조이다. 이러한 네트워크 구성에서는 사용자 및 자원에 대한 접근제어정책(ACL, access control list) 수립이 필수적이다. 본 논문에서는 실제 ScienceDMZ 네트워크 구조로 구현된 R&E Together 프로젝트와 네트워크 구조를 설명하고, 안전한 데이터 전송 및 서비스 제공을 위해 접근제어정책을 적용할 사용자 및 서비스를 정의한다. 또한 네트워크 관리자가 전체 네트워크 자원 및 사용자에 대해 일괄적으로 접근제어정책을 적용할 수 있는 방법을 제시하며, 이를 통해 접근제어정책 적용에 대한 자동화를 이룰 수 있었다.

VotingRank: A Case Study of e-Commerce Recommender Application Using MapReduce

  • Ren, Jian-Ji;Lee, Jae-Kee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.834-837
    • /
    • 2009
  • There is a growing need for ad-hoc analysis of extremely large data sets, especially at e-Commerce companies which depend on recommender application. Nowadays, as the number of e-Commerce web pages grow to a tremendous proportion; vertical recommender services can help customers to find what they need. Recommender application is one of the reasons for e-Commerce success in today's world. Compared with general e-Commerce recommender application, obviously, general e-Commerce recommender application's processing scope is greatly narrowed down. MapReduce is emerging as an important programming model for large-scale data-parallel applications such as web indexing, data mining, and scientific simulation. The objective of this paper is to explore MapReduce framework for the e-Commerce recommender application on major general and dedicated link analysis for e-Commerce recommender application, and thus the responding time has been decreased and the recommender application's accuracy has been improved.