• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.026초

PARALLEL IMAGE RECONSTRUCTION FOR NEW VACUUM SOLAR TELESCOPE

  • Li, Xue-Bao;Wang, Feng;Xiang, Yong Yuan;Zheng, Yan Fang;Liu, Ying Bo;Deng, Hui;Ji, Kai Fan
    • 천문학회지
    • /
    • 제47권2호
    • /
    • pp.43-47
    • /
    • 2014
  • Many advanced ground-based solar telescopes improve the spatial resolution of observation images using an adaptive optics (AO) system. As any AO correction remains only partial, it is necessary to use post-processing image reconstruction techniques such as speckle masking or shift-and-add (SAA) to reconstruct a high-spatial-resolution image from atmospherically degraded solar images. In the New Vacuum Solar Telescope (NVST), the spatial resolution in solar images is improved by frame selection and SAA. In order to overcome the burden of massive speckle data processing, we investigate the possibility of using the speckle reconstruction program in a real-time application at the telescope site. The code has been written in the C programming language and optimized for parallel processing in a multi-processor environment. We analyze the scalability of the code to identify possible bottlenecks, and we conclude that the presented code is capable of being run in real-time reconstruction applications at NVST and future large aperture solar telescopes if care is taken that the multi-processor environment has low latencies between the computation nodes.

Design of 32 bit Parallel Processor Core for High Energy Efficiency using Instruction-Levels Dynamic Voltage Scaling Technique

  • Yang, Yil-Suk;Roh, Tae-Moon;Yeo, Soon-Il;Kwon, Woo-H.;Kim, Jong-Dae
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제9권1호
    • /
    • pp.1-7
    • /
    • 2009
  • This paper describes design of high energy efficiency 32 bit parallel processor core using instruction-levels data gating and dynamic voltage scaling (DVS) techniques. We present instruction-levels data gating technique. We can control activation and switching activity of the function units in the proposed data technique. We present instruction-levels DVS technique without using DC-DC converter and voltage scheduler controlled by the operation system. We can control powers of the function units in the proposed DVS technique. The proposed instruction-levels DVS technique has the simple architecture than complicated DVS which is DC-DC converter and voltage scheduler controlled by the operation system and a hardware implementation is very easy. But, the energy efficiency of the proposed instruction-levels DVS technique having dual-power supply is similar to the complicated DVS which is DC-DC converter and voltage scheduler controlled by the operation system. We simulate the circuit simulation for running test program using Spectra. We selected reduced power supply to 0.667 times of the supplied power supply. The energy efficiency of the proposed 32 bit parallel processor core using instruction-levels data gating and DVS techniques can improve about 88.4% than that of the 32 bit parallel processor core without using those. The designed high energy efficiency 32 bit parallel processor core can utilize as the coprocessor processing massive data at high speed.

HPC 환경을 위한 데이터 전송 노드 클러스터 구축 및 성능분석 (Deployment and Performance Analysis of Data Transfer Node Cluster for HPC Environment)

  • 홍원택;안도식;이재국;문정훈;석우진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.197-206
    • /
    • 2020
  • HPC(High Performance Computing) 서비스를 기반으로 한 거대과학 응용분야의 협업연구는 원거리에 떨어져 있는 연구자들 사이에서 대용량 데이터의 빠른 전송을 필요로 한다. 이와 관련하여 최근 미국 내의 주요 슈퍼컴퓨터들을 연계하여 고속 전송하기 위한 연구들이 수행되고 있다. 본 논문에서는 기 구축되어 운영 중인 한국과학기술정보연구원의 누리온 슈퍼컴퓨터 병렬 파일시스템 내의 대용량 데이터를 고속 전송하기 위해서 고성능 과학기술연구망 기반의 데이터 전송 노드(DTN) 클러스터를 구축하고 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 전송 실험을수행한다. 실험을 통해 다른 크기의 파일들로 구성된 실험 군들에 대해 DTN 클러스터링에 따른 전송 성능을 비교하였고, 3대의 멀티 노드로 구성된 DTN 클러스터는 두 종류의 병행성, 병렬성 설정에서 단일 노드 대비 각각 약 1.8, 2.7배의 전송 성능 향상을 가져올 수 있음을 확인하였다.

인공지능 학습용 데이터 기반의 산림변화탐지 서비스 (Forest Change Detection Service Based on Artificial Intelligence Learning Data)

  • 정한균;김종인;고선영;채승기;신용태
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권8호
    • /
    • pp.347-354
    • /
    • 2022
  • 4차 산업혁명 시대가 무르익으면서 방대한 데이터를 기반으로 한 인공지능(AI, Artificial Intelligence)의 활용이 전 산업 분야로 확대 중이다. 그러나 산림 수종을 분석하는 분야는 지금까지 인공지능의 활용이 미진하여 여전히 수작업으로 분석하고 있고 다수의 오류가 발생하고 있다. 본 연구에서는 수도권의 항공사진과 모사 이미지 등을 이용하여 소나무, 낙엽송, 침엽수, 활엽수 등 산림 수종을 분석하기 위한 인공지능 학습용 데이터 약 60,000장을 구축하였고 수종 구분 AI 모델도 함께 개발하였다. 이러한 연구는 우리나라의 산림 변화를 사전에 예측하여 변화에 신속한 대응이 가능하고 산림 주제도 제작 시 필요한 수종 분할 이미지를 기초자료로 활용함으로써 업무 생산성을 높일 것으로 기대한다.

VLBI 전파 관측데이터를 위한 대용량 기록장치 비교에 관한 연구 (A Study on Comparison of Massive Data Recording Equipments for VLBI Radio Observation Data)

  • 오세진;염재환;노덕규;정동규;황주연;오충식;김효령
    • 융합신호처리학회논문지
    • /
    • 제19권3호
    • /
    • pp.125-132
    • /
    • 2018
  • KVN(Korean VLBI Network)에서는 VLBI(Very Long Baseline Interferometry) 관측을 위해 최대 32Gbps 데이터 기록을 위한 기록기로 MIT Haystack 천문대의 Mark6 시스템을 도입하였다. Mark6 기록기는 시스템 2대와 HDD가 총 64개 장착된 경우 최대 32Gbps로 데이터를 기록할 수 있다. 하지만 Mark6의 특징인 독자적인 기록방식을 사용하고 있기 때문에 대용량의 데이터를 가상 파일 시스템을 도입하거나 일반적인 RAID 방식을 사용하고 있는데, 최고 기록속도나 파일 시스템에서 파일을 읽어서 전송할 때 데이터 손실이 발생하는 문제가 있다. JIVE에서 개발한 소프트웨어 기록기인 Flexbuff 시스템은 RAID 구성과 네트워크 업그레이드를 통하여 데이터 기록기로서 동작할 수 있도록 구성할 수 있다. 특히 Mark6 시스템에 설치할 경우 Mark6의 리소스를 잘 활용하여 기존의 Mark6와 비교하여 데이터 손실이 적으면서 안정적으로 최대 32Gbps 속도로 VLBI 관측 데이터를 기록할 수 있다. 본 논문에서는 기존 Mark6 시스템에 jive5ab 소프트웨어를 설치하여 Mark6-Flexbuff로 동작할 수 있음을 제안하고, 데이터 기록시험을 통하여 VLBI 관측 운영에 효율적으로 활용할 수 있음을 시험을 통하여 확인하였다.

온톨로지를 이용한 변화하는 데이터의 효과적인 인덱싱 방법 (Effective Indexing for Evolving Data Collection by Using Ontology)

  • 김종욱;배명수
    • 한국멀티미디어학회논문지
    • /
    • 제17권2호
    • /
    • pp.240-247
    • /
    • 2014
  • 웹상에서 생성 공유되는 데이터는 다양한 분야에서 대용량으로 생성되고, 콘텐츠가 사회적 관심에 따라 지속적으로 변화 한다는 특징이 있다. 이로 인하여, 웹 데이터를 분석하여 유용한 정보를 얻기 위해서는 (a) 대용량의 데이터를 빠르게 처리하고, (b) 사용자가 쉽게 정보를 찾을 수 있도록 데이터를 구성하는 것이 필수적이다. 이러한 두 가지 측면 중에서, 본 논문은 사용자의 정보 검색 부담을 덜어주기 위해 온톨로지를 활용한 데이터 구성 방법을 제시한다. 특히, 본 논문에서는 콘텐츠가 사회적 관심에 따라 지속적으로 변화하는 웹 데이터의 특성을 고려하여, 데이터 콘텐츠를 인덱싱하기에 가장 적합한 온톨로지를 기존에 존재하는 범용 온톨로지로부터 추출한다. 또한, 사례 연구를 통하여 제시한 알고리즘의 유용성을 보인다.

CFB 모드에 기반한 2 차원 페이지 데이터의 광학적 암호화 응용 (Application to 2-D Page-oriented Data Optical Cryptography Based on CFB Mode)

  • 길상근
    • 전기전자학회논문지
    • /
    • 제19권3호
    • /
    • pp.424-430
    • /
    • 2015
  • 본 논문은 CFB(Cipher Feedback) 모드에 기반한 2 차원 페이지 데이터의 광학적 암호화 응용 시스템을 제안한다. 광학적으로 구현된 CFB 암호화 시스템은 2 차원 페이지 데이터 암호화를 위해 자유공간 광 연결 이중 인코딩 기법을 이용한다. 또한, 제안된 방법은 기존의 1 차원 암호화키를 처리하는 CFB 방식보다 2 차원 페이지 단위로 배열된 매우 큰 암호화키를 제공하기 때문에 암호강도가 한층 더 강화된 암호화 시스템을 구현한다. 제안한 CFB 알고리즘의 성능을 검증하기 위해 컴퓨터 시뮬레이션을 통하여 2 차원 페이지 데이터의 암호화 및 복호화 과정을 보여주고 오차 분석을 수행하였다. 시뮬레이션 결과, 제안한 CFB 방식은 기존의 1 차원 블록 방식보다 데이터 처리용량과 긴 암호화키를 가지는 강력한 광학적 페이지 암호화 시스템을 가능하게 한다.

퍼지 클러스터 분석 기반 특징 선택 방법 (A Feature Selection Method Based on Fuzzy Cluster Analysis)

  • 이현숙
    • 정보처리학회논문지B
    • /
    • 제14B권2호
    • /
    • pp.135-140
    • /
    • 2007
  • 특징선택은 문제 영역에서 관찰된 다차원데이터로부터 데이터가 묘사하는 구조를 잘 반영하는 속성을 선택하여 효과적인 실험 데이터를 구성하는 데이터 준비과정이다. 이 과정은 문서분류, 영상인식, 유전자 선택 분야에서의 같은 분류시스템의 성능향상에 중요한 구성요소로서 상관관계 기법, 차원축소 및 상호 정보 처리 등의 통계학이나 정보이론의 접근방법을 중심으로 연구되어왔다. 이와 같은 선택 분야의 연구는 다루는 데이터의 양이 방대해지고 복잡해지면서 더욱 중요시 되고 있다. 본 논문에서는 데이터가 가지는 특성을 반영하면서 새로운 데이터에 대하여 일반화 할 수 있는 특징선택 방법을 제안하고자 한다. 준비된 데이터의 각 속성 데이터에 대하여 퍼지 클러스터 분석에 의하여 최적의 클러스터 정보를 얻고 이를 바탕으로 근접성과 분리성의 경로를 측정하여 그 값에 따라 특징을 선택하는 매카니즘을 제공한다. 제안된 방법을 실세계의 컴퓨터 바이러스 분류에 적용하여 기존의 대비에 의한 휴리스틱 방법에 의해 선택된 데이터를 가지고 분류한 것과 비교하고자 한다. 이를 통하여 주어진 특징에 시연을 부여할 수 있고 효과적으로 특징을 선택하여 시스템의 성능을 향상 시킬 수 있음을 확인한다.

데이터 웨어하우스 성능 관리를 위한 DBMax의 확장 (An Extension of the DBMax for Data Warehouse Performance Administration)

  • 김은주;용환승;이상원
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.407-416
    • /
    • 2003
  • 데이터베이스의 사용이 증가하고 다루어야 하는 데이터의 양이 방대해지면서 데이터베이스 시스템을 효율적으로 사용하기 위한 성능 관리 기술이 중요해지고 있다. 특히 데이터 웨어하우스는 대용량의 데이터를 대상으로 복잡한 분석을 수행하거나 전략적 의사 결정을 위해 사용하기 때문에 신속한 질의 응답을 위한 성능 관리가 무엇보다 중요하다. 데이터 웨어하우스는 일반 운영계 시스템과는 다른 목적과 특성을 가지기 때문에 그에 적합한 성능 모니터링 방법 및 튜닝 기술이 필요하다. 본 연구에서는 OLTP(On-Line Transaction Processing)용 오라클 데이터베이스를 위한 국산 성능 관리 도구인 DBMax를 데이터 웨어하우스 환경에 적합하도록 기능을 확장한다. 우선 데이터 웨어하우스 응용 분야를 지원하기 위한 오라클 9i의 요약 관리(summary management) 기능과 ETL(Data Extraction, Transformation and Loading) 기능을 중심으로 데이터 웨어하우스 시스템의 성능 관리시 고려해야 할 요구 사항을 분석하고 이를 지원하는 DBMax의 확장 아키텍처를 설계 및 구현한다. 구체적으로 요약 관리와 ETL 작업을 지원하기 위한 오라클 9i의 다양한 스키마 객체에 대한 정보와 성능 관련 지표를 제시하여 데이터 웨어하우스 환경에서 수행되는 질의에 대한 SQL 튜닝 기능을 강화한다. 또한 사후 분석을 위한 BBMax의 로그 파일에서 의미 있는 SQL 문을 추출하여 잠재적으로 유용한 실체화된 뷰를 추천하는 요약 권고 기능을 추가한다.

익명 웹로그 탐사에 기반한 동적 링크 추천 (Dynamic Link Recommendation Based on Anonymous Weblog Mining)

  • 윤선희;오해석
    • 정보처리학회논문지C
    • /
    • 제10C권5호
    • /
    • pp.647-656
    • /
    • 2003
  • 웹 공간(Webspace)에서 사용자의 순회패턴을 포착하는 것을 ‘순회패턴 탐사(mining traversal patterns)’라 한다. 순회패턴 탐사에서는 사용자가 원하는 정보를 탐색하기 위해 정보 제공 서비스에 따라 이동하기 때문에 객체(예 : URL)의 내용보다는 위치 때문에 방문될 수도 있는 독특한 특징을 가진다. 따라서 순회패턴 데이터로부터 의미있는 정보를 추출하는 작업의 복잡도를 크게 증가시킨다. 그러나 이러한 정보 제공 서비스의 질을 개선하기 위한 요구가 증가하고 있기 때문에 데이터 탐사 분야에서 순회패턴 탐사 문제는 최근 중요한 문제로 대두되고 있다. 본 논문에서는 빈발 순회패턴을 탐사하여 웹 사이트 상에서 추천을 수행하는 동적 링크 추천(Dynamic Link Recommendation : DLR) 알고리즘을 제안한다. 제안한 DLR 알고리즘은 방대한 자료를 포함하고 있는 대부분의 웹 사이트에 효과적으로 적용될 수 있다. 두 개의 실제 웹 사이트에 적용한 실험 결과는 제안한 방법의 성능이 우수함을 보여준다.