• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.028초

데이터센터 냉각방식의 추이와 테스트 베드 개념 설계 (Internet Data Center Cooling System Trend and Facility Configuration Case)

  • 백종국;최환영
    • 실천공학교육논문지
    • /
    • 제15권2호
    • /
    • pp.429-438
    • /
    • 2023
  • 최근 4차 산업혁명 시대에 부응하여 스마트 팩토리 수요가 증가하고 있다. 스마트 팩토리는 기본적으로 방대한 데이터를 기반으로 하는 제조업으로 많은 데이터 처리를 위한 IT 서비스를 필요로 하게 되고 이는 데이터센터의 건립을 가속화하고 있다. 데이터센터의 전산장비는 발열부하와 사용시간 측면에서 일반적인 시설의 냉방 기술과는 다른 차원으로 접근이 필요하다. 본 연구는 최근 데이터센터 냉방 시스템 설계에서 검토해야 할 요인과 기술 변화 트렌드를 조사하고 사례기업의 시설 구성을 위한 각종 기술적 방식을 비교 검토하여 설계안을 결정하는 프로세스를 도출하고 결론에 해당하는 개념 설계안을 제시하고자 한다.

iRODS를 이용한 대용량 전자기록물 관리 시스템 (Massive Electronic Record Management System using iRODS)

  • 한용구;김진승;이승현;이영구
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권8호
    • /
    • pp.825-836
    • /
    • 2010
  • 정보통신의 발전으로 인한 전자 기록물의 등장은 기록물 관리 체계에 많은 변화를 가져 왔다. 전자 기록물의 등장으로 인한 기록물관리의 가장 큰 변화는 종이기록물 등의 물리적인 기록물에 대한 수동적인 관리체제에서 컴퓨터 시스템을 통한 전자형식 기록물의 자동화된 기록 관리체제로의 전환과 대량 대용량으로 발생하는 전자 기록물에 대한 효율적인 관리이다. 데이터 그리드 소프트웨어인 iRODS(Integrated Rule-Oriented Data System)는 규칙 기반 데이터 그리드 시스템으로서 지리적으로 분산된 컴퓨팅 자원을 네트워크로 연동하여 가상화를 통해 대용량 저장 인프라를 구성한다. 특히, 이 시스템은 규칙을 정의함으로써, 입력되는 전자 기록물에 대한 데이터를 분산 및 백업하는 등의 조작이 가능하다. 따라서 iRODS는 대량, 대용량으로 발생하는 전자기록물을 자동적으로 관리하는 전자기록물 관리시스템의 구축에 적합한 기술이다. 본 논문은 규칙 기반의 그리드 시스템인 iRODS를 이용하여 전자 기록물 관리 시스템을 설계 및 구현하였다. 본 논문에서 구축한 전자 기록물 관리 시스템은 iRODS의 규칙을 이용하여 기록물 유형에 따라 데이터를 자동 분산하며 데이터를 자동으로 백업한다. 그리고 iRODS의 메타데이터를 관리하는 iCAT DB를 이용하여 전자 기록물의 메타 데이터 저장 및 검색 기능을 제공한다.

IoT 및 도메인 지식 기반 교량 케이블 모니터링 자동화 시스템 구축 연구 (Development of Autonomous Cable Monitoring System of Bridge based on IoT and Domain Knowledge)

  • 민지영;박영수;박태림;길윤섭;진승섭
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제28권3호
    • /
    • pp.66-73
    • /
    • 2024
  • 사장교에서 케이블 부재는 하중을 전달하는 가장 중요한 부재 중 하나이다. 따라서 사장교의 구조적 상태 및 안정성을 평가하기 위해서는 케이블의 상태를 파악하기 위해 지속적인 모니터링을 수행하는 것이 중요하다. 이러한 모니터링 시스템은 케이블에 부착된 가속도계를 통해 진동을 측정하고 이를 토대로 케이블 장력과 감쇠비를 추정하고, 이를 토대로 케이블의 상태 평가의 기초자료로 활용한다. 이러한 상시 모니터링 시스템은 지속적으로 진동 데이터를 측정하기 때문에 데이터 수집 시스템을 포함한 하드웨어가 안정적이고 전력 효율성이 높아야 한다. 또한 지속적으로 생성되는 대량의 진동 신호들을 사람의 개입을 최소화하며 안정적으로 분석할 수 있는 자율모니터링 시스템이 요구된다. 본 연구에서는 IoT를 활용한 도메인 지식 기반 자율 모니터링 시스템을 개발하였다. 케이블 자율 모니터링 시스템을 구현하기 위한 가장 중요한 요소는 케이블의 장력과 감쇠비의 추정을 위한 진동 신호의 주파수 영역 내 발생하는 첨두의 자동 추정이다. 본 연구에서는 도메인 지식 기반 첨두 자동 추정 알고리즘을 데이터 수집 및 On-Board Processing이 가능한 IoT 시스템에 내장하여 IoT 센서 단에서 Edge computing이 가능한 효율적인 IoT 자율 모니터링 시스템을 구현하였다. 개발된 자율 모니터링 시스템을 국내 사장교에 설치하여 장기간 현장 운영 성능을 평가하였으며, 그 결과 장기 데이터 수신률, 장력 추정의 정확성, 효율성 측면에서 기존 시스템과 비교하여 작동 성능을 확인하고 검증하였다.

Comprehensive Survey on Internet of Things, Architecture, Security Aspects, Applications, Related Technologies, Economic Perspective, and Future Directions

  • Gafurov, Khusanbek;Chung, Tai-Myoung
    • Journal of Information Processing Systems
    • /
    • 제15권4호
    • /
    • pp.797-819
    • /
    • 2019
  • Internet of Things (IoT) is the paradigm of network of Internet-connected things as objects that constantly sense the physical world and share the data for further processing. At the core of IoT lies the early technology of radio frequency identification (RFID), which provides accurate location tracking of real-world objects. With its small size and convenience, RFID tags can be attached to everyday items such as books, clothes, furniture and the like as well as to animals, plants, and even humans. This phenomenon is the beginning of new applications and services for the industry and consumer market. IoT is regarded as a fourth industrial revolution because of its massive coverage of services around the world from smart homes to artificial intelligence-enabled smart driving cars, Internet-enabled medical equipment, etc. It is estimated that there will be several dozens of billions of IoT devices ready and operating until 2020 around the world. Despite the growing statistics, however, IoT has security vulnerabilities that must be addressed appropriately to avoid causing damage in the future. As such, we mention some fields of study as a future topic at the end of the survey. Consequently, in this comprehensive survey of IoT, we will cover the architecture of IoT with various layered models, security characteristics, potential applications, and related supporting technologies of IoT such as 5G, MEC, cloud, WSN, etc., including the economic perspective of IoT and its future directions.

비디오 감시 시스템을 위한 멀티코어 프로세서 기반의 병렬 SVM (Multicore Processor based Parallel SVM for Video Surveillance System)

  • 김희곤;이성주;정용화;박대희;이한성
    • 정보보호학회논문지
    • /
    • 제21권6호
    • /
    • pp.161-169
    • /
    • 2011
  • 최근 지능형 비디오 감시 시스템은 영상 분석 및 인식기술 등의 보다 진화된 기술 개발을 요구하고 있다. 특히, 비디오 영상에서 객체를 식별하기 위하여 Support Vector Machine(SVM)과 같은 기계학습 알고리즘이 이용된다. 그러나 SVM은 대용량의 데이터를 학습시키기 위하여 많은 계산량이 필요하기 때문에 수행시간을 효율적으로 감소시키기 위하여 병렬처리 기법을 적용할 필요가 있다. 본 논문에서는, 최근 사용이 증가하고 있는 멀티코어 프로세서를 활용한 SVM 학습의 병렬처리 방법을 제안한다. 4-코어 프로세서를 이용한 실험 결과, 제안 방법은 SVM 학습의 순차처리 방법과 비교하여 2.5배 정도 수행시간이 감소됨을 확인하였다.

DRAM-PCM 하이브리드 메인 메모리에 대한 동적 다항식 회귀 프리페처 (Dynamical Polynomial Regression Prefetcher for DRAM-PCM Hybrid Main Memory)

  • ;김정근;김신덕
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.20-23
    • /
    • 2020
  • This research is to design an effective prefetching method required for DRAM-PCM hybrid main memory systems especially used for big data applications and massive-scale computing environment. Conventional prefetchers perform well with regular memory access patterns. However, workloads such as graph processing show extremely irregular memory access characteristics and thus could not be prefetched accurately. Therefore, this research proposes an efficient dynamical prefetching algorithm based on the regression method. We have designed an intelligent prefetch engine that can identify the characteristics of the memory access sequences. It can perform regular, linear regression or polynomial regression predictive analysis based on the memory access sequences' characteristics, and dynamically determine the number of pages required for prefetching. Besides, we also present a DRAM-PCM hybrid memory structure, which can reduce the energy cost and solve the conventional DRAM memory system's thermal problem. Experiment result shows that the performance has increased by 40%, compared with the conventional DRAM memory structure.

대용량 RFID 데이터를 위한 효율적인 데이터 관리 기법 (Efficient Data Management Method for Massive RFID Data)

  • 복경수;조용준;여명호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제9권6호
    • /
    • pp.25-36
    • /
    • 2009
  • 본 논문에서는 RFID 시스템에서 많이 발생하는 경로 질의와 포함 관계 질의를 효과적으로 처리하기 위한 데이터 관리 기법을 제안한다. 제안하는 데이터 관리 기법은 다양한 포함 관계에 대한 경로 정보를 유연하게 표현함으로써 운송 도중 발생하는 포함 관계의 변경 및 개별 단위의 물품 경로까지 지원한다. 또한, 공급망의 구조 정보를 활용한 경로 정보의 압축으로 저장되는 데이터의 양을 감소시킬 수 있다. 기존 기법들과 비교 평가를 수행한 결과 저장 공간과 질의 처리 측면에서 성능이 향상됨을 확인할 수 있었다.

Access Control Mechanism for CouchDB

  • Ashwaq A., Al-otaibi;Reem M., Alotaibi;Nermin, Hamza
    • International Journal of Computer Science & Network Security
    • /
    • 제22권12호
    • /
    • pp.107-115
    • /
    • 2022
  • Recently, big data applications need another database different from the Relation database. NoSQL databases are used to save and handle massive amounts of data. NoSQL databases have many advantages over traditional databases like flexibility, efficiently processing data, scalability, and dynamic schemas. Most of the current applications are based on the web, and the size of data is in increasing. NoSQL databases are expected to be used on a more and large scale in the future. However, NoSQL suffers from many security issues, and one of them is access control. Many recent applications need Fine-Grained Access control (FGAC). The integration of the NoSQL databases with FGAC will increase their usability in various fields. It will offer customized data protection levels and enhance security in NoSQL databases. There are different NoSQL database models, and a document-based database is one type of them. In this research, we choose the CouchDB NoSQL document database and develop an access control mechanism that works at a fain-grained level. The proposed mechanism uses role-based access control of CouchDB and restricts read access to work at the document level. The experiment shows that our mechanism effectively works at the document level in CouchDB with good execution time.

RANSAC을 이용한 다중 평면 피팅의 효율적인 CUDA 구현 (Efficient CUDA Implementation of Multiple Planes Fitting Using RANSAC)

  • 조태훈
    • 한국정보통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.388-393
    • /
    • 2019
  • 외란(Outlier)이 있는 데이터를 피팅(Fitting)하는 방법으로 RANSAC(RANdom SAmple Consensus)알고리즘이 선, 원, 타원 등 의 피팅에 많이 사용되고 있다. 본 논문은 다수의 평면에 대한 3차원 포인트 데이터가 주어질 때 각 평면에 대해 RANSAC기반 평면 피팅을 최근 딥러닝 등에 많이 사용되는 GPU의 하나인 CUDA를 이용하여 효율적으로 수행하는 알고리즘을 제안한다. 모의 데이터와 실제 데이터를 이용하여 제안된 알고리즘의 성능을 CPU와 비교하여 보인다. 외란이 많고 인라이어(inlier) 비율이 낮을수록 CPU대비 속도가 향상되고 평면의 개수가 많을수록 평면당 데이터개수가 많을수록 병렬처리에 의한 속도가 가속됨을 보인다. 제안된 방법은 다중 평면 피팅외의 다른 피팅에도 쉽게 적용할 수 있다.

벡터화된 SIMD 프로그램어블 통합 셰이더를 위한 특수 함수 유닛 설계 (Design of Special Function Unit for Vectorized SIMD Programmable Unified Shader)

  • 정진하;김경섭;윤정희;서장원;최상방
    • 대한전자공학회논문지SD
    • /
    • 제47권5호
    • /
    • pp.56-70
    • /
    • 2010
  • 현실감 있는 3차원 그래픽 영상을 지원하기 위해서는 3차원의 그래픽 데이터를 기반으로 사실감을 부여하여 2차원 영상을 생성하는 렌더링 기술과 방대한 양의 데이터에 대해 복잡한 연산을 효율적으로 처리할 수 있는 고성능 그래픽 프로세서가 요구된다. 이로 인해 그래픽 하드웨어는 급속히 발전하였고 기존에 실시간 처리가 불가능했던 여러 고급 렌더링 효과들을 가능하게 하고 있다. 과거에 비해 셰이딩 기술이 발전하면서 사실적인 영상의 렌더링이 가능하게 되었으나 아직 많은 계산 시간을 필요로 하고 있다. 실사와 같은 영상을 빠르게 처리하기 위해서 그래픽 프로세서는 많은 데이터에 대해 복잡한 부동소수점 연산을 효율적으로 처리 할 수 있도록 다수의 연산유닛이 집적되는 방향으로 발전하고 있다. 본 논문에서는 프로그램어블 통합 셰이더 프로세서에서 고성능 3차원 컴퓨터 그래픽 영상을 지원하기 위해 특수 함수 유닛을 설계하고 구현하였다. 설계한 특수 함수 유닛에 대해 기능적 레벨의 시뮬레이션을 하여 동작을 검증 하였으며, FPGA Virtex-4(xc4vlx200)에 구현하여 하드웨어 리소스 사용율과 동작속도를 확인 하였다.