• 제목/요약/키워드: I/O Processing

검색결과 568건 처리시간 0.028초

Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석 (An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications)

  • 조나연;구민오;김바울;;민덕기
    • 정보화연구
    • /
    • 제11권4호
    • /
    • pp.449-462
    • /
    • 2014
  • 빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

Independent I/O Relay Class Design Using Modbus Protocol for Embedded Systems

  • Kim, Ki-Su;Lee, Jong-Chan
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.1-8
    • /
    • 2020
  • 스마트팩토리, 산업용 드론, 빌딩 에너지 관리 시스템, PLC, 선박, 기차 및 비행기를 포함한 산업현장에서 Modbus프로토콜을 사용하여 시스템 모듈 간 통신을 적용한다. 기존의 Modbus는 시리얼 직렬통신으로 사용되었지만, 최근 Modbus프로토콜은 TCP/IP 통신으로 사용된다. Modbus프로토콜은 3가지 유형의 RTU, TCP 및 ASCII를 지원하고 임베디스 시스템에 프로토콜을 구현 하여 사용 한다. 하지만 RTU, TCP, ASCII기반의 프로토콜은 각 송신 I/O장치가 다를 수 있다. 예를 들어 RTU, ASCII 통신은 시리얼기반으로 통신 프로토콜을 송신하지만 이더넷 TCP/IP 송신을 요구하는 경우도 있다. 이와 같은 문제는 특히 임베디드 시스템에서 C언어(절차 지향)를 사용하기 때문에 I/O레지스터 관련 소스코드의 복잡성 증가 문제가 발생된다. 본 연구는 임베디드 장치에서 I/O함수를 논리적으로 분리가능한 소프트웨어 설계를 진행하고, 더불어 대리자 클래스 인스턴스를 통하여 I/O처리가 필요한 각 인스턴스의 수행 로직을 Modbus RTU, TCP, ASCII프로토콜 생성으로 설계 하였고 인스턴스별 통신 I/O처리와 논리적 수행 로직을 분리 가능한 소프트웨어 설계와 실험을 하였다.

Sim-Hadoop : 신뢰성 있고 효율적인 N-body 시뮬레이션을 위한 Hadoop 분산 파일 시스템과 병렬 I / O (Sim-Hadoop : Leveraging Hadoop Distributed File System and Parallel I/O for Reliable and Efficient N-body Simulations)

  • 아마드;이승룡;정태충
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.476-477
    • /
    • 2013
  • Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.

모바일 시스템에서 사용자 반응성을 고려한 입출력 스케줄링 기법 (I/O Scheduler Scheme for User Responsiveness in Mobile Systems)

  • 박종우;윤준영;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권11호
    • /
    • pp.379-384
    • /
    • 2016
  • 낸드 플래시 저장장치는 하드디스크보다 응답시간이 빠르고, 전력 소모가 적으며, 단위 면적 당 저장 용량이 큰 장점을 가지고 있어 컴퓨터 시스템의 저장장치로 널리 사용되고 있다. 그러나 현재 사용되고 있는 운영체제의 입출력 스케줄러는 하드디스크의 특성에 최적화되어 있다. 따라서 기존의 입출력 스케줄러는 낸드 플래시 저장장치에 적용될 경우에 불필요한 오버헤드가 포함된다. 특히 쓰기 요청이 집중적으로 수행될 경우에 가비지 콜렉션 또한 집중적으로 수행된다. 이로 인하여 입출력 요청의 처리가 지연되는 문제점이 발생된다. 본 논문에서는 가비지 콜렉션이 집중적으로 수행됨으로 인하여 순간적으로 읽기 입출력 요청의 응답시간이 증가되는 것을 방지하고, 낸드 플래시 저장장치에 최적화된 입출력 스케줄러를 제안하였다. 성능평가를 통하여 제안 기법이 평균 읽기 응답시간을 1%, 최대 응답시간을 78% 줄여 사용자 반응성을 향상시켰음을 보였다.

VOD 시스템에서의 디스크 스케줄링 기법의 성능 평가 (Performance Evaluation of Disk Scheduling Schemes in a VOD System)

  • 전용희;이상학
    • 한국정보처리학회논문지
    • /
    • 제7권11호
    • /
    • pp.3519-3533
    • /
    • 2000
  • 일반적으로 주문형 비디오 시스템(Video-On-Demand)에서는 계산 능력보다는 I/O 기능 및 저장 요구사항이 더 중요하다. CPU 기술의 발달로 프로세서의 성능과 디스크 속도 사이의 차이는 점차로 넓어지고 있는 실정이다. 그러AM로, 디스크 시스템이 VOD 시스템에서 대표적으로 병목 현상을 초래하게 된다. 이러한 물리적인 제한을 완화하기 위하여 디스크 배열 시스템이 사용된다. 디스크 배열 시스템의 I/O 성능은 프로세서의 능력, I/O 스케줄링 정책, 배열에 사용되는 구성 디스크의 수, 디스크 블록 크기, 블록 배열 정책 등에 의하여 개선될 수 있다. 본 논문에서 고려된 디스크 스케줄링 기법들로는 EDF(Earliest Deadline First), SCAN, SCAN-EDF, Round-robin, GSS(Grouped Sweeping Scheme) 및 SCAN의 변형된 형태인 C-SCAN, LOOK, C-LOOK 등이 있다. 이러한 디스크 스케줄링 기법들을 중심으로 모의실험을 수행하고 파리미터들이 성능에 미치는 영향을 분석하였다.

  • PDF

자동 광섬유 정렬 장치의 설계 및 제작에 관한 연구 (A Study on the Design and Development of Automatic Optical Fiber Aligner)

  • 김병희;엄철;최영석
    • 산업기술연구
    • /
    • 제22권B호
    • /
    • pp.241-249
    • /
    • 2002
  • Optical fiber is indispensable for optical communication systems that transmit large volumes of data at high speed, but super precision technology in sub-micron units is required for optical axis adjustment. We developed the automatic optical fiber by image processing and automatic loading system. we have developed 6-axis micro stage system for I/O optical fiber arrays, the initial automatic aligning system software for a input optical array by the image processing technique, fast I/O-synchronous aligning strategy, the automatic loading/unloading system and the automatic UV bonding mechanism. In order to adjust the alignment it used on PC based motion controller, a $10{\mu}m$ repeat-detailed drawing of automatic loading system is developed by a primary line up for high detailed drawing. Also, at this researches used the image processing system and algorithm instead of the existing a primary hand-line up and fiber input array and waveguide chip formed in line by automatic.

  • PDF

AlSiCa($Al_2O_3-SiC-C$)계 내화물 재료에 관한 연구: (I) 국산 chamotte로부터 원료분말합성 (On the Study Of AlSiCa($Al_2O_3-SiC-C$) refractories: (I) Synthesis of raw material using domestic chnmotte)

  • 심광보;주경;오근호
    • 한국결정성장학회지
    • /
    • 제7권4호
    • /
    • pp.626-631
    • /
    • 1997
  • 하동고령토($Al_2O_3-SiC-C$)를 출발원료로하여 AlSiCa내화재 원료를 합성하였다. 하동고령토와 탄소분말을 혼합하여 수소분위기하에서 반응시킨결과, $1300^{\circ}C$에서$Al_2O_3-SiC-C$ 복합체가 힙성되기 시작하여$1400^{\circ}C$에서 완전 합성되었고, $SiO_2$에 대한 최적carbon량은 mole비로 1:4이었다. 합성시 알루미나 용기에 탄소분말을 충전시키지 않을 때는 미합성부분이 없이 밝은 녹색을 띈 $\beta$-SiC(cubic form) 를 형성함을 확인하였다.

  • PDF

가상화 시스템에서 Virtio와 SR-IOV 적용에 대한 단일 및 다중 네트워크 성능 평가 및 분석 (Performance Evaluation and Analysis on Single and Multi-Network Virtualization Systems with Virtio and SR-IOV)

  • 이재학;임종범;유헌창
    • 정보처리학회 논문지
    • /
    • 제13권2호
    • /
    • pp.48-59
    • /
    • 2024
  • 하드웨어 자체적으로 가상화를 지원하는 기능들이 추가됨에 따라 다양한 작업 유형을 가진 사용자 어플리케이션들이 가상화 시스템에서 효율적으로 운용되고 있다. 가상화 지원 기능 중 SR-IOV는 PCI 장치에 대한 직접 접근을 통해 하이퍼바이저 또는 운영체제 개입을 최소화하여 시스템 성능을 높이는 기술로 베어-메탈 시스템 대비 비교적 긴 I/O 경로 및 사용자 영역과 커널 영역에 대한 빈번한 컨텍스트 스위칭 등 가상화 계층의 추가로 낮은 네트워크 성능을 가진 가상화 시스템에서 네트워크 I/O 가속화를 실현하게 해준다. 이러한 성능적 이점을 이용하기 위해 가상머신 또는 컨테이너와 같은 인스턴스에 SR-IOV를 접목할 시 최적의 네트워크 I/O 성능을 도출할 수 있는 네트워크 자원 관리 정책이 활발히 연구되고 있다. 본 논문은 I/O 가속화를 실현하는 SR-IOV의 네트워크 성능을 1) 네트워크 지연 시간, 2) 네트워크 처리량, 3) 네트워크 공정성, 4) 성능간섭, 5) 다중 네트워크와 같은 측면으로 세밀한 성능 평가 및 분석을 Virtio와 비교하여 진행한다. 본 논문의 기여점은 다음과 같다. 첫째, 가상화 시스템에서 Virtio와 SR-IOV의 네트워크 I/O 과정을 명확히 설명했으며, 둘째, Virtio와 SR-IOV의 네트워크 성능을 다양한 성능 메트릭을 기반으로 분석하였다. 셋째, 가상머신 밀집도가 높은 환경에서 SR-IOV 네트워크에 대한 시스템 오버헤드 및 이에 대한 최적화 가능성을 실험으로 확인하였다. 본 논문의 실험 결과 및 분석들은 스마트 팩토리, 커넥티드-카, 딥러닝 추론 모델, 크라우드 소싱과 같은 네트워크 집약적인 서비스들을 운용하는 가상화 시스템에 대한 네트워크 자원 관리 정책에 활용될 것으로 기대된다.

인피니밴드기반 저장장치에서의 iSER(iSCSI Extension for RDMA) 성능평가 (Performance Evaluation of iSER on Storage system using Infiniband fabric)

  • 김영환;손재기;정혜동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.148-150
    • /
    • 2013
  • 최근 TCP/IP에서 세션을 통하여 노드들 간의 통신을 연결하는 방식에서 현재는 하나의 채널을 통해 고속의 I/O가 가능하도록 하는 인피니밴드 같은 기술이 많이 연구되고 있다. 인피니밴드는 프로세싱 노드와 입출력 장치 사이의 통신, 프로세스간 통신에 대한 산업 표준이 되고 있고 프로세싱 노드와 입출력 장치를 연결하기 위해 스위치 기반의 상호 연결은 전통적인 버스 입출력을 대체하는 새로운 입출력 방식이다. 또한 인피니밴드에서는 현재 이슈가 되고 있는 RDMA 방식을 이용해 원격지 서버들간에 직접 메모리 접근 방식을 통해 CPU와 OS의 로드를 최소화하고 있다. 본 논문에서는 인피니밴드 네트워크를 이용하는 저장장치 접근 프로토콜인 iSER(iSCSI Extension RDMA Protocol)와 기존 이더넷망에서 사용되는 iSCSI(Internet SCSI) 프로토콜을 이용하여 서버와 저장장치 간의 IOPS 와 초당 데이터 전송량에 대한 성능을 평가한다. 우리는 성능평가를 위해 Intel에서 제공하는 저장장치 I/O 성능평가 도구인 IO meter를 이용했다.