빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.
스마트팩토리, 산업용 드론, 빌딩 에너지 관리 시스템, PLC, 선박, 기차 및 비행기를 포함한 산업현장에서 Modbus프로토콜을 사용하여 시스템 모듈 간 통신을 적용한다. 기존의 Modbus는 시리얼 직렬통신으로 사용되었지만, 최근 Modbus프로토콜은 TCP/IP 통신으로 사용된다. Modbus프로토콜은 3가지 유형의 RTU, TCP 및 ASCII를 지원하고 임베디스 시스템에 프로토콜을 구현 하여 사용 한다. 하지만 RTU, TCP, ASCII기반의 프로토콜은 각 송신 I/O장치가 다를 수 있다. 예를 들어 RTU, ASCII 통신은 시리얼기반으로 통신 프로토콜을 송신하지만 이더넷 TCP/IP 송신을 요구하는 경우도 있다. 이와 같은 문제는 특히 임베디드 시스템에서 C언어(절차 지향)를 사용하기 때문에 I/O레지스터 관련 소스코드의 복잡성 증가 문제가 발생된다. 본 연구는 임베디드 장치에서 I/O함수를 논리적으로 분리가능한 소프트웨어 설계를 진행하고, 더불어 대리자 클래스 인스턴스를 통하여 I/O처리가 필요한 각 인스턴스의 수행 로직을 Modbus RTU, TCP, ASCII프로토콜 생성으로 설계 하였고 인스턴스별 통신 I/O처리와 논리적 수행 로직을 분리 가능한 소프트웨어 설계와 실험을 하였다.
Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.
낸드 플래시 저장장치는 하드디스크보다 응답시간이 빠르고, 전력 소모가 적으며, 단위 면적 당 저장 용량이 큰 장점을 가지고 있어 컴퓨터 시스템의 저장장치로 널리 사용되고 있다. 그러나 현재 사용되고 있는 운영체제의 입출력 스케줄러는 하드디스크의 특성에 최적화되어 있다. 따라서 기존의 입출력 스케줄러는 낸드 플래시 저장장치에 적용될 경우에 불필요한 오버헤드가 포함된다. 특히 쓰기 요청이 집중적으로 수행될 경우에 가비지 콜렉션 또한 집중적으로 수행된다. 이로 인하여 입출력 요청의 처리가 지연되는 문제점이 발생된다. 본 논문에서는 가비지 콜렉션이 집중적으로 수행됨으로 인하여 순간적으로 읽기 입출력 요청의 응답시간이 증가되는 것을 방지하고, 낸드 플래시 저장장치에 최적화된 입출력 스케줄러를 제안하였다. 성능평가를 통하여 제안 기법이 평균 읽기 응답시간을 1%, 최대 응답시간을 78% 줄여 사용자 반응성을 향상시켰음을 보였다.
일반적으로 주문형 비디오 시스템(Video-On-Demand)에서는 계산 능력보다는 I/O 기능 및 저장 요구사항이 더 중요하다. CPU 기술의 발달로 프로세서의 성능과 디스크 속도 사이의 차이는 점차로 넓어지고 있는 실정이다. 그러AM로, 디스크 시스템이 VOD 시스템에서 대표적으로 병목 현상을 초래하게 된다. 이러한 물리적인 제한을 완화하기 위하여 디스크 배열 시스템이 사용된다. 디스크 배열 시스템의 I/O 성능은 프로세서의 능력, I/O 스케줄링 정책, 배열에 사용되는 구성 디스크의 수, 디스크 블록 크기, 블록 배열 정책 등에 의하여 개선될 수 있다. 본 논문에서 고려된 디스크 스케줄링 기법들로는 EDF(Earliest Deadline First), SCAN, SCAN-EDF, Round-robin, GSS(Grouped Sweeping Scheme) 및 SCAN의 변형된 형태인 C-SCAN, LOOK, C-LOOK 등이 있다. 이러한 디스크 스케줄링 기법들을 중심으로 모의실험을 수행하고 파리미터들이 성능에 미치는 영향을 분석하였다.
Optical fiber is indispensable for optical communication systems that transmit large volumes of data at high speed, but super precision technology in sub-micron units is required for optical axis adjustment. We developed the automatic optical fiber by image processing and automatic loading system. we have developed 6-axis micro stage system for I/O optical fiber arrays, the initial automatic aligning system software for a input optical array by the image processing technique, fast I/O-synchronous aligning strategy, the automatic loading/unloading system and the automatic UV bonding mechanism. In order to adjust the alignment it used on PC based motion controller, a $10{\mu}m$ repeat-detailed drawing of automatic loading system is developed by a primary line up for high detailed drawing. Also, at this researches used the image processing system and algorithm instead of the existing a primary hand-line up and fiber input array and waveguide chip formed in line by automatic.
하드웨어 자체적으로 가상화를 지원하는 기능들이 추가됨에 따라 다양한 작업 유형을 가진 사용자 어플리케이션들이 가상화 시스템에서 효율적으로 운용되고 있다. 가상화 지원 기능 중 SR-IOV는 PCI 장치에 대한 직접 접근을 통해 하이퍼바이저 또는 운영체제 개입을 최소화하여 시스템 성능을 높이는 기술로 베어-메탈 시스템 대비 비교적 긴 I/O 경로 및 사용자 영역과 커널 영역에 대한 빈번한 컨텍스트 스위칭 등 가상화 계층의 추가로 낮은 네트워크 성능을 가진 가상화 시스템에서 네트워크 I/O 가속화를 실현하게 해준다. 이러한 성능적 이점을 이용하기 위해 가상머신 또는 컨테이너와 같은 인스턴스에 SR-IOV를 접목할 시 최적의 네트워크 I/O 성능을 도출할 수 있는 네트워크 자원 관리 정책이 활발히 연구되고 있다. 본 논문은 I/O 가속화를 실현하는 SR-IOV의 네트워크 성능을 1) 네트워크 지연 시간, 2) 네트워크 처리량, 3) 네트워크 공정성, 4) 성능간섭, 5) 다중 네트워크와 같은 측면으로 세밀한 성능 평가 및 분석을 Virtio와 비교하여 진행한다. 본 논문의 기여점은 다음과 같다. 첫째, 가상화 시스템에서 Virtio와 SR-IOV의 네트워크 I/O 과정을 명확히 설명했으며, 둘째, Virtio와 SR-IOV의 네트워크 성능을 다양한 성능 메트릭을 기반으로 분석하였다. 셋째, 가상머신 밀집도가 높은 환경에서 SR-IOV 네트워크에 대한 시스템 오버헤드 및 이에 대한 최적화 가능성을 실험으로 확인하였다. 본 논문의 실험 결과 및 분석들은 스마트 팩토리, 커넥티드-카, 딥러닝 추론 모델, 크라우드 소싱과 같은 네트워크 집약적인 서비스들을 운용하는 가상화 시스템에 대한 네트워크 자원 관리 정책에 활용될 것으로 기대된다.
최근 TCP/IP에서 세션을 통하여 노드들 간의 통신을 연결하는 방식에서 현재는 하나의 채널을 통해 고속의 I/O가 가능하도록 하는 인피니밴드 같은 기술이 많이 연구되고 있다. 인피니밴드는 프로세싱 노드와 입출력 장치 사이의 통신, 프로세스간 통신에 대한 산업 표준이 되고 있고 프로세싱 노드와 입출력 장치를 연결하기 위해 스위치 기반의 상호 연결은 전통적인 버스 입출력을 대체하는 새로운 입출력 방식이다. 또한 인피니밴드에서는 현재 이슈가 되고 있는 RDMA 방식을 이용해 원격지 서버들간에 직접 메모리 접근 방식을 통해 CPU와 OS의 로드를 최소화하고 있다. 본 논문에서는 인피니밴드 네트워크를 이용하는 저장장치 접근 프로토콜인 iSER(iSCSI Extension RDMA Protocol)와 기존 이더넷망에서 사용되는 iSCSI(Internet SCSI) 프로토콜을 이용하여 서버와 저장장치 간의 IOPS 와 초당 데이터 전송량에 대한 성능을 평가한다. 우리는 성능평가를 위해 Intel에서 제공하는 저장장치 I/O 성능평가 도구인 IO meter를 이용했다.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.