• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.874-876
• /
• 2001

클러스터링(clustering)은 병렬 처리를 위한 기술로 비교적 값이 싼 컴퓨터들을 네트웍으로 연결하여 전체가 하나의 고성능 수퍼 컴퓨터처럼 동작하게 하는 기술이다. 이 클러스터 시스템의 성능을 최대한 활용하기 위해서는 디스크 입출력에 생기는 병목현상을 해결하여야 하는데, 그 해결책의 하나로 병렬파일시스템을 들 수 있다. 기존의 병렬파일시스템은 TCP/IP기반의 소켓으로 메시지를 주고받았다 그러나 TCP/IP는 프로토콜 오버헤드가 크고 처리 속도가 느리다. 본 논문에서는 이런 오버헤드를 줄이기 위해 도입된 Lightweight 메시징 기법인 VIA(Virtual Interface Architecture)를 이용하여 병렬파일시스템을 구현하기 위한 구체적인 방안을 제시하고 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.621-624
• /
• 2008

많은 파일 시스템은 각 구성 요소로부터 야기되는 다양한 오류에 노출되어 있어서 다양한 복구 기법이 제시되고 있다. 그러나 사용자의 실수로 인한 데이터 손실에 대해서는 상대적으로 대비책이 미비하다. 파일시스템 버저닝(virsioning)은 사용자의 부주의로 인한 데이터 손실을 최소화 할 수 있는 기술이다. 본 연구에서는 단일 시스템을 대상으로 개발된 버저닝 파일시스템인 ext3cow을 병렬 파일시스템인 PVFS2에 적용하여 병렬 파일시스템에서의 버저닝 기술의 적용 가능성을 살펴보았다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10c
• /
• pp.630-632
• /
• 2000

과도한 파일 입출력이 요구되는 병렬파일 시스템의 성능을 결정하는 중요한 요소로서 캐슁과 선반입을 들 수 있다. 본 논문은 캐쉬의 크기에 비해 상대적으로 큰 파일을 요청하는 경우에 시스템 성능에 막대한 영향을 미치는 선반입에 대해서 선반입할 데이터를 결정하는 알고리즘으로 테이블 비교법을 제안하고, 이와 더불어 예측된 데이터의 선반입 여부와 선반입 시기를 결정하는 경우 현재의 가용 입출력 대역폭을 고려하는 기법을 제안한다. 제안하는 선반입 알고리즘을 시뮬레이션을 통하여 기타 선반입 알고리즘과 비교해 본 결과 파일 시스템 성능이 향상되었음을 보여준다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.1027-1029
• /
• 2005

네트워킹 기술의 발달은 파일 시스템 개념에도 변화를 가져와 병렬 파일 시스템을 구성하는 기법을 고려하게 하였다. 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적인 파일시스템으로 구성하는 기술로서 유휴 자원의 활용, I/O처리 대역폭의 증대라는 장점으로 많은 연구가 진행 중이다. 그러나 이러한 파일시스템을 운영하기 위해서는 기존 파일시스템이 갖는 특징 이외에 네트워크 특성, 각 노드들의 구성 방법 등을 추가로 고려하여야 한다. 본 논문에서는 대표적인 병렬 파일 시스템을 대상으로 네트워크 및 노드의 역할을 변경하면서 병렬 파일 시스템의 성능에 어떤 영향을 미치는가에 대하여 조사하고 분석하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.45-47
• /
• 2017

하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

• Journal of KIISE:Computer Systems and Theory
• /
• v.29 no.7
• /
• pp.384-393
• /
• 2002

A Parallel file system is normally used to support excessive file requests from parallel applications in a cluster system, whereas prefetching is useful for improving the file system performance. This paper proposes a new prefetching method, Fips(dynamic File Prefetching Scheme based on file access patterms), that is particularly suitable for parallel scientific applications and multimedia web services in a parallel file system. The proposed prefetching method introduces a dynamic prefetching scheme to predict data blocks precisely in run-time although the file access patterns are irregular. In addition, it includes an algorithm to determine whether and when the prefetching is performed using the current available I/O bandwidth. Experimental results confirmed that the use of the proposed prefetching policy in a parallel file system produced a higher file system performance.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04a
• /
• pp.243-246
• /
• 2001

과도한 파일 입출력이 요구되는 병렬파일 시스템의 성능을 결정하는 중요한 요소로서 캐슁과 선반입을 들 수 있다. 본 논문은 캐쉬의 크기에 비해 상대적으로 근 파일을 요청하는 경우에 시스템 성능에 막대한 영향을 미치는 선반입에 대해서 선반입할 데이터를 결정하는 알고리즘으로 테이블 비교법을 제안하고, 이와 더불어 예측된 데이터의 선반입 여부와 선반입 시기를 결정하는 경우 현재의 가용 입출력 대역폭을 고려하는 기법을 제안한다. 제안하는 선반입 알고리즘은 실제 병렬파일시스템에 구현되었으며, 파일시스템 성능향상에 크게 기여하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10a
• /
• pp.718-720
• /
• 1998

병렬파일시스템을 분산 환경에서 구현하고자 할 때 하부기능들을 관리 및 유지하기 위해서는 복잡한 내부 동작이 필요하다. 저 수준의 하드웨어 관리기능들을 고수준의 파일 서비스 기능들과 분리함으로써 병렬파일시스템 구현의 복잡도를 감소시킬수 있다. 이를 위해 본 논문에서는 분산환경상에서 물리적으로 분산되어 있는 디스크들을 하나의 거대한 논리적인 가상 디스크로 보여주는 분산공유디스크개념을 제안한다. 분산 공유디스크는 병렬 파일 시스템을 지원하기 위한 저수준의 인터페이스를 제공함으로써 병렬파일시스템에서 필용로 하는 하부기능들을 잠재적으로 제공할 수 있다. 또한 클러스터 기반 시스템에서 분산공유디스크의 프로토타입을 구현하여 그의 동작을 실험하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.1417-1420
• /
• 2005

고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.64-65
• /
• 2016

슈퍼컴퓨터는 대용량의 데이터를 효율적으로 관리하기 위해 Lustre 파일 시스템과 같은 고성능의 병렬 파일 시스템을 이용한다. 한국과학기술정보연구원의 슈퍼컴퓨터 4호기 Tachyon 2차 시스템과 같이 다수의 사용자가 접속하는 슈퍼컴퓨터는 사용자의 데이터가 한없이 누적됨으로 Lustre 파일 시스템의 성능이 저하되는 이슈가 있다. 본 논문에서는 사용자의 데이터가 누적되는 것을 방지하기 위해 장기간 사용하지 않는 데이터를 자동 삭제하는 기능인 Purge기능을 구현하였다. 특히, 기하급수적으로 늘어나는 병렬 파일 시스템의 용량에 대처하기 위해 병렬 컴퓨팅 기술을 이용해 고속 Purge 기능을 구현하였다. 단일 컴퓨팅 노드와 병렬 환경에서 구현한 결과를 비교하였을 때, 단일 컴퓨팅 노드에서는 1,517GB 용량을 지우는데 221.2초가 걸렸으며 16개의 컴퓨팅 노드를 이용한 병렬 환경에서는 49.9초가 걸렸다. 이 결과를 비교했을 때 단일 컴퓨팅 노드에서 구현한 결과 대비 병렬 환경에서 구현했을 때 약 4.4배의 성능향상을 얻을 수 있었다.