• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.50-52
• /
• 2023

ML/DL과 같은 AI의 연구가 HPC 환경에서 수행되면서 데이터 병렬화, 분산 학습 및 대규모 데이터 세트를 처리를 위한 요구사항이 급격히 증가하였다. 또한, 병렬처리 연산에 특화된 가속기 기반 이기종 아키텍처 환경 변화로 I/O 처리에 고대역폭, 저지연의 스토리지 기술을 필요로 하고 있다. 본 논문에서는 고집적의 병렬 컴퓨팅 환경에 고성능 HPC, AI 애플리케이션을 처리하기 위한 티어링 스토리지 기술을 논한다. 나아가 실제 고성능 NVMe 기반의 플래시 티어링 계층 구성에서 액세스 패턴에 따른 데이터 처리 환경을 구축하고 성능을 검증한다. 이로써 다양한 사용자 어플리케이션의 I/O 패턴을 특성에 맞게 지원할 수 있다.

• 사물인터넷융복합논문지
• /
• 제10권3호
• /
• pp.19-24
• /
• 2024

최근 빅데이터, 클라우드 컴퓨팅, 인공지능 등 대용량 데이터 처리 기술의 발전에 따라 데이터센터와 엔터프라이즈 환경에서 고성능 저장장치에 대한 요구가 증가하고 있다. 특히 저장장치의 빠른 데이터 응답 속도는 전체 시스템 성능을 좌우하는 핵심 요소이다. 이에 NVMe(Non-Volatile Memory Express) 인터페이스 기반 SSD(Solid State Drive)가 주목받고 있으나, 다수 호스트의 대량 데이터 입출력 요청을 동시에 처리하는 과정에서 새로운 병목 현상이 발생하고 있다. SSD는 일반적으로 호스트 요청을 내부 큐에 순차적으로 쌓아 처리하는 방식을 취한다. 이때 긴 전송 길이 요청이 먼저 처리되면 짧은 요청들이 장기간 대기하여 평균 응답 시간이 증가한다. 이 문제를 해결하기 위해 데이터 전송 시간제한과 데이터 분할 전송 방법이 제안되었으나 근본적인 해결책이 되지 못했다. 본 논문에서는 저장장치 내부 데이터 처리 스케줄링 전략인 DQBS(Dual Queue Based Scheduling Scheme)를 제안한다. 이 방식은 이중 큐 기반의 스케줄링 전략으로 하나의 큐에서는 요청 순서를, 다른 큐에서는 전송 길이를 기준으로 데이터 전송 순서를 관리한다. 그리고 요청 시간과 전송 길이를 종합적으로 고려하여 효율적인 데이터 전송 순서를 결정한다. 이를 통해 대기 시간이 긴 요청과 짧은 요청을 균형있게 처리할 수 있어 전체 평균 응답 시간을 단축시킬 수 있다. 실제 시뮬레이션 결과, 제안 기법은 기존 순차 처리 방식 대비 월등히 향상된 성능을 보였다. 본 연구는 고성능 SSD 환경에서 데이터 전송 효율을 극대화하는 스케줄링 기법을 제시하여, 차세대 고성능 저장 시스템의 발전에 기여할 수 있을 것으로 기대된다.

• 정보과학회 논문지
• /
• 제43권7호
• /
• pp.736-743
• /
• 2016

멀티코어 시스템에서 코어 친화도가 네트워크 I/O 성능에 미치는 영향은 다양한 연구들을 통해 관찰 되었다. 점차 고속화되는 네트워크 연결의 발전에 따라 효율적인 코어 친화도 정책은 중요한 성능 요소가 될 수 있다. 미들웨어 수준의 동적 코어 친화도 프레임워크는 네트워크와 디스크 I/O를 함께 고려한 코어 친화도 정책을 제안하였지만 다중 큐에 대한 고려는 이루어지지 않았다. 본 논문에서는 기존 동적 코어 친화도 프레임워크에 사용된 알고리즘을 다중 큐를 지원하기 위한 구조로 확장하고, 40 기가비트 이더넷과 NVMe 디바이스를 장착한 시스템에서 파일 업로드 성능을 분석한다. 실험 결과 다중 큐를 지원하기 위한 동적 코어 친화도는 하둡 분산 파일 시스템의 파일 업로드 처리량을 최대 32% 향상시켰으며 매니코어 시스템에서 더 나은 확장성을 제공할 수 있음을 확인하였다. 또한 다중 큐 조합에 따른 성능 영향에 대해 분석하여 다중 큐 분배 조합을 위해 고려해야 할 성능 요소들에 대해 논의한다.