저장시스템의 응답 시간 개선을 위한 효율적인 이중 큐 전략

An Efficient Dual Queue Strategy for Improving Storage System Response Times

최근 빅데이터, 클라우드 컴퓨팅, 인공지능 등 대용량 데이터 처리 기술의 발전에 따라 데이터센터와 엔터프라이즈 환경에서 고성능 저장장치에 대한 요구가 증가하고 있다. 특히 저장장치의 빠른 데이터 응답 속도는 전체 시스템 성능을 좌우하는 핵심 요소이다. 이에 NVMe(Non-Volatile Memory Express) 인터페이스 기반 SSD(Solid State Drive)가 주목받고 있으나, 다수 호스트의 대량 데이터 입출력 요청을 동시에 처리하는 과정에서 새로운 병목 현상이 발생하고 있다. SSD는 일반적으로 호스트 요청을 내부 큐에 순차적으로 쌓아 처리하는 방식을 취한다. 이때 긴 전송 길이 요청이 먼저 처리되면 짧은 요청들이 장기간 대기하여 평균 응답 시간이 증가한다. 이 문제를 해결하기 위해 데이터 전송 시간제한과 데이터 분할 전송 방법이 제안되었으나 근본적인 해결책이 되지 못했다. 본 논문에서는 저장장치 내부 데이터 처리 스케줄링 전략인 DQBS(Dual Queue Based Scheduling Scheme)를 제안한다. 이 방식은 이중 큐 기반의 스케줄링 전략으로 하나의 큐에서는 요청 순서를, 다른 큐에서는 전송 길이를 기준으로 데이터 전송 순서를 관리한다. 그리고 요청 시간과 전송 길이를 종합적으로 고려하여 효율적인 데이터 전송 순서를 결정한다. 이를 통해 대기 시간이 긴 요청과 짧은 요청을 균형있게 처리할 수 있어 전체 평균 응답 시간을 단축시킬 수 있다. 실제 시뮬레이션 결과, 제안 기법은 기존 순차 처리 방식 대비 월등히 향상된 성능을 보였다. 본 연구는 고성능 SSD 환경에서 데이터 전송 효율을 극대화하는 스케줄링 기법을 제시하여, 차세대 고성능 저장 시스템의 발전에 기여할 수 있을 것으로 기대된다.

Recent advances in large-scale data processing technologies such as big data, cloud computing, and artificial intelligence have increased the demand for high-performance storage devices in data centers and enterprise environments. In particular, the fast data response speed of storage devices is a key factor that determines the overall system performance. Solid state drives (SSDs) based on the Non-Volatile Memory Express (NVMe) interface are gaining traction, but new bottlenecks are emerging in the process of handling large data input and output requests from multiple hosts simultaneously. SSDs typically process host requests by sequentially stacking them in an internal queue. When long transfer length requests are processed first, shorter requests wait longer, increasing the average response time. To solve this problem, data transfer timeout and data partitioning methods have been proposed, but they do not provide a fundamental solution. In this paper, we propose a dual queue based scheduling scheme (DQBS), which manages the data transfer order based on the request order in one queue and the transfer length in the other queue. Then, the request time and transmission length are comprehensively considered to determine the efficient data transmission order. This enables the balanced processing of long and short requests, thus reducing the overall average response time. The simulation results show that the proposed method outperforms the existing sequential processing method. This study presents a scheduling technique that maximizes data transfer efficiency in a high-performance SSD environment, which is expected to contribute to the development of next-generation high-performance storage systems