10 페타바이트 서버: Dell과 Kioxia, 스토리지 밀도의 한계를 밀어붙이다

스토리지 밀도를 향한 탐구는 새로운 이정표에 도달했습니다. Dell과 Kioxia는 슬림한 2RU (rack unit) 섀시에 약 10 페타바이트 (PB)의 용량을 담은 스토리지 서버를 공개했습니다. 이 성과는 단순한 공학적 업적이 아니라, 현대 AI/ML 워크로드의 막대한 데이터 수집 요구 사항과 엔터프라이즈 데이터 레이크의 확장 요구 사항을 해결하기 위한 전략적 움직임입니다.

아키텍처: 10PB가 어떻게 2RU에 들어가는가

이 밀도의 핵심은 고용량 QLC (Quad-Level Cell) SSD인 Kioxia LC9입니다. 이 규모를 달성하기 위해 Dell은 AMD EPYC 9005 프로세서로 구동되는 PowerEdge R7725xd 서버를 활용했습니다.

주요 기술 사양:

  • Drive Configuration: 40개의 Kioxia LC9 SSD가 E3.L 폼 팩터로 구성됩니다.
  • Individual Drive Capacity: NVMe SSD당 245.76 TB입니다.
  • Total Raw Capacity: 서버당 약 9.8 PB입니다.
  • Networking: 데이터 파이프라인이 막대한 내부 스토리지 용량을 따라갈 수 있도록 최대 5개의 400 Gbps NIC를 지원합니다.

이러한 서버 20대로 구성된 전체 랙 하나로 확장할 경우, 이론적 용량은 무려 196 PB에 달하며, 페타바이트급 스토리지에 필요한 물리적 점유 공간을 획기적으로적으로 줄여줍니다.

AI 및 데이터 관리의 전략적 함의

엔터프라이즈 기업들에게 있어, 이러한 수준의 플래시 밀도로의 전환은 성능을 희생하지 않으면서 AI 인프라를 확장해야 하는 필요성에 의해 추진됩니다. Dell의 Compute and Networking 부문 SVP인 Arun Narayanan이 언급했듯이, 이 조합은 현대 AI 확장에 필요한 "스토리지 밀도와 전력 효율성"을 제공합니다.

TCO (Total Cost of Ownership) 관점에서 보면, 테라바이트당 랙 공간과 전력 소비의 감소는 상당합니다. Kioxia America의 Neville Ichhaporia는 이것이 고객들이 "대규모 수집 스트림을 배포하고, 데이터 레이크를 손쉽게 확장하며, 매우 적은 공간에서 대규모 백업을 처리할 수 있게 해준다"고 강조했습니다.

더 넓은 시장: "HDD 킬러"를 향한 경주

이 경주에서 Kioxia는 혼자가 아닙니다. 다음과 같은 여러 다른 업계 거물들이 256 TB급 SSD를 개발하고 있습니다:

  • Micron (6600 ION)
  • Sandisk (UltraQLC SN670)
  • SK Hynix (AIN D) 및 그 자회사 Solidigm

아마도 가장 야심 찬 계획은 Samsung에 대해 Scality가 언급한 로드맵으로, 보도에 따르면 Samsung은 결국 드라이브당 1 PB에 도달할 수 있는 nearline-class SSD를 개발 중이라고 합니다. 이러한 발전은 진정한 "HDD 킬러"를 나타내며, 데이터 센터에서 회전하는 디스크를 완전히 대체할 가능성이 있습니다.

비판적 관점 및 기술적 난제

하드웨어는 인상적이지만, 커뮤니티에서는 이러한 고밀도 시스템의 실제 구현에 대해 몇 가지 비판적인 지점을 제어기했습니다:

1. 비용 및 접근성

업계 관찰자들은 드라이브 비용만으로도 시스템 가격이 50만 달러에서 100만 달러 범위로 치솟을 수 있다고 시사합니다. 이는 가까운 미래에 이러한 밀도는 하이퍼스케일러, 고성능 연구 기관, 그리고 국방 예산 범위 내에서만 유지될 것임을 시사합니다.

2. I/O 병목 현상

400 Gbps NIC를 사용함에도 불구하고, 일부 기술 비평가들은 시스템이 여전히 PCIe 속도에 의해 제한된다는 점을 지적합니다. 심각한 네트워킹 병목 현상을 일으키지 않으면서 더 높은 밀도의 잠재력을 완전히 활용하려면 PCIe 7.0 및 8.0으로의 전환이 필요할 것입니다.

3. 열 관리 및 지속 가능성

40개의 고용량 NVMe 드라이브를 2RU 공간에 채워 넣는 것은 열 관리에 대해 상당한 질문을 던집니다. Additionally, 이러한 고도로 통합되고 밀집된 하드웨어의 수리 가능성과 재활용 가능성에 대한 우려도 있습니다. 한 관찰자는 "기술이 아무리 높더라도, 결국 이것은 고장 날 것이다"라고 언급했습니다.

결론

Dell-Kioxia 10PB 서버는 올플래시 스토리지 가가지는 성능 계층에서 용량 계층으로 이동하는 전환점을 나타냅니다. 비용과 열 관리의 과제는 남아 있지만, 1PB 드라이브를 향한 궤적은 전통적인 HDD의 "회전하는 녹"이 마도한 대규모, 조용하고, 믿을 수 없을 정도로 빠른 플래시 어레이로 마도한 것을 시약합니다.

Sources