GPU 관리: 유휴 GPU가 새로운 지상 고정 항공기가 된 이유

Enterprise AI는 주요 제약이 더 이상 모델의 지능이 아니라 실행되는 하드웨어의 활용도인 전환점에 도달했습니다. GPU는 활동 여부와 관계없이 달력 시간당 비용이 발생하므로, 투자 수익률을 극대화하려면 단순 구매에서 적극적이고 지속적인 GPU 관리로 전환해야 합니다.

모델 품질에서 컴퓨팅 제약으로의 전환

기업 AI의 첫 물결에서는 경쟁 우위가 모델 품질, 파라미터 수, 리더보드 순위에 의해 좌우되었습니다. 그러나 모델이 실제 기업 워크로드를 처리할 만큼 충분히 강력해지면서 병목 현상이 이를 실행하는 특수 하드웨어로 이동했습니다.

컴퓨팅 부족은 가장 자본이 풍부한 연구실조차도 중요한 전략적 제약으로 남아 있습니다. 예를 들어, Anthropic은 네 개의 별도 하드웨어 플랫폼(Amazon, Google, Microsoft, AMD)에서 동시에 다중 기가와트 규모의 약속을 관리하여 충분한 용량을 확보했습니다.

기업에게 이 부족은 가격 문제로 나타납니다. API 비용은 토큰 사용량에 따라 선형적으로 증가하지만, 인프라를 소유하면 변동 비용이 고정 자본 비용으로 전환됩니다. 그러나 GPU를 소유하면 새로운 과제가 생깁니다: 하드웨어가 계속 바쁘게 유지되는지 여부입니다. 클러스터가 온라인이 되면 전략적 질문은 가속기를 획득할 수 있는가에서 가속기를 지속적으로 활용할 수 있는가로 바뀝니다.

높은 점유율이 효율과 동일하지 않은 이유

클러스터는 평균 점유율이 높다고 보고하면서도 여전히 상당한 잠재력을 낭비할 수 있습니다. 이러한 비효율은 GPU 수요가 일정하지 않고, 서로 다른 워크로드가 상충되는 하드웨어 요구사항을 갖기 때문입니다:

• 실시간 추론: 낮은 지연 시간을 우선시합니다.
• 배치 작업: 처리량을 우선시하고 지연을 허용합니다.
• 학습: 몇 시간 또는 며칠 동안 지속적인 점유가 필요합니다.
• 양자화: 짧은 기간 동안 높은 용량이 필요합니다.

하나의 워크로드에 맞게 조정된 스케줄러가 다른 워크로드를 잘못 할당하는 경우가 많아, 클러스터는 GPU가 바쁘게 사용되고 있지만 중요한 작업은 현재 낮은 우선순위 작업이 차지하고 있는 특정 “GPU 형태”(메모리, 지연 시간, 지속 시간 프로파일)를 기다리고 있을 수 있습니다.

GPU 관리가 하나의 학문으로 등장

GPU ROI를 극대화하려면 워크로드, 모델, 하드웨어 사이에 위치하는 오케스트레이션 레이어—GPU 관리—가 필요합니다. 이 레이어는 어떤 워크로드가 어떤 특정 GPU에서 어떤 우선순위로 실행될지 실시간으로 자동 결정합니다.

이 전환은 인텔리전스를 모델 경계에서 인프라로 이동시킵니다. 프로비저닝은 구매 시 한 번 결정되는 반면, 할당은 지속적인 과정입니다. 자동 오케스트레이션이 필요한 이유는 수동 감독으로는 필요한 빈도의 결정을 처리할 수 없기 때문입니다—예를 들어, 학습이 끝난 후 GPU를 대기 중인 배치 작업에 넘겨줄지 고객 트래픽 급증에 대비해 보류할지 결정하는 것과 같은.

특수화와 오케스트레이션의 시너지

설치된 용량과 실제 산출량 사이의 격차를 메우려면 모델 특수화와 인프라 오케스트레이션이라는 두 가지 병행 전략이 필요합니다.

모델 특수화

특수화된 소형 모델은 대형 범용 모델에 비해 자원 비용의 일부만으로 특정 작업을 수행할 수 있습니다. 이는 작업 기간 동안 대형 모델이 차지했을 용량을 해방시킵니다.

오케스트레이션

특수화는 오케스트레이션 레이어가 해방된 용량을 적극적으로 회수하고 재할당할 때만 ROI를 향상시킵니다. 오케스트레이션이 없으면 특수화된 모델이 절약한 용량은 단순히 다른 형태의 유휴 낭비가 됩니다.

산업이 성숙함에 따라 AI 경쟁의 속도를 주도하는 기업은 특수화를 통해 각 워크로드의 자원 요구량을 동시에 줄이고, 적극적인 GPU 관리를 통해 인프라의 수익을 극대화할 수 있는 기업이 될 것입니다.