AI 슈퍼사이클의 경제학: Baseten과 맞춤형 추론으로의 전환

AI 슈퍼사이클의 경제학: Baseten과 맞춤형 추론으로의 전환

핵심 논제: 추론이 AI 가치의 엔진이다

AI 추론 수요는 에이전시 애플리케이션의 급증과 더 큰 모델의 등장으로 인해 10억 배 증가할 것으로 예상됩니다. 현재 추론 비용의 95%가 OpenAI와 Anthropic 같은 최첨단 모델에 쓰이고 있지만, 수익성 있고 지속 가능하며 방어 가능한 AI 회사를 만들기 위한 길은 맞춤형, 사후 학습 오픈소스 모델로 전환하는 데 있습니다.

맞춤형 모델에 대한 경제적 근거

기업들은 두 가지 주요 이유—생존 가능성 및 방어성— 때문에 최첨단 모델에서 오픈소스 대안으로 이동하고 있습니다.

재무적 생존 가능성과 총 마진

오픈소스 모델은 일반적으로 최첨단 모델보다 약 90일 정도 뒤처지지만 실행 비용은 70%90% 저렴합니다. 규모가 큰 비즈니스에게 이 비용 절감은 총 마진을 0% 또는 마이너스에서 지속 가능한 수준(40%70%)으로 끌어올리는 데 필수적입니다.

전략적 방어성

최첨단 연구소에만 의존하면 기업은 자체 워크플로와 사용자 신호를 모델 제공업체에 넘겨주는 전략적 위험에 처합니다. Tuhin Srivastava는 최첨단 연구소를 "동인도 회사"에 비유하며, 이들의 API를 사용함으로써 기업이 바로 그 연구소가 나중에 사후 학습 모델을 만들 때 필요한 데이터를 제공하게 된다고 주장합니다. 이러한 모델은 결국 해당 기업의 특화된 워크플로와 직접 경쟁하게 됩니다.

사후 학습 워크플로

"자신들의 인텔리전스를 소유"하기 위해 기업들은 사후 학습 워크플로를 채택해 특화된 모델을 만들고 있습니다. 과정은 다음과 같습니다:

  1. 유틸리티 함수 정의: 기업은 최적화하고자 하는 목표를 정확히 정의합니다(예: 의료 음성‑텍스트 모델에서 전사 오류 최소화).
  2. 데이터 제공: 기업은 자체 보유 데이터셋을 제공합니다.
  3. 기본 모델 선택: 오픈소스 모델을 시작점으로 선택합니다.
  4. 스캐폴딩: Baseten과 같은 인프라가 기본 모델과 데이터를 특화된 사후 학습 모델로 전환하는 기술 프레임워크를 제공합니다.
  5. 배포: 완성된 모델을 추론 스택에 통합해 프로덕션에 사용합니다.

컴퓨트 위기와 수직 통합

컴퓨트 부족은 복합적인 수요 증가로 인해 정상화되기 어려운 시스템적 문제이며, 이는 AI 인프라 기업들의 운영 방식을 변화시키고 있습니다.

GPU "마약 시장"

GPU 조달은 현재 비효율적이고 미성숙한 시장으로, 높은 슬리피지와 극심한 가격 변동성을 특징으로 합니다. 예를 들어 Baseten은 B200 Blackwell 칩에 대한 갱신 견적이 시간당 $263에서 $510으로 거의 두 배가 되었다고 보고했습니다.

임대에서 소유로 전환

Baseten은 초기에는 소프트웨어 레이어에 집중해(~20개의 클라우드에서 컴퓨트를 임대하고 87개의 클러스터를 연결해 GPU를 동일하게 활용) 하드웨어를 직접 소유하는 방향으로 전환하고 있습니다. 이 전환의 동인은 다음과 같습니다:

  • 접근성: 클라우드 제공업체의 12~15개월 걸리는 일정에 의존하지 않고 수요를 충족시킬 수 있도록 보장합니다.
  • 경제성: 대규모로 볼 때 하드웨어를 소유하는 것이 임대보다 약 30% 저렴합니다.
  • 규모: Baseten은 향후 2년 내에 150,000대의 B200에 해당하는 GPU가 필요할 것으로 추정하며, 이는 약 70억 달러 규모의 컴퓨트 지출에 해당합니다.

하드웨어 및 생태계 트렌드

NVIDIA의 지배력

TPU와 기타 "neo chip"이 등장했음에도 불구하고, NVIDIA는 완벽한 공급망, TSMC와의 관계, 그리고 CUDA 생태계 덕분에 여전히 우위를 점하고 있습니다. 현재 대부분의 고속 개발은 TRT‑LLM, vLLM, XG Lang 등 NVIDIA‑네이티브 런타임에 의존합니다.

이기종 아키텍처

향후 하드웨어는 "prefill"(컴퓨트‑바운드)과 "decode"(메모리‑바운드) 작업을 서로 다른 칩에 분산시키는 이기종 아키텍처로 이동할 것으로 예상됩니다. 이는 모든 작업을 단일 GPU에서 실행하는 방식을 탈피하는 방향입니다.

AI 인프라의 미래 기회

모델 학습과 추론을 넘어, 물리적 AI 구축 분야에도 큰 경제적 기회가 존재합니다:

  • 에너지와 전력: 대규모 컴퓨트 클러스터에 필요한 전력 인프라에 투자.
  • 모듈형 데이터 센터: 컴퓨트 단위를 모듈형 컨테이너로 표준화해 구축 과정을 산업화하고, 물리 계층에서 "컴퓨트를 위한 API"를 실현.

요약: Tuhin Srivastava Baseten CEO는 AI 경제가 최첨단 모델에서 맞춤형, 사후 학습 오픈소스 모델로 전환하고 있으며, 이는 수익성, 방어성, 낮은 지연 시간을 달성하기 위한 전략이라고 주장합니다.

제목: AI 슈퍼사이클의 경제학: Baseten과 맞춤형 추론으로의 전환

Sources