Modal: AI 에이전트를 위한 100,000 샌드박스 문제 해결

Modal: AI 에이전트를 위한 100,000 샌드박스 문제 해결

개발자 경험에서 에이전트 경험으로의 전환

Modal은 개발자 경험(Developer Experience, DX)에서 에이전트 경험(Agent Experience, AX)으로 초점을 전환하고 있습니다. 핵심 논지는 고품질 DX가 제공하는 이점—예를 들어 보일러플레이트 감소와 인프라 프로비저닝 단순화—이 AI 에이전트에도 직접 적용된다는 것입니다. 수백 개의 타입이 지정되지 않은 Kubernetes YAML 파일을 탐색하도록 에이전트를 요구하는 대신, Modal은 에이전트가 코드 내 데코레이터를 통해 변경을 수행하도록 하여, 에이전트가 실시간으로 변화를 확인할 수 있는 자체 프로비저닝 런타임을 가능하게 합니다.

에이전트가 코드를 점점 더 많이 작성함에 따라 인간의 역할은 관측성(observability) 쪽으로 이동합니다. 에이전트는 조사에 CLI를 사용할 수 있지만, 인간은 여전히 대시보드를 해석하고 고수준 판단을 내려야 합니다. 따라서 고품질 관측성 도구가 기본 코드를 읽는 능력보다 더 중요해졌습니다.

기존 클라우드 인프라가 AI 워크로드에 실패하는 이유

Kubernetes와 전통적인 클라우드 제공자는 안정적인 웹 서버 사용 사례와 느린 스케일링을 위해 설계되었습니다. 반면 AI 워크로드는 극도의 "버스트성"과 특수 컴퓨팅(가속기) 및 맞춤형 이미지가 필요합니다.

Modal은 다음과 같은 방식으로 이러한 격차를 메웁니다:

  • Elastic Inference: 예측 불가능한 트래픽 패턴에 맞춰 다양한 지역에서 수천 개의 GPU로 빠르게 스케일링할 수 있는 능력.
  • Serverless Primitives: 전통적인 클러스터 관리 오버헤드 없이 컴퓨팅 집약적인 워크로드가 급증하고 감소할 수 있게 하는 런타임.
  • Multi-Cloud Capacity: 17개의 서로 다른 클라우드 제공자를 아우르는 "슈퍼클라우드" 전략으로, 데이터 로컬리티, 지연 시간, 신뢰성을 최적화하기 위해 다양한 NeoCloud 위에 소프트웨어 정의 신뢰성 레이어를 구축합니다.

100,000 샌드박스 문제 해결

특히 강화학습(Reinforcement Learning, RL) 롤아웃과 같은 특정 AI 워크로드는 인프라 요구사항이 방대하고 급변합니다. Akshat Bubna는 RL 롤아웃이 동시에 최대 100,000개의 샌드박스를 필요로 할 수 있다고 언급했습니다.

이를 지원하기 위해 Modal은 여러 핵심 기술 프리미티브를 개발했습니다:

  • GPU Snapshotting: GPU 상태(예: torch 컴파일러 모델 스냅샷)를 스냅샷으로 저장함으로써 콜드 스타트 시간을 크게 줄이고, 버스트성 추론 또는 학습 실행 중 빠른 스케일링을 가능하게 합니다.
  • Networked Sandboxes and Sidecars: Modal은 "사이드카"를 지원하여 샌드박스가 다중 컨테이너 팟이 될 수 있게 합니다. 이는 로깅이나 이그레스 네트워킹 제어를 위한 중간 프록시를 실행하는 데 필수적입니다.
  • Private IPv6 Overlay (I6PN): 동일 워크스페이스 내 컨테이너가 사설 IPv6 주소를 사용해 서로를 주소 지정할 수 있게 하는 오버레이 네트워크로, 분산 학습에 중요합니다.
  • RDMA Networking: TCP 스택을 우회하고 노드 간 메모리를 더 빠르게 전송하기 위해 Modal은 최대 3테라비트/초의 RDMA 네트워킹을 제공하며, 이는 중형 모델의 다중 노드 사후 학습에 필수적입니다.

DeFlash로 추론 성능 향상

Modal은 배포를 위한 "블랙 박스"에서 모델 레이어 자체를 최적화하는 방향으로 나아가고 있습니다. 주요 초점은 추론 속도를 높이기 위한 speculative decoding입니다.

Speculative Decoding과 DeFlash

Speculative decoding은 작은 "draft model"을 사용해 토큰을 미리 예측하고, 큰 모델이 배치로 이를 검증하는 방식입니다. 이 접근법은 메모리 대역폭에 얽매이지 않고 컴퓨팅을 활용하기 때문에 더 효율적입니다.

Modal은 블록 기반 speculator인 DeFlash를 오픈소스로 공개했습니다. 커널 최적화가 제공하는 이득은 미미하지만, "accept length"(큰 모델이 draft model로부터 받아들이는 토큰 수)를 늘리면 품질을 손상시키지 않으면서 2배에서 4배까지의 곱셈적 속도 향상을 얻을 수 있습니다.

Auto Endpoints

최첨단 성능을 깊은 전문 지식 없이도 활용할 수 있도록 Modal은 Auto Endpoints를 도입했습니다. 사용자는 UI 또는 CLI를 통해 DeFlash 및 기타 최적화를 내장한 최적화된 엔드포인트를 생성할 수 있으며, 필요 시 전체 Modal 경험으로 전환해 모델을 미세 조정하거나 설정을 변경할 수 있습니다.

AI 인프라의 미래: Auto-Research와 CI

Modal은 에이전트에게 GPU를 제공해 모델 직관에 기반한 하이퍼파라미터 탐색을 수행하도록 하는 "auto-research" 영역으로 확장하고 있습니다. 이는 전통적인 그리드 탐색보다 효율적이며, 에이전트가 스스로 설정을 조정하고, 프로파일러를 실행하며, GPU 유형(H200 → B200 등)을 전환해 최적 성능을 찾을 수 있게 합니다.

또한 Modal은 CI(Continuous Integration) 시장에서도 큰 기회를 보고 있습니다. 코딩 에이전트가 CI 실행량을 늘리면서 현재 의존성 및 아티팩트 준비 과정이 비효율적이기 때문입니다. Modal은 메모리 스냅샷 및 복원과 같은 프리미티브가 에이전트 워크플로우의 CI를 크게 효율화할 수 있다고 믿습니다.

요약: Modal CTO Akshat Bubna는 Modal이 버스트성 AI 워크로드를 위해 설계된 서버리스·탄력적 인프라를 제공하며, 개발자 경험(DX)에서 에이전트 경험(AX)으로 전환해 강화학습 롤아웃 및 맞춤형 모델 추론을 위한 대규모 확장을 지원한다고 설명합니다.

제목: Modal: AI 에이전트를 위한 100,000 샌드박스 문제 해결

Sources