The Agent Cloud: Databricks' Vision for AI and Data Infrastructure

Databricks는 레이크하우스 아키텍처를 넘어 포괄적인 데이터·AI 운영 체제로 진화하고 있습니다. 핵심 논지는 데이터가 올바르게 배치되고 접근 가능해지면, 최신 AI 에이전트의 추론 능력만으로도 기존 소프트웨어 패러다임을 재작성할 수 있다는 것입니다—즉, 복잡한 애플리케이션 로직에서 "데이터를 그곳에 두고, 그 위에 에이전트를 얹는다"는 모델로 이동하는 것입니다.

Omnigent: AI 에이전트를 위한 메타-하네스

Omnigent는 다양한 AI 에이전트 하네스(예: Claude Code, Codex, Cursor) 위에 공통 API와 인프라 계층을 제공하도록 설계된 오픈소스 메타-하네스입니다. 이는 서로 다른 팀이 동일한 기본 에이전트 요구에 대해 중복된 프레임워크를 구축하는 단편화를 해결합니다.

공통 API와 이식성

Omnigent는 에이전트 세션을 위한 일관된 인터페이스를 구현하여 사용자가 메시지나 파일을 전송하고 스트리밍 텍스트 또는 도구 호출을 받을 수 있게 합니다. 이 추상화 덕분에 기본 모델이나 하네스 API가 변경되더라도 개발자는 전체 오케스트레이터를 다시 작성할 필요가 없습니다.

협업 및 지속성

에이전트를 고립된 로컬 도구에서 엔터프라이즈급 소프트웨어로 옮기기 위해 Omnigent는 다음을 제공합니다:

  • 지속 세션: 세션 간에 히스토리와 상태를 유지할 수 있어 사용자가 노트북을 계속 켜두지 않아도 연결을 유지할 수 있습니다.
  • 클라우드 샌드박스: 에이전트가 코드를 실행하고 라이브러리와 아티팩트를 로컬에 지속시킬 수 있는 격리된 컴퓨팅 환경으로, 매번 재설치할 필요가 없습니다.
  • 협업 공유: 서버 기반 아키텍처를 통해 팀 구성원 간에 에이전트 세션과 히스토리를 안전하게 공유할 수 있습니다.

에이전트 보안 및 비용 제어

Databricks는 이진 "허용/거부" 보안 정책만으로는 에이전트를 충분히 보호할 수 없다고 주장합니다. 대신 Omnigent는 맥락 기반(상태 기반) 정책을 도입합니다.

예를 들어, 에이전트가 기밀 문서를 읽고 NPM 패키지를 설치하도록 허용될 수 있지만, 같은 세션에서 기밀 데이터를 이미 읽었거나 의심스러운 하루 전 패키지를 설치한 경우, 상태 기반 정책은 에이전트가 공개 웹사이트에 푸시하는 것을 차단합니다.

또한 Omnigent는 세션 수준에서 비용 제어를 가능하게 합니다. 사용자는 서브 에이전트에 특정 예산(예: $5)을 상한으로 설정하고, 추가 토큰 사용 전 수동 승인을 요구하도록 할 수 있어, 에이전트가 대용량 로그 파일을 읽으며 큰 비용을 소모하는 일을 방지합니다.

LTAP: 데이터베이스 스택 재구상

Databricks는 OLTP(트랜잭션)와 OLAP(분석) 데이터베이스 간의 역사적 분리를 해소하기 위한 솔루션으로 **LTAP(Lakehouse Transactional Analytics Processing)**를 도입하고 있습니다.

CDC와 HTAP의 실패

전통적으로 기업은 Change Data Capture(CDC)를 사용해 트랜잭션 데이터베이스(예: Postgres)에서 분석 시스템으로 데이터를 이동합니다. Databricks는 CDC를 "지속적인 데이터 손상"이라고 표현하는데, 이는 파이프라인이 매우 취약하기 때문입니다; 소스 데이터베이스의 간단한 스키마 변경만으로 전체 파이프라인이 깨져 데이터 엔지니어가 새벽 3시에 호출되는 경우가 빈번합니다.

HTAP(Hybrid Transactional/Analytical Processing)는 하나의 엔진으로 두 워크로드를 처리하려 했지만, 종종 양쪽 성능을 저하시키는 타협을 초래했습니다.

LTAP 접근법: 통합 스토리지

LTAP는 스토리지 레이어를 통합하는 데 초점을 맞추며, 쿼리 엔진이 아니라 저장 방식을 통합합니다. 트랜잭션 데이터를 직접 컬럼형 포맷(예: Parquet)으로 데이터 레이크에 기록함으로써, 분석 엔진은 CDC 파이프라인 없이 즉시 데이터를 읽을 수 있습니다.

이는 스토리지 플릿의 유휴 CPU를 활용해 행형(OLTP에 최적) 데이터를 컬럼형(OLAP에 최적)으로 실시간 변환(transcode)하는 방식으로 구현됩니다. 이 접근법은 HTAP가 제공하는 즉각적인 데이터 가용성을 제공하면서도 단일 엔진 아키텍처의 성능 트레이드오프를 피합니다.

"Dream Engine"과 데이터 중심 설계

Databricks는 수십 년 된 엔진을 해킹해 다양한 사용 사례를 지원하면서 발생한 "두 번째 시스템 증후군"과 기술 부채를 피하기 위해 새로운 데이터베이스 엔진을 처음부터 개발하고 있습니다.

데이터베이스 알고리즘 팩토리

학술 논문에만 의존하지 않고, 팀은 수십 년에 걸친 트레이스(수천조 데이터 포인트)를 활용해 머신러닝 모델을 훈련시켰습니다. 이 모델은 특정 알고리즘과 데이터 구조가 다양한 워크로드(지연 시간, 처리량, 데이터 희소성 등)에서 어떻게 성능을 발휘할지를 예측합니다.

런타임 디스패치

엔진은 쿼리와 데이터의 구체적인 특성에 따라 런타임에 가장 효율적인 알고리즘을 선택해 실행합니다. 예를 들어, 컬럼의 문자열이 밀집되어(예: 국가 코드) 있으면 해시 테이블 대신 배열 조회로 전환해 성능을 크게 향상시킵니다.

모델 전략: 일반에서 특수화로

MosaicML 인수 이후 Databricks는 "프론티어 모델"(범용 LLM) 경쟁에서 벗어나 고유한 활용도가 높은 특수화 모델에 집중하고 있습니다.

  • Genie: 기업 고유의 데이터와 머신러닝 라이브러리에 정통한 가상 데이터 과학자 에이전트.
  • 특수화 비전 모델: PDF와 Word 문서를 JSON으로 변환하는 문서 파싱 모델을 개발했으며, 이 모델은 프론티어 모델 대비 100배 저렴하면서도 해당 작업에서 더 높은 정확도를 유지합니다.
  • RL 파인튜닝: Databricks는 강화 학습(RL) 파인튜닝을 서비스 형태로 제공하며, 더 똑똑한 베이스 모델이 RL을 위한 더 좋은 트레이스를 생성함으로써 특수화 에이전트 제작 과정을 효율화합니다.

요약: Databricks 공동 창업자인 Matei Zaharia와 Reynold Xin은 레이크하우스에서 ‘에이전트 클라우드’로의 전환을 논의하며, AI 에이전트를 위한 오픈소스 메타-하네스인 Omnigent와 취약한 데이터 파이프라인을 대체할 통합 스토리지 접근법인 LTAP를 소개합니다.

제목: The Agent Cloud: Databricks' Vision for AI and Data Infrastructure

Sources