エージェントクラウド：Databricks の AI とデータインフラに対するビジョン

Databricks はレイクハウスアーキテクチャを超えて、包括的なデータ＆AI オペレーティングシステムへと進化しています。核心となる命題は、データが正しく配置されアクセス可能になれば、最新の AI エージェントの推論能力だけで従来のソフトウェアパラダイムを書き換えることができるということです――実質的に「データをそこに置き、エージェントを上に乗せる」モデルへと移行します。

Omnigent：AI エージェント用メタハーネス

Omnigent はオープンソースのメタハーネスで、Claude Code、Codex、Cursor など様々な AI エージェントハーネス上に共通 API とインフラ層を提供することを目的としています。異なるチームが同じ基本的なエージェントニーズのために冗長なフレームワークを構築するという断片化問題に対処します。

共通 API とポータビリティ

Omnigent はエージェントセッション用の統一インターフェースを実装し、ユーザーはメッセージやファイルを送信し、ストリーミングテキストやツール呼び出しを受け取ることができます。この抽象化により、基盤となるモデルやハーネス API が変更されても、開発者はオーケストレーター全体を書き直す必要がなくなります。

コラボレーションと永続性

エージェントを孤立したローカルツールからエンタープライズグレードのソフトウェアへ移行させるために、Omnigent は以下を提供します：

  • 永続セッション：セッション間で履歴と状態を保持できるため、ユーザーはノートパソコンを常に開いたままにして接続を維持する必要がありません。
  • クラウドサンドボックス：エージェントがコードを実行し、ライブラリやアーティファクトのローカル永続性を保てる分離されたコンピュート環境。毎回再インストールする必要がありません。
  • 共同共有：サーバーベースのアーキテクチャにより、エージェントセッションと履歴をチームメンバー間で安全に共有できます。

エージェントのセキュリティとコスト管理

Databricks は、エージェントに対する二元的な「許可/不許可」セキュリティポリシーは不十分だと主張します。その代わりに Omnigent は コンテキスト（ステートフル）ポリシー を導入します。

例えば、エージェントが機密文書を読むことや NPM パッケージをインストールすることは許可されても、同一セッション内で機密データを読んだり疑わしい 1 日前のパッケージをインストールした後に公開ウェブサイトへプッシュしようとすると、ステートフルポリシーがブロックします。

さらに、Omnigent はセッションレベルでの コストコントロール を可能にします。ユーザーはサブエージェントに特定の予算（例：$5）を上限として設定でき、追加トークンを消費する前に手動で許可を求めることで、大量のログファイルを読み込んで予期せぬ高額請求が発生するのを防ぎます。

LTAP：データベーススタックの再考

Databricks は LTAP（Lakehouse Transactional Analytics Processing） を導入し、OLTP（トランザクショナル）と OLAP（分析）データベース間の歴史的な分断を解消しようとしています。

CDC と HTAP の失敗

従来、企業は Change Data Capture（CDC）を使ってトランザクショナルデータベース（例：Postgres）から分析システムへデータを移動させてきました。Databricks は CDC を「継続的データ破損」と表現し、脆弱であると指摘します。ソースデータベースのスキーマ変更だけでパイプライン全体が壊れ、データエンジニアが深夜 3 時に呼び出されることが頻発します。

HTAP（Hybrid Transactional/Analytical Processing）は、単一エンジンで両方のワークロードを処理しようとしましたが、性能を犠牲にした妥協が多く、どちらも劣化してしまいました。

LTAP アプローチ：統合ストレージ

LTAP はクエリエンジンではなく ストレージ層の統合 に焦点を当てます。トランザクショナルデータを直接列指向フォーマット（例：Parquet）でデータレイクに書き込むことで、分析エンジンは CDC パイプラインを介さずに即座にデータを読み取れます。

これは、ストレージフリートのアイドル CPU を利用して、行指向（OLTP に最適）から列指向（OLAP に最適）へのリアルタイム変換を行うことで実現します。この手法は、HTAP が提供する「即時データ利用可能性」を保持しつつ、単一エンジンアーキテクチャの性能トレードオフを回避します。

「Dream Engine」 とデータ駆動設計

Databricks は、十年以上前にハックされて本来の設計目的に合わない使い方を強いられた既存エンジンの技術的負債を回避するため、ゼロから新しいデータベースエンジンを開発しています。

データベースアルゴリズムのファクトリー

学術論文だけに頼るのではなく、チームは過去十年分のトレース（数千万億点のデータ）を用いて機械学習モデルを訓練する「ファクトリー」を構築しました。このモデルは、特定のアルゴリズムやデータ構造がさまざまなワークロード（レイテンシ、スループット、データスパース性など）でどのように性能を示すかを予測します。

ランタイムディスパッチ

エンジンはクエリとデータの具体的特性に基づき、実行時に最も効率的なアルゴリズムを選択してディスパッチします。たとえば、列内の文字列が密集している（国コードなど）場合、ハッシュテーブルと配列検索を自動的に切り替えて性能を大幅に向上させます。

モデル戦略：汎用から専門へ

MosaicML の買収後、Databricks は「フロンティアモデル」レース（汎用 LLM）での競争から、専門性が高く実用性のあるモデルへとシフトしています。

  • Genie：企業固有のデータと機械学習ライブラリに精通したバーチャルデータサイエンティストエージェント。
  • 専門ビジョンモデル：Databricks は PDF や Word 文書を JSON に変換するドキュメントパーシングモデルを開発しました。このモデルはフロンティアモデルに比べて 100 倍安価で、同タスクにおいて高精度を維持します。
  • RL ファインチューニング：Databricks は強化学習（RL）ファインチューニングをサービスとして提供し、より賢いベースモデルが生成する高品質トレースを活用して、専門エージェントの作成プロセスを効率化しています。

要約

Databricks の共同創業者である Matei Zaharia と Reynold Xin は、レイクハウスから「エージェントクラウド」への移行について語ります。AI エージェント用のオープンソースメタハーネスとして Omnigent を紹介し、脆弱なデータパイプラインに代わる統合ストレージアプローチとして LTAP を提案しています。

タイトル

エージェントクラウド：Databricks の AI とデータインフラに対するビジョン

Sources