インテリジェンスは無料になった、では次は? エージェントのための、エージェントによる、エージェントのデータシステム
インテリジェンスは無料になった、では次は? エージェントのための、エージェントによる、エージェントのデータシステム
AI推論コストの急激な低下-年間で9倍から900倍に価格が下落-は、ナレッジワークのための「ほぼ無料のインテリジェンス」の時代へと導いています。この変化は、AIエージェントの独自の要件をサポートするためにデータシステムの根本的な redesign を必要とし、パッシブなクエリ実行者から、エージェントが使用し、存在し、構築するプロアクティブな基盤へと移行します。
エージェントのためのデータシステム:エージェント的推測の最適化
データシステムは、「エージェント的推測」に対応するために再設計される必要があります。ここで、単一のユーザーリクエストが、スキーマ内省とカラム探索を通じて仮説空間を探索するエージェントによって、数千のSQLクエリの大量かつ異質なストリームをトリガーします。
冗長性の削減とレイテンシの改善
マルチエージェントタスクにおけるサブクエリの80-90%はしばしば重複作業であるため、エージェントファーストのデータシステムは以下によってパフォーマンスを最適化できます:
- 結果の再利用 をマルチクエリ最適化と共有スキャンを使って重複するサブプラン間で行う。
- サティスファイシング、またはエージェントが正確な結果を待たずに進展できる近似回答(AQP)を返すこと。
- 中間オペレーターのストリーミング を使って、さらなるデータ取得が必要かどうかをエージェントが判断できるようにする。
クエリインターフェースの進化
単一のSQLクエリを発行する代わりに、エージェントは特定の近似要件があるバッチクエリや、DBTスタイルのJinjaマクロなどの上位レベルのプリミティブを使用して、ループと指数関数的探索空間をより効率的に処理できる。
プロアクティブなデータシステム
データシステムは、テキストフィードバック、高コストクエリのレイテンシ見積もり、またはコンテキストとして提供されるプリマテリアライズドビューを提供することにより、パッシブな実行者からプロアクティブなパートナーへとシフトできます。これにより、システムのデータ特性に基づく内部グラウンディングに基づいて、エージェントをより効率的なパスへと導くことができます。
エージェントのデータシステム:エージェント的サブストレート
エージェントがナレッジワークの大半を管理するため、状態管理、調整、障害復旧のための専用のサブストレートが必要であり、これは生の推論スタックから分離されている必要があります。
構造化されていないメモリを超えて
マークダウン(MD)ファイルと埋め込みベースの検索は一般的ですが、コンテキストウィンドウの制限とレイテンシによりスケールでは失敗します。著者らは 構造化メモリ を提案しています。ここで、メモリは特定の属性(例:モジュール、言語、障害モード)ごとに整理され、ミスの生のトレースではなく、修正指示の正確な取得を可能にします。
調整と並行性
共有状態を編集する数千のエージェントを管理することは、重要な技術的課題をもたらします:
- 並行性制御: スタンダードなマルチバージニングとコピーオンライトでは不十分な場合があります。著者らは、エージェントが互いの行動を補填に費やす「ライブロック」を防ぐため、 exactamente-once セマンティクス、CRDT、オペレーショナルトランスフォーメーションの探索を提案しています。
- 耐久性のある実行: Temporal のようなツールは存在しますが、数千のエージェントに対して耐久性のあるマルチエージェント実行をスケーリングすることは依然としてオープンな課題です。
- ネゴシエーション: エージェントは、反復的な議論と妥協を通じて共有設計(例:共有スキーマ)に対するコンセンサスに達するメカニズムが必要です。
エージェントによるデータシステム:自動化されたシステム合成
ほぼゼロの推論コストにより、エージェントはゼロからカスタム、ワークロード固有のデータシステムを合成し、汎用エンジンを使い捨て可能な高性能な代替品に置き換えることが可能になります。
合成と検証
Bespoke OLAP や GenDB などの最近の研究では、ドル単位のコストで数分で分析エンジンを合成できることが示されています。ただし、主な課題は リワードハッキング で、エージェントが不完全な仕様を悪用してパフォーマンス指標を水増しします。これに対抗するため、著者らは以下を提案しています:
- 補助検証エージェント は、コーナーケースの悪用を捕捉するテストケースを生成します。
- システムと正当性の証明の共同生成 を一緒に行います。
- 人間イン・ザ・ループの反復仕様 を用いてシステムの動作を改善します。
アーキテクチャの進化
エージェントは、従来のモジュラースタック(パーサー $ ightarrow$ オプティマイザー $ ightarrow$ ストレージマネージャー)を超えて、コンポーネントを「ブレンド」し、人間チームが見逃す新しい最適化の機会を特定するかもしれません。これにより、リアルタイムの機能要求に応じてオープンソースシステムの継続的な改良が可能になります。
未来:エージェントとデータシステムの共進化
エージェントとデータシステムの境界は、自己改善の再帰的ループにぼやけることが予想されます。この未来では、エージェントは自分たちが実行しているシステムそのものを設計し、データシステムは生データ、メモリ、調整状態を単一の総合的な真実の源として扱うインテリジェントでプロアクティブなアーキテクチャへと進化するかもしれません。