databendlabs/databend

解決する課題

Databendは、大規模分析、ベクトル検索、および全文検索を組み合わせた統合型エンタープライズデータウェアハウスを提供します。特に、本番環境の安定性を損なうことなく、エンタープライズデータ上で直接エージェントロジックを実行できる安全な環境を提供することで、AIエージェントのニーズに特化して対応します。

仕組み

Rustで構築されたDatabendは、AIワークロードをサポートするために3層アーキテクチャを採用しています：

1. Control Plane: リソースのスケジューリング、権限、およびサンドボックスのライフサイクルを管理します。
2. Execution Plane: SQLのオーケストレーションを処理し、Arrow Flightを介して通信します。
3. Compute Plane: 隔離されたSandbox Workersを使用してPythonのユーザー定義関数 (UDFs) を実行し、エージェントのロジック（LLM呼び出しやツールの使用など）を実行します。

また、Gitのようなデータブランチ機能も備えており、エージェントが本番環境のスナップショット上で安全に実験を行うことができます。

対象ユーザー

AIエージェント、RAG (Retrieval-Augmented Generation) システム、およびクラウドネイティブなスケーラビリティ (S3/Azure/GCS) を必要とする大規模な分析およびBIアプリケーションを構築する企業向けに設計されています。

ハイライト

• 統合エンジン: 分析、ベクトル検索、全文検索を1か所に集約。
• Sandbox UDFs: データベース内でPythonベースのエージェントロジックを安全に実行可能。
• データブランチ: バージョニングを通じて、本番データ上での安全な実験を可能にする。
• クラウドネイティブ: エラスティックなコンピューティングをサポートし、主要なクラウドストレージプロバイダーと統合。