Datus-ai/Datus-agent
The Future of Data Engineering — A CLI SQL client for the modern data stack, enabling AI-native context engineering for data.
Datus · オープンソース・データエンジニアリングエージェント
概要 – Datusは、PythonベースのAI拡張アシスタントで、最新のデータスタックを扱うチームを支援します。データウェアハウス、カタログ、セマンティックレイヤー、BIツールに接続し、大規模言語モデル(LLM)を使用してSQLの生成・検証、セマンティックモデルの構築、ETLパイプラインの作成、レポートやダッシュボードの作成を行います。すべてのインタラクションはコンテキストエンジンに保存され、エージェントは時間の経過とともに精度が向上します。
動作方法 – システムは3つのユーザー向けエントリポイントに分かれています:
- CLI(
datus) – データエンジニア向けのインタラクティブなREPL。 - Webチャット(
datus --web) – ブラウザ、Slack、Feishu、またはVS Codeからアクセス可能なFastAPI + Reactチャットボット。 - REST / MCP API(
datus-api,datus-mcp) – 他のアプリケーション向けのプログラムによるアクセス。
内部では、サブエージェント(ドメイン固有の知識パッケージ)とスキル(プラグインツール)で構成されるコアが、スキーマ、参照SQL、ビジネスルール、その他の成果物を埋め込みのLanceDB/SQLite(またはチーム向けにPostgreSQL)に保存するコンテキストエンジンと通信します。アダプターにより、コアは21以上のデータベース、10以上のLLMプロバイダー、ジョブスケジューラー(Airflow)、BIプラットフォーム(Superset、Grafana)と通信できます。Dosiと呼ばれる別のセマンティックエンジンは、統一されたセマンティックモデルを10以上の方言のSQLにコンパイルします。
主な機能
- 自動セマンティックモデリング – スキーマとクエリ履歴を読み取り、手書きのYAMLなしでOSI互換のセマンティックモデルとメトリック定義を作成します。
- メトリックQ&A – メトリックレイヤーを使用してビジネス質問に回答し、メトリックが変更されたときに帰属を提供します。
- 自己改善型コンテキスト – 修正は知識ベースに書き戻され、将来の応答が向上します。
- 組み込みサブエージェント – クロスデータベース移行、ETLジョブ生成、ワイドテーブル構築、ダッシュボード/レポート作成用。
- オープンエコシステム – プラグインフレームワーク(
datus-plugin.yml)により、新しいCLIコマンド、スキル、外部統合を追加できます。マーケットプレイスはagentskills.ioの規約に従います。 - エンタープライズガバナンス – ロールベースの権限、SQL事前レビュー、OSレベルのサンドボックス化、OTLP互換のトレーシング。
はじめに(Linux/macOS、Python 3.12以降)
# ワンライナーインストーラー
curl -fsSL https://raw.githubusercontent.com/datus-ai/datus-agent/main/install.sh | sh
# REPLを開始
# その後、REPL内で
datus
/model # LLMを選択
/datasource # ウェアハウス接続を追加
/init # オプション:現在のプロジェクトをスキャン
または、PyPIからインストール:pip install datus-agent(uvを使用すると高速)。ドキュメントには、サンプルの「カリフォルニア州学校」データセットでパイプラインを構築する完全なチュートリアルが含まれています。
一般的なユースケース
- 新しいウェアハウスを探索し、再利用可能なセマンティックモデルを構築し、ETLジョブを生成するデータエンジニア。
- チャットでメトリックレベルの質問をし、SQL不要の回答とビジュアルダッシュボードを受け取るビジネスアナリスト。
- RESTまたはMCP APIを通じてデータサービスエンドポイントを消費するアプリケーション開発者。
- コアを変更せずにカスタムスキルやアダプターでプラットフォームを拡張するチーム。
ライセンス – Apache 2.0。
上記のすべての情報はリポジトリのREADMEから直接取得したものであり、追加の機能は推定されていません。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト