Datus-ai/Datus-agent

The Future of Data Engineering — A CLI SQL client for the modern data stack, enabling AI-native context engineering for data.

Datus · オープンソース・データエンジニアリングエージェント

概要 – Datusは、PythonベースのAI拡張アシスタントで、最新のデータスタックを扱うチームを支援します。データウェアハウス、カタログ、セマンティックレイヤー、BIツールに接続し、大規模言語モデル(LLM)を使用してSQLの生成・検証、セマンティックモデルの構築、ETLパイプラインの作成、レポートやダッシュボードの作成を行います。すべてのインタラクションはコンテキストエンジンに保存され、エージェントは時間の経過とともに精度が向上します。

動作方法 – システムは3つのユーザー向けエントリポイントに分かれています:

  • CLI(datus) – データエンジニア向けのインタラクティブなREPL。
  • Webチャット(datus --web) – ブラウザ、Slack、Feishu、またはVS Codeからアクセス可能なFastAPI + Reactチャットボット。
  • REST / MCP API(datus-api, datus-mcp) – 他のアプリケーション向けのプログラムによるアクセス。

内部では、サブエージェント(ドメイン固有の知識パッケージ)とスキル(プラグインツール)で構成されるコアが、スキーマ、参照SQL、ビジネスルール、その他の成果物を埋め込みのLanceDB/SQLite(またはチーム向けにPostgreSQL)に保存するコンテキストエンジンと通信します。アダプターにより、コアは21以上のデータベース、10以上のLLMプロバイダー、ジョブスケジューラー(Airflow)、BIプラットフォーム(Superset、Grafana)と通信できます。Dosiと呼ばれる別のセマンティックエンジンは、統一されたセマンティックモデルを10以上の方言のSQLにコンパイルします。

主な機能

  • 自動セマンティックモデリング – スキーマとクエリ履歴を読み取り、手書きのYAMLなしでOSI互換のセマンティックモデルとメトリック定義を作成します。
  • メトリックQ&A – メトリックレイヤーを使用してビジネス質問に回答し、メトリックが変更されたときに帰属を提供します。
  • 自己改善型コンテキスト – 修正は知識ベースに書き戻され、将来の応答が向上します。
  • 組み込みサブエージェント – クロスデータベース移行、ETLジョブ生成、ワイドテーブル構築、ダッシュボード/レポート作成用。
  • オープンエコシステム – プラグインフレームワーク(datus-plugin.yml)により、新しいCLIコマンド、スキル、外部統合を追加できます。マーケットプレイスはagentskills.ioの規約に従います。
  • エンタープライズガバナンス – ロールベースの権限、SQL事前レビュー、OSレベルのサンドボックス化、OTLP互換のトレーシング。

はじめに(Linux/macOS、Python 3.12以降)

# ワンライナーインストーラー
curl -fsSL https://raw.githubusercontent.com/datus-ai/datus-agent/main/install.sh | sh

# REPLを開始
# その後、REPL内で
datus
/model          # LLMを選択
/datasource     # ウェアハウス接続を追加
/init           # オプション:現在のプロジェクトをスキャン

または、PyPIからインストール:pip install datus-agent(uvを使用すると高速)。ドキュメントには、サンプルの「カリフォルニア州学校」データセットでパイプラインを構築する完全なチュートリアルが含まれています。

一般的なユースケース

  • 新しいウェアハウスを探索し、再利用可能なセマンティックモデルを構築し、ETLジョブを生成するデータエンジニア。
  • チャットでメトリックレベルの質問をし、SQL不要の回答とビジュアルダッシュボードを受け取るビジネスアナリスト。
  • RESTまたはMCP APIを通じてデータサービスエンドポイントを消費するアプリケーション開発者。
  • コアを変更せずにカスタムスキルやアダプターでプラットフォームを拡張するチーム。

ライセンス – Apache 2.0。


上記のすべての情報はリポジトリのREADMEから直接取得したものであり、追加の機能は推定されていません。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト