astronomer/agents

AI agent tooling for data engineering workflows.

解決する課題

このプロジェクトは、データエンジニアリングのワークフローを合理化するために設計された一連のAIエージェント・ツールを提供します。特にApache Airflowや様々なデータウェアハウスを使用しているユーザーを対象としています。AIコーディングエージェントと、データパイプラインの管理、ウェアハウスへのクエリ、DAG(有向非巡回グラフ)の開発といった複雑な運用タスクとの間のギャップを埋めます。

仕組み

このプロジェクトは、AIエージェントを拡張するために2つの主要なメカニズムを実装しています:

  1. MCP Server: Model Context Protocol (MCP) サーバー。完全な Airflow REST API 統合を提供し、エージェントが DAG の管理、実行のトリガー、システムの状態確認を行えるようにします。
  2. Skills: AIコーディングエージェント(Claude Code や Cursor など)に追加できる専門的な機能。これらのスキルには以下が含まれます:
    • Data Discovery: バックグラウンドの Jupyter カーネルを使用した、スキーマの検出および SQL ベースの分析のためのツール。
    • Lineage: 上流および下流のデータ依存関係を追跡するためのツール。
    • DAG Development: Airflow DAG の作成、テスト、デバッグ、デプロイのためのツール。
    • Integrations: Astronomer Cosmos を介した dbt Core および dbt Fusion のための専門的なサポート。

対象者

Apache Airflow(オープンソースまたは Astronomer のマネージドプラットフォーム)を使用しており、パイプライン管理とデータ分析を自動化するために開発環境にAIアシスタンスを統合する必要があるデータエンジニアおよび実務家。

ハイライト

  • 幅広い互換性: Claude Code、Cursor、VS Code を含む 25 以上の AI コーディングエージェントに対応。
  • 広範なウェアハウスサポート: SQLAlchemy を介して Snowflake、BigQuery、PostgreSQL、およびその他 25 以上のデータベースに接続。
  • Airflow 統合: DAG 管理と障害診断のための完全な REST API アクセス。
  • 開発者向けツール: Airflow と直接ターミナルでやり取りするための専用 CLI ツール (af) を含む。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト