airbytehq/airbyte

Open-source data movement for ELT pipelines and AI agents — from APIs, databases & files to warehouses, lakes, and AI applications. Both self-hosted and Cloud.

解決する課題

Airbyteは、異なるシステム間でデータを移動するという課題を解決します。API、データベース、SaaSツールなど、数百のソースからデータウェアハウス、データレイク、あるいはAIアプリケーションやLLM駆動型エージェントへ直接データを同期するための統一された方法を提供します。

仕組み

ELT（抽出、ロード、変換）プラットフォームとして機能します。コネクタを設定してソースからデータを抽出し、宛先にプッシュします。AIのユースケース向けには、開発者がこれらのコネクタをLLM用の型安全なツールとして組み込めるAgent SDKを提供しています。このSDKは、リトライ、例外変換、出力サイズ制限などのデータ取得の複雑さを処理し、LangChain、Pydantic-AI、OpenAI Agentsなどのフレームワークと互換性を持たせます。

対象ユーザー

堅牢なデータパイプラインを構築するデータエンジニアや、外部システムに保存されたビジネスデータへのリアルタイムで信頼性の高いアクセスをエージェントに提供する必要があるAI開発者向けに設計されています。

ハイライト

  • さまざまなAPI、データベース、クラウドサービスに対応した600以上の事前構築済みコネクタ。
  • ノーコードのConnector BuilderとローコードのCDKにより、カスタムデータ統合を迅速に作成可能。
  • データコネクタをLLM対応ツールに変換するための専用Agent SDK。
  • Airflow、Dagster、Kestraなどのツールによるオーケストレーションを組み込みでサポート。
  • セキュリティやスケーラビリティを含む、データ移動のためのエンタープライズ向け機能。

関連

  • Dispatch
    エージェントによるデータギャップの解消：Airbyte Agentsの導入

    Airbyte Agentsは、AIエージェントが複数のオペレーショナルデータソースとやり取りする際のAPIの乱用とトークン消費の無駄を削減するため、統合コンテキストレイヤーとContext Storeを導入します。

  • プロジェクト
    airweave-ai/airweave

    AI エージェントと RAG システム向けのオープンソースコンテキスト取得レイヤーで、50 以上の統合からデータを同期し、統一された LLM フレンドリーな検索インターフェースを提供します。

  • プロジェクト
    agentgateway/agentgateway

    エージェントからLLM、エージェントからツール、エージェントからエージェントへの通信にセキュリティ、可観測性、ガバナンスを提供するオープンソースプロキシ。

  • プロジェクト
    inclusionAI/Avernet

    Avernetは、異なるランタイムや既存のボットサービスで実行される複数のAIエージェントが、単一の調整されたネットワークに参加できるようにするオープンソースプラットフォームです。アイデンティティ、認証、ディスカバリー、ルーティング、およびワークフローツール（TaskGuard）に加え、診断/進化（AgentEvolve）を提供します。永続的で管理されたマルチエージェントシステムを必要とするエンタープライズ向けに設計されており、Rustベースのボット調整サービス、Webワークベンチ、およびプラグイン（例：DeepSeek Harness）が同梱されています。中核となるネットワーク機能は公開されていますが、高度な権限、監査、および大規模クラスタリングはまだ進行中です。

  • プロジェクト
    airbytehq/PyAirbyte

    Python 開発者が Airbyte コネクタを Python コード内で直接使用して、データ取り込みや ETL パイプラインを実現できるようにするライブラリです。完全な Airbyte プラットフォームは必要ありません。