datachain-ai/datachain

The Context Layer for unstructured data: typed, versioned datasets over S3, GCS, Azure

What it solves

DataChain は、クラウドバケット（S3、GCS、Azure）に保存された画像、動画、ドキュメントなどの大量の非構造化データの管理・クエリ・処理の難しさを解決します。データベースへコピーする必要をなくし、データセットのバージョン管理を提供し、データ全体をメモリにロードせずに高速なメタデータ検索や類似検索を可能にします。

How it works

DataChain は「コンテキスト層」として機能し、Pydantic スキーマを用いてクラウドストレージを型付きデータセットとしてインデックス化します。主なコンポーネントは次の 3 つです。

  1. Compute Engine: ファイル上でユーザー定義関数（UDF）を実行する並列・分散 Python エンジン。非同期 I/O、失敗時のチェックポイント復元、増分更新により新規ファイルのみを処理します。
  2. Dataset DB: 永続ストア（ローカル SQLite）で、スキーマ、バージョン、ファイルポインタ、メタデータを管理。これにより数百万件のレコードに対してミリ秒単位のフィルタリング、ジョイン、ベクトル類似検索が可能になります。
  3. Knowledge Base: データセットの構造と系統を人間と AI エージェントの両方が読めるようにする markdown 要約層です。

Who it’s for

データエンジニアや AI 実務者向けで、非構造化データのレジリエントなパイプラインを構築し、データコンテキストを AI エージェントのワークフロー（例: Claude Code、Cursor、GitHub Copilot）に直接統合したい方に最適です。

Highlights

  • Zero-copy indexing: データはクラウドストレージに残り、管理されるのはメタデータとポインタだけです。
  • Resilient pipelines: 自動チェックポイントにより、クラッシュ後も最後に成功したバッチからパイプラインを再開できます。
  • Warehouse-speed queries: ベクトルとメタデータのフィルタは Dataset DB に対するベクトル化操作として実行されます。
  • Agent Integration: AI エージェントがデータスキーマを理解し、パイプラインを自動生成できる「スキル」を含みます。
  • Incremental Processing: delta=True 設定で新規または変更されたファイルのみを処理します。