quiltdata/quilt

Quilt is a Scientific Data Management Platform on AWS that helps teams and AI find, trust, and reuse data through deeply versioned, context-rich data packages.

何を解決するか

Quiltは、科学的データの長期的な利用可能性の課題に対処します。チームやワークフローの進化に伴い、通常は文脈、構造、継承情報が失われるため、AIプロジェクトの進行が遅れ、データチームが手動でのサポート業務に追われる状況を防ぎます。

仕組み

Quiltはクラウド上のデータを耐久性があり、検索可能で再利用可能な「パッケージ」に変換します。各パッケージには、データに加えてメタデータ、ドキュメント、バージョン履歴が含まれます。AWS上で構築されており、データを移行せずにそのまま管理できるため、 disruptive な移行作業を回避できます。

対象ユーザー

科学機関、データサイエンティスト、バイオインフォマティクスワークロードにおいて、データの再現性と信頼性が重要な分野に最適です。

主な特徴

深いバージョン管理: データパッケージのバージョン履歴と継承情報を記録し、再現性を確保します。
AWSネイティブ: AWS上に配置されたデータと直接連携し、厳格な移行作業を不要にします。
Python SDK と CLI: S3 へのパッケージ作成、インストール、アップロードを可能にするツールを提供します。
ハイブリッドモデル: オープンソースの SDK/CLI と、高度な検索・可視化機能を備えたエンタープライズプラットフォームの両方を提供します。

関連

プロジェクト
datachain-ai/datachain
DataChainは、S3、GCS、Azureなどのクラウドストレージ（またはローカルファイルシステム）に格納されたファイルを、軽量なSQLiteベースの「データセットDB」にバージョン管理・型指定されたデータセットとして変換するPythonライブラリです。高速なクエリエンジン（フィルタ、ジョイン、ベクトル類似性）をメタデータ上で実行し、ファイルの移動なしに処理可能。チェックポイント対応パイプラインと、Claude、Cursor、Codex、Copilot、PiなどのLLMエージェントとの統合（オプションの「スキル」経由）をサポート。生成されたmarkdownナレッジベースにより、人間とエージェントの両方がデータを読み取れるようになります。分散実行と共有はDataChain Studioで提供されます。
プロジェクト
AgnostiqHQ/covalent
1行のコードで、あらゆるクラウドまたはオンプレミスクラスタ上でAI/MLおよび科学的研究コードを実行できるPythonライブラリ。
プロジェクト
qiantongtech/qData
エンタープライズデータガバナンスと開発のためのオープンソースデータミドルプラットフォームであり、ETL、メタデータ管理、AI搭載のText2SQLデータQ&Aを特徴としています。
プロジェクト
treeverse/dvc
データおよびMLモデルのバージョン管理、実験の追跡、再現可能なMLパイプラインの管理を可能にするコマンドラインツールおよびVS Code拡張機能。
プロジェクト
InfuseAI/ArtiVC
クラウドストレージ上のデータバージョン管理用のコマンドラインツール。別途サーバーを必要とせず、データのスナップショットを撮り、保存場所を変更せずにバージョン間を切り替えることが可能。