quiltdata/quilt

Quilt is a Scientific Data Management Platform on AWS that helps teams and AI find, trust, and reuse data through deeply versioned, context-rich data packages.

解決的問題

Quilt 解決了科學資料長期可用性的挑戰。它防止了隨著團隊與工作流程演進，通常會遺失的上下文、結構與血緣資訊，從而避免 AI 專案進度遲緩，以及資料團隊陷入手動支援角色的情況。

工作原理

Quilt 將雲端資料轉換為持久、可搜尋且可重用的「套件」。每個套件將資料與其元資料、文件及版本歷史記錄整合在一起。基於 AWS 建構，允許組織在不進行破壞性遷移的情況下原地管理資料。

適用對象

適用於科學機構、資料科學家，以及對資料可重現性與可信度至關重要的生物資訊學工作負載。

主要亮點

  • 深度版本控制： 記錄資料套件的版本歷史與血緣資訊，確保可重現性。
  • 原生 AWS 支援： 直接與 AWS 上的資料協同作業，無需嚴格的遷移流程。
  • Python SDK 與 CLI： 提供用於建立、安裝與上傳套件至 S3 的工具。
  • 混合模式： 同時提供開源 SDK/CLI 與具備高階搜尋與視覺化功能之企業級平台。

相關

  • 專案
    datachain-ai/datachain

    DataChain 是一個 Python 庫，可將雲端儲存（S3、GCS、Azure）或本地檔案系統中的檔案轉換為基於輕量級 SQLite 的「資料集 DB」中版本化、類型化的資料集。它提供一個在元資料上執行而無需移動原始檔案的快速查詢引擎（過濾、連接、向量相似性），支援檢查點感知流程，並透過可選的「技能」與 LLM 代理（Claude、Cursor、Codex、Copilot、Pi）整合。生成的 markdown 知識庫使資料對人類與代理皆可讀。分散式執行與分享透過 DataChain Studio 提供。

  • 專案
    AgnostiqHQ/covalent

    一個 Python 套件，抽象化基礎設施管理，讓 AI/ML 與科學研究程式碼只需一行程式碼即可在任何雲端或在地叢集上執行。

  • 專案
    qiantongtech/qData

    一個開源的企業資料中台，用於資料治理與開發，具備 ETL、元資料管理以及 AI 驅動的 Text2SQL 資料問答功能。

  • 專案
    treeverse/dvc

    一個命令列工具與 VS Code 延伸模組，用於版本化資料與 ML 模型，追蹤實驗，並管理可重現的 ML 管道。

  • 專案
    InfuseAI/ArtiVC

    一種用於雲端儲存上資料版本控制的命令列工具，無需額外伺服器，可對資料進行快照並切換版本，而無需變更檔案儲存位置。