laminlabs/lamindb

Open-source data management for multimodal AI. Query, trace, and govern with a lineage-native, format-agnostic lakehouse for agents and teams. Supports biological formats and registries - by the creators of Scanpy. 🍊YC S22

LaminDB – マルチモーダルAIワークフローのためのデータ管理プラットフォーム

概要 – LaminDBはオープンソースのライブラリ（Python + R）で、あらゆる種類の科学データ（Parquetテーブル、Zarrアレイ、AnnDataオブジェクト、画像、プレーンファイルなど）を、バージョン管理された「レイクハウス」に保存されるアーティファクトとして扱うことができます。各アーティファクトの由来、生成したコード（またはAIエージェント）、添付したカスタムメタデータを記録します。データのためのgitと考えてください。ただし、ACID保証付きトランザクション、タイムトラベル、ブランチ、スキーマ進化を備えています。

AIにとって重要な理由 – 現代のAIパイプライン（大規模言語モデルエージェント、マルチモーダルモデル、バイオインフォマティクスワークフロー）は、巨大で異種混在のデータセットを扱います。トレーサビリティがなければ、結果の監査、実験の再現、多数の共同作業者からの安全なマージはできません。LaminDBは以下を提供します：

  • 系統追跡 – すべての実行、変換、アーティファクトがリンクされ、モデルの出力がどのように生成されたかを正確に再構築できます。
  • レイクハウス保証 – 非表形式データに対するACIDトランザクション、スナップショット分離、バージョン管理。
  • スキーマ駆動の検証 – 特徴（例：gc_content、experiment_date）を定義し、DataFrame、AnnData、SpatialDataなどを自動的に検証します。
  • ゼロコピー共有 – 大きなファイルを複製せずに、データベース間で参照を移動できます。
  • 既存ツールとの統合 – Polars、DuckDB、Nextflow、redun、Vitessce、およびbiontyプラグインを介したバイオオントロジーと直接連携します。

使用方法

  1. インストール – pip install lamindb（または最小限のlamindb-core）。
  2. 接続 – lamin login && lamin connect account/nameまたはlamin initでローカルリポジトリを初期化。
  3. データ保存 – ln.Artifact("sample.fasta", key="sample.fasta").save()またはCLI lamin save …。
  4. コード追跡 – スクリプトをln.track() / ln.finish()でラップするか、関数に@ln.flow()でデコレートして、パラメータ、環境、生成されたアーティファクトを取得します。
  5. クエリ – ln.Artifact.filter(...).to_dataframe()でメタデータ、サイズ、実行、カスタム特徴で検索できます。
  6. ブランチとマージ – lamin switch -c my_branchとlamin mergeをgitのように使用して、変更を分離・統合します。

使用者 – Pfizer、Altos Labsのチーム、学術コンソーシアム（scverse、Helmholtz Munich）、研究病院（Harvard、MIT、ETH Zürich）がLaminDBでペタバイト規模のマルチモーダルデータセットを管理しています。

重要ポイント

  • 分散型で言語非依存のデータカタログ（SQLite/Postgresメタデータ、S3、GCP、ローカルディスク上のファイル）を提供。
  • データ、コード、計算環境を結び付けることで、AI/MLパイプラインの完全な再現性を実現。
  • ライフサイエンスとマルチモーダルAI向けに設計されていますが、信頼できるデータガバナンスが必要なあらゆる分野に適用可能。

関連

  • プロジェクト
    Growth-Kinetics/DiffMem

    DiffMem is a production‑ready FastAPI service that gives LLM‑powered agents a Git‑backed, Markdown‑based memory. Each user lives on an isolated Git branch; the writer agent commits conversation updates, and a retrieval agent uses plain `git`/`grep` commands to fetch the current view or dive into history. The system needs only an LLM API key, runs on a tiny Linux box (Docker or Coolify), and optionally mirrors branches to a private GitHub repo for backup. It includes consolidation tools (dedupe, redistribute, link) to keep the “now” files compact and well‑linked.

  • プロジェクト
    makecindy/cindy

    Cindy は、自分のマシン上でローカルに動作するオープンソースの AI エージェントで、複数のエージェントエンジン（Claude Code や Codex などのハーネス）、モデル、ツールを 1 つのエージェントに統合し、プロジェクトで実際の作業を行います。このリポジトリには、デスクトップおよびモバイルクライアントアプリ（Electron と Expo/React Native）と共有パッケージが含まれており、pnpm モノレポとして構成されています。バックエンドサービスは別のリポジトリにあります。モデルは、公式 Cindy サービス、既存の Claude Code/Codex コーディングプラン、独自の API キー、またはローカルモデルを介して持ち込むことができます。クライアントは無料で Apache-2.0 ライセンスであり、メモリ、スキル、自動化、MCP、プラグインを通じてカスタマイズ可能で、公式ビルドにはオプトアウト可能な TapDB 分析が含まれています。

  • プロジェクト
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything は、ビジョン・言語・アクションモデル向けのマルチモーダルロボット学習データセット（RGB、RGB-D、および将来の視覚触覚）を記録、マージ、監査、拡張、反復改善できるエンドツーエンドのPythonツールキットです。保守的でサイドカー最優先の品質監査、プラグイン可能な意味的評価器、言語アノテーションパイプライン、ポリシー改善のクローズドループを提供し、LeRobotデータフォーマットと互換性があり、Hugging Faceに公開可能です。

  • プロジェクト
    plinder-org/plinder

    PLINDER は、豊富なアノテーションを備えた大規模な厳選タンパク質-リガンド相互作用データセット（40万以上の複合体）であり、構造生物学におけるMLモデルのダウンロード、クエリ、評価を容易にするPythonライブラリを提供します。

  • プロジェクト
    omicverse/omicverse

    OmicVerseは、バッチRNA-Seq、シングルセル、空間トランスクリプトミクス解析を統合するPythonライブラリです。数十の確立されたバイオインフォマティクスツールをバンドルし、anndata/mudataデータ構造を標準化し、AI支援エージェント（J.A.R.V.I.S.）とMCPサーバーを追加して、自然言語コマンドやLLM統合でパイプラインを実行可能にします。オプション拡張により合成生物学モデリングとGPU加速分子動力学ワークフローも提供します。