laminlabs/lamindb

Open-source data management for multimodal AI. Query, trace, and govern with a lineage-native, format-agnostic lakehouse for agents and teams. With support for biological formats and registries by the creators of Scanpy. 🍊YC S22

何を解決するか

LaminDB は、マルチモーダルAIデータセットを統合的に管理するシステムを提供し、研究ワークフローにおけるトレーサビリティとガバナンスの欠如という課題に取り組んでいます。結果が信頼できない「ブラックボックス」問題を防ぎ、正確なデータ、コード、実行環境が不明な状態を回避します。特に、ライフサイエンス分野(GxP準拠)など、エンドツーエンドのラインエージェンスが必須となる高規制環境に特化しています。

動作方法

LaminDB はスケーラブルなレイクハウスアーキテクチャを採用しており、メタデータ(SQLite や Postgres に保存)と実際のデータ(Parquet や Zarr などのオープンフォーマットに保存)を分離しています。ファイル、テーブル、配列、オントロジーを単一のシステムに統合します。

主なメカニズム:

  • ラインエージェンス追跡ln.track() を使用して、ソースコード、コンピューティング環境、入力、出力の関係を自動的に記録。
  • バージョニング:コードとデータセットを同時にバージョン管理し、変更履歴を追跡し、以前の状態に復元可能。
  • ブランチング:Git に似たブランチとマージシステムを実装し、データ変更を隔離。
  • スキーマ検証:フィーチャーとレジストリを使用して、DataFrame および生物学的データ形式(例:AnnData)の内容を検証。

対象ユーザー

バイオテクノロジー企業、研究病院、学術機関の科学者やエンジニア向けに設計されており、タンパク質や遺伝子、バイオサンプルなど、大規模なマルチモーダルデータセットを管理し、厳格な再現性を必要とするユーザーに最適です。

特徴

  • ロックインなし:メタデータおよびストレージにオープンスタンダードを採用。
  • マルチモーダル対応:生物学的フォーマット、テーブル、配列をネイティブにサポート。
  • エージェント対応:AIエージェントが自身のセッションや計画を自動追跡できるスキルを内蔵。
  • 分散フェデレーション:ゼロコピーでのデータ転送と、ラインエージェンスを意識した異なるデータベース間での共有を可能に。
  • オントロジー統合bionty プラグインを通じて、公開されている生物学的オントロジーをサポート。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト