laminlabs/lamindb

Open-source data management for multimodal AI. Query, trace, and govern with a lineage-native, format-agnostic lakehouse for agents and teams. Supports biological formats and registries - by the creators of Scanpy. 🍊YC S22

LaminDB – 멀티모달 AI 워크플로우를 위한 데이터 관리 플랫폼

정의 – LaminDB는 오픈소스 라이브러리(Python + R)로, Parquet 테이블, Zarr 배열, AnnData 객체, 이미지, 일반 파일 등 모든 종류의 과학 데이터를 버전 관리되는 '레이크하우스'에 저장되는 아티팩트로 취급할 수 있게 합니다. 각 아티팩트의 출처, 생성한 코드(또는 AI 에이전트), 첨부한 사용자 정의 메타데이터를 기록합니다. 데이터를 위한 git이라고 생각하면 되며, ACID 보장 트랜잭션, 타임트래블, 브랜칭, 스키마 진화를 갖추고 있습니다.

AI에게 중요한 이유 – 현대 AI 파이프라인(대규모 언어 모델 에이전트, 멀티모달 모델, 생물정보학 워크플로우)은 거대하고 이질적인 데이터 세트를 다룹니다. 추적성 없이는 결과를 감사하거나, 실험을 재현하거나, 여러 협업자의 기여를 안전하게 병합할 수 없습니다. LaminDB는 다음을 제공합니다:

  • 계보 추적 – 모든 실행, 변환, 아티팩트가 연결되어 모델 출력이 어떻게 생성되었는지 정확히 재구성할 수 있습니다.
  • 레이크하우스 보장 – 비테이블 형식 데이터에 대한 ACID 트랜잭션, 스냅샷 격리, 버전 관리.
  • 스키마 기반 검증 – 특징(예: gc_content, experiment_date)을 정의하고 DataFrame, AnnData, SpatialData 등을 자동으로 검증합니다.
  • 제로 카피 공유 – 대용량 파일을 복제하지 않고 데이터베이스 간 참조를 이동할 수 있습니다.
  • 기존 도구와의 통합 – Polars, DuckDB, Nextflow, redun, Vitessce 및 bionty 플러그인을 통한 생물 온톨로지와 직접 작동합니다.

사용 방법

  1. 설치 – pip install lamindb(또는 최소 lamindb-core).
  2. 연결 – lamin login && lamin connect account/name 또는 lamin init으로 로컬 저장소 초기화.
  3. 데이터 저장 – ln.Artifact("sample.fasta", key="sample.fasta").save() 또는 CLI lamin save ….
  4. 코드 추적 – 스크립트를 ln.track() / ln.finish()로 감싸거나 함수에 @ln.flow()를 장식하여 매개변수, 환경, 생성된 아티팩트를 캡처합니다.
  5. 쿼리 – ln.Artifact.filter(...).to_dataframe()로 메타데이터, 크기, 실행, 사용자 정의 특징으로 검색할 수 있습니다.
  6. 브랜치 및 병합 – lamin switch -c my_branch 및 lamin merge를 git처럼 사용하여 변경 사항을 격리하고 통합합니다.

사용자 – Pfizer, Altos Labs 팀, 학술 컨소시엄(scverse, Helmholtz Munich), 연구 병원(Harvard, MIT, ETH Zürich)이 LaminDB로 페타바이트 규모의 멀티모달 데이터 세트를 관리합니다.

주요 요점

  • 분산형, 언어 비의존적 데이터 카탈로그(SQLite/Postgres 메타데이터, S3, GCP, 로컬 디스크의 파일)를 제공합니다.
  • 데이터, 코드, 컴퓨팅 환경을 결합하여 AI/ML 파이프라인의 완전한 재현성을 가능하게 합니다.
  • 생명과학 및 멀티모달 AI를 위해 설계되었지만 신뢰할 수 있는 데이터 거버넌스가 필요한 모든 도메인에 적용 가능합니다.

관련

  • 프로젝트
    Growth-Kinetics/DiffMem

    DiffMem is a production‑ready FastAPI service that gives LLM‑powered agents a Git‑backed, Markdown‑based memory. Each user lives on an isolated Git branch; the writer agent commits conversation updates, and a retrieval agent uses plain `git`/`grep` commands to fetch the current view or dive into history. The system needs only an LLM API key, runs on a tiny Linux box (Docker or Coolify), and optionally mirrors branches to a private GitHub repo for backup. It includes consolidation tools (dedupe, redistribute, link) to keep the “now” files compact and well‑linked.

  • 프로젝트
    makecindy/cindy

    Cindy는 자신의 머신에서 로컬로 실행되는 오픈소스 AI 에이전트로, 여러 에이전트 엔진(Claude Code 및 Codex와 같은 하네스), 모델, 도구를 하나의 에이전트로 결합하여 프로젝트에서 실제 작업을 수행합니다. 이 저장소에는 데스크톱 및 모바일 클라이언트 앱(Electron 및 Expo/React Native)과 공유 패키지가 포함되어 있으며, pnpm 모노레포로 구성되어 있습니다. 백엔드 서비스는 별도의 저장소에 있습니다. 공식 Cindy 서비스, 기존 Claude Code/Codex 코딩 플랜, 자체 API 키 또는 로컬 모델을 통해 모델을 가져올 수 있습니다. 클라이언트는 무료이며 Apache-2.0 라이선스로, 메모리, 스킬, 자동화, MCP, 플러그인을 통해 사용자 지정할 수 있으며, 공식 빌드에는 옵트아웃 가능한 TapDB 분석이 포함됩니다.

  • 프로젝트
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything는 RGB, RGB-D, 그리고 미래의 시각-촉각 데이터를 포함하는 다중 모달 로봇 학습 데이터셋을 기록, 병합, 감사, 확장, 반복 개선할 수 있는 엔드투엔드 파이썬 툴킷입니다. 보수적이고 사이드카 중심의 품질 감사, 플러그인 가능한 의미 평가기, 언어 어노테이션 파이프라인, 정책 개선을 위한 클로즈드 루프를 제공하며, LeRobot 데이터 형식과 호환되며 Hugging Face에 게시 가능합니다.

  • 프로젝트
    plinder-org/plinder

    PLINDER는 풍부한 주석이 포함된 대규모 큐레이션 단백질-리간드 상호작용 데이터셋(40만 개 이상의 복합체)으로, 구조 생물학에서 ML 모델의 다운로드, 쿼리 및 평가를 용이하게 하는 Python 라이브러리를 제공합니다.

  • 프로젝트
    omicverse/omicverse

    OmicVerse는 배치 RNA-Seq, 단일세포, 공간 전사체학 분석을 통합하는 Python 라이브러리입니다. 수십 가지 확립된 생물정보학 도구를 통합하고, anndata/mudata 데이터 구조를 표준화하며, AI 지원 에이전트(J.A.R.V.I.S.)와 MCP 서버를 추가하여 자연어 명령어나 LLM 통합을 통해 파이프라인을 실행할 수 있게 합니다. 선택적 확장 기능으로 합성 생물학 모델링과 GPU 가속 분자 역학 워크플로우를 제공합니다.