laminlabs/lamindb

해결하는 문제

LaminDB는 다중 모달 AI 데이터셋을 통합적으로 관리하는 시스템을 제공하며, 연구 워크플로우에서의 추적 가능성과 거버넌스 부족이라는 문제를 해결합니다. 정확한 데이터, 코드, 환경이 알려지지 않아 결과를 신뢰할 수 없는 '블랙박스' 문제를 방지합니다. 특히 생명과학 분야(GxP 준수)와 같이 엔드투엔드 라이프사이클이 필수적인 고규제 환경에 특화되어 있습니다.

작동 방식

LaminDB는 확장 가능한 레이크하우스 아키텍처를 사용하여 메타데이터(SQLite 또는 Postgres에 저장)와 실제 데이터(Parquet, Zarr와 같은 오픈 포맷에 저장)를 분리합니다. 파일, 테이블, 배열, 온톨로지 등을 하나의 시스템으로 통합합니다.

주요 기능:

• 라인리지 추적: ln.track()을 사용해 소스 코드, 컴퓨팅 환경, 입력, 출력 간의 관계를 자동으로 기록.
• 버전 관리: 코드와 데이터셋을 함께 버전 관리하여 변경 사항을 추적하고 이전 상태로 되돌릴 수 있음.
• 브랜칭: Git과 유사한 브랜치 및 머지 시스템을 통해 데이터 변경을 격리.
• 스키마 검증: 피처와 레지스트리를 사용해 DataFrame 및 생물학적 데이터 형식(예: AnnData)의 내용을 검증.

대상 사용자

대규모 다중 모달 데이터셋(단백질, 유전자, 생체 샘플 등)을 관리하고 엄격한 재현성을 요구하는 바이오테크 기업, 연구 병원, 학술 기관의 과학자 및 엔지니어를 위한 도구입니다.

주요 특징

• 잠재적 종속성 없음: 메타데이터 및 저장소에 오픈 표준을 사용.
• 다중 모달 지원: 생물학적 포맷, 테이블, 배열을 네이티브로 처리.
• 에이전트 준비: AI 에이전트가 자신의 세션과 계획을 자동으로 추적할 수 있는 기능 포함.
• 분산 피더레이션: 다른 데이터베이스 간에 복사 없이 데이터를 전송하고 라인리지 인식 공유 가능.
• 온톨로지 통합: bionty 플러그인을 통해 공개 생물학 온톨로지 지원.