kamu-data/kamu-cli

해결하는 문제

Kamu는 신뢰, 소유권, 재현성으로 인해 제한되는 데이터에 대한 글로벌 협업 문제를 해결합니다. 변경 사항의 전체 이력을 포함하는 동적 구조화 데이터를 관리하는 방법을 제공하여, 변환이 정확하고 위변조되지 않았음을 검증할 수 있게 합니다. 이를 통해 조직은 오픈 소스 소프트웨어와 유사한 규모로 데이터를 공유하고 재사용할 수 있습니다.

작동 방식

Kamu는 웹 데이터 폴링, MQTT 브로커, 블록체인 로그 등 다양한 소스에서 데이터를 수집하는 명령줄 도구로 작동합니다. 데이터는 Apache Iceberg 및 Delta에서 영감을 받은 Web3 네이티브 형식인 Open Data Fabric (ODF) 형식으로 저장됩니다. ODF는 암호학적 무결성, 안정적인 참조, 분산 ID를 제공합니다. Iceberg 및 Delta와 달리 ODF는 이력을 보존하므로 전체 이벤트 기록이 유지됩니다.

데이터를 변환하기 위해 kamu는 SQL 쿼리를 통해 생성된 "파생 데이터셋"을 사용합니다. Flink, Spark, DataFusion과 같은 인기 있는 SQL 엔진을 플러그인으로 통합하므로 하나의 파이프라인에서 엔진을 혼합하여 사용할 수 있습니다. 변환은 메타데이터에 저장되며 결정론적이고 재현 가능합니다. kamu verify --recursive 명령을 사용하여 데이터셋을 검증하고 입력 및 코드와 일치하는지 확인할 수 있습니다.

데이터셋 공유는 S3나 IPFS와 같은 기존 또는 분산 스토리지에 푸시하여 수행됩니다. ID가 메타데이터에 포함되어 있으므로 누구나 소유자를 확인할 수 있습니다. Kamu는 연합 쿼리(Federated Query)를 지원하여 서로 다른 위치에 있는 데이터를 하나의 거대한 데이터베이스인 것처럼 쿼리할 수 있으며, 결과에는 암호학적 약속이 함께 제공됩니다.

대상 사용자

Kamu는 강력한 무결성과 재현성을 보장하는 데이터 파이프라인을 구축하고 관리해야 하는 데이터 엔지니어, 과학자, 분석가를 위한 도구입니다. 또한 통제권이나 신뢰를 잃지 않고 팀 간 또는 외부와 데이터를 공유하려는 조직에도 적합합니다. 로컬 우선(Local-first) 특성 덕분에 클라우드 레이크하우스의 무료 대안을 찾는 개인 및 소규모 팀에 적합하며, 필요할 때 클러스터로 확장할 수도 있습니다.

주요 특징

• 위변조 방지 이력: 데이터에 대한 모든 변경 사항이 암호학적 무결성과 함께 기록됨
• 검증 가능한 변환: 데이터셋이 입력과 코드의 정확한 결과임을 증명할 수 있음
• 로컬 우선: 계정 없이 노트북에서 실행되며 온프레미스 클러스터로 확장 가능
• 피어 투 피어 데이터 공유: 소유권 귀속과 함께 IPFS 또는 기존 스토리지를 통해 데이터셋 공유
• 연합 쿼리: 마치 하나의 데이터베이스인 것처럼 위치에 관계없이 데이터 쿼리
• 다양한 SQL 엔진과의 통합: 파이프라인의 각 단계에 가장 적합한 엔진 사용