kamu-data/kamu-cli

解決する課題

Kamuは、信頼性、所有権、再現性によって制限されがちなデータに関するグローバルなコラボレーションの問題を解決します。変更の全履歴を持つ動的な構造化データを管理する方法を提供し、変換が正確で改ざんされていないことを検証可能にします。これにより、組織はオープンソースソフトウェアと同様の規模でデータを共有および再利用できるようになります。

仕組み

Kamuは、Webデータのポーリング、MQTTブローカー、ブロックチェーンログなど、多くのソースからデータを取り込むコマンドラインツールとして機能します。データは、Apache IcebergやDeltaに触発されたWeb3ネイティブフォーマットであるOpen Data Fabric (ODF) 形式で保存されます。ODFは、暗号学的な整合性、安定した参照、分散型IDを提供します。IcebergやDeltaとは異なり、ODFは履歴を保持するため、完全なイベント履歴が残ります。

データを変換するために、kamuはSQLクエリによって作成される「派生データセット」を使用します。Flink、Spark、DataFusionなどの一般的なSQLエンジンをプラグインとして統合しているため、1つのパイプライン内でエンジンを混在させることができます。変換はメタデータに保存され、決定論的で再現可能です。kamu verify --recursive コマンドを使用してデータセットを検証し、入力とコードと一致していることを確認できます。

データセットの共有は、S3やIPFSなどの従来型または分散型のストレージにプッシュすることで行われます。IDがメタデータに埋め込まれているため、誰でも所有者を確認できます。Kamuはフェデレーションクエリもサポートしており、異なる場所にあるデータを1つの巨大なデータベースであるかのようにクエリでき、結果には暗号学的なコミットメントが伴います。

対象ユーザー

Kamuは、整合性と再現性の強力な保証を伴うデータパイプラインを構築・管理する必要があるデータエンジニア、科学者、アナリスト向けです。また、制御や信頼を失うことなく、チーム間や外部とデータを共有したい組織にも適しています。ローカルファーストな性質により、クラウドレイクハウスの無料の代替手段を求める個人や小規模チームに適しており、必要に応じてクラスターにスケールアップすることも可能です。

ハイライト

• 改ざん防止履歴：データへのすべての変更が暗号学的な整合性とともに記録されます
• 検証可能な変換：データセットが入力とコードの正確な結果であることを証明できます
• ローカルファースト：アカウントなしでラップトップ上で実行でき、オンプレミスクラスターにスケールします
• ピアツーピアのデータ共有：所有権の帰属を伴うIPFSまたは従来型ストレージを介したデータセットの共有
• フェデレーションクエリ：あたかも1つのデータベースであるかのように、場所をまたいでデータをクエリ
• 多くのSQLエンジンとの統合：パイプラインの各ステップに最適なエンジンを使用可能