kamu-data/kamu-cli

解决的问题

Kamu 解决了全球数据协作的问题，这些协作通常受到信任、所有权和可重复性的限制。它提供了一种管理具有完整变更历史的动态结构化数据的方法，使得验证转换的正确性和防篡改性成为可能。这使得组织能够以类似于开源软件的规模共享和重用数据。

工作原理

Kamu 作为一个命令行工具，可以从多种来源摄取数据，包括轮询 Web 数据、MQTT 代理和区块链日志。它以 Open Data Fabric (ODF) 格式存储数据，这是一种受 Apache Iceberg 和 Delta 启发的 Web3 原生格式。ODF 提供加密完整性、稳定引用和去中心化身份。与 Iceberg 和 Delta 不同，ODF 是保留历史记录的，这意味着它保留了完整的事件历史。

为了转换数据，kamu 使用通过 SQL 查询创建的“派生数据集”。它集成了 Flink、Spark 和 DataFusion 等流行的 SQL 引擎作为插件，因此你可以在一个流水线中混合使用不同的引擎。转换存储在元数据中，并且是确定性且可重复的。你可以使用 kamu verify --recursive 命令验证数据集，以确认它与其输入和代码相匹配。

数据集的共享是通过将其推送到 S3 或 IPFS 等传统或去中心化存储来完成的。由于身份嵌入在元数据中，任何人都可以看到所有者。Kamu 还支持联邦查询，允许将来自不同位置的数据作为一个大型数据库进行查询，并附带加密承诺。

适用人群

Kamu 适用于需要构建和管理具有强大完整性和可重复性保证的数据流水线的数据工程师、科学家和分析师。它也适用于希望在团队内部或外部共享数据而不失去控制权或信任的组织。其本地优先的特性使其非常适合希望拥有云数据湖仓免费替代方案，同时在需要时能够扩展到集群的个人和小型团队。

亮点

• 防篡改历史：所有数据变更都以加密完整性记录
• 可验证的转换：你可以证明数据集是其输入和代码的精确结果
• 本地优先：在你的笔记本电脑上运行，无需账户，可扩展到本地集群
• 点对点数据共享：通过 IPFS 或传统存储共享数据集，并带有所有权归属
• 联邦查询：跨位置查询数据，就像它是同一个数据库一样
• 与多种 SQL 引擎集成：为流水线的每一步使用最佳引擎