insitro/redun

Yet another redundant workflow engine

redun是一个用于Python的_冗余工作流引擎_。它允许您将数据处理管道定义为普通Python代码，然后为您调度这些管道——自动并行运行步骤，跳过未更改的步骤，并记录每个结果是如何产生的完整历史。

相关

项目
magda-io/magda
Magda 是一个数据目录系统，为组织提供一个统一的地方来发现、丰富、搜索、跟踪和优先处理所有数据——无论数据存储在内部、外部，还是以文件、数据库或 API 的形式存在。它使用联邦机制将来自多个来源的元数据合并到一个可搜索的视图中。
项目
lightonai/next-plaid
NextPlaid 是一个本地优先的多向量搜索数据库，提供 REST API；ColGREP 是构建在其上的语义代码搜索工具——一个单一的 Rust 二进制文件，可在本地索引你的代码库并回答自然语言查询（可选通过小型嵌入式代理模型），结合正则表达式过滤与语义排序。NextPlaid 通过量化、内存映射索引、增量更新和 SQL 元数据预过滤解决了多向量嵌入（每文档数百个）的存储成本问题，且全部为 CPU 友好型。两个工具均采用 Apache-2.0 许可证，使用 ONNX 导出的 ColBERT 模型，并将所有数据保留在你的机器上。
项目
OvidijusParsiunas/myvision
一款免费的在线图像标注工具，用于生成计算机视觉机器学习训练数据，支持自动边界框生成和数据集格式转换。
项目
apache/datafusion-python
DataFusion Python 是一座桥梁，将 Apache DataFusion 基于 Rust 的高性能 SQL 和 DataFrame 查询引擎暴露给 Python，让开发者能够在 CSV/Parquet/JSON 数据上运行优化的 SQL 查询，插入自定义 Python 函数，并与 Pandas 交换结果。它被广泛用作其他数据系统的基础，可通过常见的包管理器安装，并包含为贡献者和 AI 辅助开发提供的工具。