Eventual-Inc/Daft

解决的问题

Daft 解决了处理海量多模态数据（如图像、音频、视频和嵌入）与传统结构化数据并行的挑战。它消除了对复杂 JVM 配置的需求，并提供了一种大规模运行 AI 操作的高性能方式。

工作原理

Daft 是一个由 Rust 驱动的 Python 原生数据引擎，具有极高的性能。它使用向量化执行引擎和基于 Arrow 的架构来高效处理数据。它可以本地运行，也可以通过 Ray 或 Kubernetes 扩展到分布式集群，并连接到包括 S3、GCS、Iceberg、Delta Lake 和 Hugging Face 在内的各种数据源。

适用对象

需要处理大规模多模态数据集，并将 AI 推理（如 LLM 提示词或嵌入生成）直接集成到其数据流水线中的数据工程师和 AI 从业者。

亮点

• 原生多模态支持：在单个框架中处理图像、音频和视频。
• 内置 AI Ops：通过 OpenAI、Transformers 或自定义模型，直接集成运行 LLM 提示词、生成嵌入和进行数据分类。
• Rust 驱动：结合了 Python 的易用性和 Rust 的速度。
• 灵活扩展：从本地执行无缝迁移到分布式集群。
• 通用连接性：原生访问云存储以及 Iceberg 和 Delta Lake 等现代表格式。