Eventual-Inc/Daft

解決的問題

Daft 解決了處理海量多模態數據（如圖像、音訊、影片和嵌入）與傳統結構化數據並行的挑戰。它消除了對複雜 JVM 配置的需求，並提供了一種大規模運行 AI 操作的高性能方式。

工作原理

Daft 是一個由 Rust 驅動的 Python 原生數據引擎，具有極高的性能。它使用向量化執行引擎和基於 Arrow 的架構來高效處理數據。它可以本地運行，也可以透過 Ray 或 Kubernetes 擴展到分散式集群，並連接到包括 S3、GCS、Iceberg、Delta Lake 和 Hugging Face 在內的各種數據源。

適用對象

需要處理大規模多模態數據集，並將 AI 推理（如 LLM 提示詞或嵌入生成）直接集成到其數據流水線中的數據工程師和 AI 從業者。

亮點

• 原生多模態支持：在單一框架中處理圖像、音訊和影片。
• 內建 AI Ops：透過 OpenAI、Transformers 或自定義模型，直接集成執行 LLM 提示詞、生成嵌入和進行數據分類。
• Rust 驅動：結合了 Python 的易用性與 Rust 的速度。
• 靈活擴展：從本地執行無縫遷移到分散式集群。
• 通用連接性：原生訪問雲端儲存以及 Iceberg 和 Delta Lake 等現代表格式。