Eventual-Inc/Daft
High-performance data engine for AI and multimodal workloads. Process images, audio, video, and structured data at any scale
解决的问题
Daft 解决了处理海量多模态数据（如图像、音频、视频和嵌入）与传统结构化数据并行的挑战。它消除了对复杂 JVM 配置的需求，并提供了一种大规模运行 AI 操作的高性能方式。
工作原理
Daft 是一个由 Rust 驱动的 Python 原生数据引擎，具有极高的性能。它使用向量化执行引擎和基于 Arrow 的架构来高效处理数据。它可以本地运行，也可以通过 Ray 或 Kubernetes 扩展到分布式集群，并连接到包括 S3、GCS、Iceberg、Delta Lake 和 Hugging Face 在内的各种数据源。
适用对象
需要处理大规模多模态数据集，并将 AI 推理（如 LLM 提示词或嵌入生成）直接集成到其数据流水线中的数据工程师和 AI 从业者。
亮点
- 原生多模态支持：在单个框架中处理图像、音频和视频。
- 内置 AI Ops：通过 OpenAI、Transformers 或自定义模型，直接集成运行 LLM 提示词、生成嵌入和进行数据分类。
- Rust 驱动：结合了 Python 的易用性和 Rust 的速度。
- 灵活扩展：从本地执行无缝迁移到分布式集群。
- 通用连接性：原生访问云存储以及 Iceberg 和 Delta Lake 等现代表格式。
相关
- 项目
- 项目
NVIDIA/raft一个用于机器学习和数据挖掘的 CUDA 加速基础算法与原语库，为 AI 应用开发者提供高性能的构建模块。
- 项目
WeaveMindAI/weftWeft 是一种编译式、基于图形的语言和运行时，用于编排 AI 工作流程。它让您可以将 LLM 调用、代理、API、数据库和人工介入步骤连接为类型化图形中的节点，在执行前验证设计、持久化长时间运行的任务，并记录所有数据流的日志。它与 AI 助手“Tangle”集成，支持自动代码生成、测试和版本化运行。虽然处于早期阶段但已可用，提供基于 Docker 的安装程序、VS Code 扩展，以及 WhatsApp 支持机器人等示例。
- 项目
rustfs/rustfsRustFS 是一个用 Rust 编写的高性能分布式对象存储系统。它提供完整的 S3 兼容 API（版本控制、加密、生命周期、复制等）、对 OpenStack Swift 的原生支持、Web 控制台以及 FTPS/WebDAV/SFTP 等可选协议。分布式部署可以在 Docker、Kubernetes（Helm 图表）上运行，或作为单节点二进制运行，并与 Vault/AWS KMS、OIDC 和 Webhook 通知集成。RustFS 根据 Apache 2.0 许可，面向 AI/ML 数据湖工作负载、边缘设备和企业级存储。
- 项目
livekit/rust-sdksLiveKit 的 Rust SDK 是一个用于实时视频、音频和数据流的跨平台客户端库。它让 Rust 应用程序能通过 WebRTC 连接到 LiveKit 服务器（云端或自建），并支持现代编解码器、硬件加速、联播 (simulcast) 和数据通道。该仓库包含多个 crates (`livekit`, `livekit-api` 等)，并提供示例、构建说明以及 AI 语音代理的集成说明。