Eventual-Inc/Daft

解決する課題

Daftは、画像、音声、ビデオ、エンベディングなどの膨大なマルチモーダルデータと、従来の構造化データを並行して処理するという課題に対処します。複雑なJVMベースのセットアップを不要にし、大規模にAIオペレーションを実行するための高性能な方法を提供します。

仕組み

Daftは、高いパフォーマンスを実現するためにRustを採用したPythonネイティブのデータエンジンです。ベクトル化された実行エンジンとArrowベースのアーキテクチャを使用して、データを効率的に処理します。ローカルでの実行、またはRayやKubernetesを使用した分散クラスターへのスケールアップが可能であり、S3、GCS、Iceberg、Delta Lake、Hugging Faceを含む様々なデータソースに接続できます。

対象ユーザー

大規模なマルチモーダルデータセットを処理し、AI推論（LLMプロンプトやエンベディング生成など）をデータパイプラインに直接統合する必要があるデータエンジニアおよびAI実務者。

ハイライト

• ネイティブなマルチモーダルサポート: 単一のフレームワーク内で画像、音声、ビデオを処理。
• 組み込みのAI Ops: OpenAI、Transformers、またはカスタムモデルを介して、LLMプロンプトの実行、エンベディングの生成、データの分類を直接統合。
• Rustによる高速化: Pythonの使いやすさとRustのスピードを融合。
• 柔軟なスケーリング: ローカル実行から分散クラスターへシームレスに移行。
• ユニバーサルな接続性: クラウドストレージや、Iceberg、Delta Lakeなどのモダンなテーブルフォーマットへのネイティブアクセス。