Eventual-Inc/Daft

High-performance data engine for AI and multimodal workloads. Process images, audio, video, and structured data at any scale

解決する課題

Daftは、画像、音声、ビデオ、エンベディングなどの膨大なマルチモーダルデータと、従来の構造化データを並行して処理するという課題に対処します。複雑なJVMベースのセットアップを不要にし、大規模にAIオペレーションを実行するための高性能な方法を提供します。

仕組み

Daftは、高いパフォーマンスを実現するためにRustを採用したPythonネイティブのデータエンジンです。ベクトル化された実行エンジンとArrowベースのアーキテクチャを使用して、データを効率的に処理します。ローカルでの実行、またはRayやKubernetesを使用した分散クラスターへのスケールアップが可能であり、S3、GCS、Iceberg、Delta Lake、Hugging Faceを含む様々なデータソースに接続できます。

対象ユーザー

大規模なマルチモーダルデータセットを処理し、AI推論（LLMプロンプトやエンベディング生成など）をデータパイプラインに直接統合する必要があるデータエンジニアおよびAI実務者。

ハイライト

  • ネイティブなマルチモーダルサポート: 単一のフレームワーク内で画像、音声、ビデオを処理。
  • 組み込みのAI Ops: OpenAI、Transformers、またはカスタムモデルを介して、LLMプロンプトの実行、エンベディングの生成、データの分類を直接統合。
  • Rustによる高速化: Pythonの使いやすさとRustのスピードを融合。
  • 柔軟なスケーリング: ローカル実行から分散クラスターへシームレスに移行。
  • ユニバーサルな接続性: クラウドストレージや、Iceberg、Delta Lakeなどのモダンなテーブルフォーマットへのネイティブアクセス。

関連

  • プロジェクト
    databendlabs/databend

    Rustで構築された、分析、ベクトル検索、およびAIエージェントのオーケストレーションのための安全なPythonサンドボックスを統合したオープンソースのエンタープライズデータウェアハウス。

  • プロジェクト
    NVIDIA/raft

    機械学習およびデータマイニングのためのCUDA加速された基礎アルゴリズムとプリミティブのライブラリであり、AIアプリケーション開発者に高性能なビルディングブロックを提供します。

  • プロジェクト
    WeaveMindAI/weft

    Weft は、AI ワークフローをオーケストレーションするためのコンパイル型・グラフベースの言語およびランタイムです。LLM 呼び出し、エージェント、API、データベース、人間参加型ステップを型付きグラフのノードとして接続し、実行前に設計を検証し、長時間実行ジョブを永続化し、すべてのデータフローのジャーナルを記録します。AI アシスタント「Tangle」と統合され、自動コード生成、テスト、バージョン管理された実行をサポートします。初期段階ですが使用可能で、Docker ベースのインストーラー、VS Code 拡張機能、WhatsApp サポートボットなどの例が含まれています。

  • プロジェクト
    rustfs/rustfs

    RustFSは、Rustで書かれた高性能な分散オブジェクトストレージシステムです。完全なS3互換API（バージョニング、暗号化、ライフサイクル、レプリケーションなど）、OpenStack Swiftのネイティブサポート、Webコンソール、FTPS/WebDAV/SFTPなどのオプションプロトコルを提供します。分散デプロイはDocker、Kubernetes（Helmチャート）、または単一ノードバイナリとして実行でき、Vault/AWS KMS、OIDC、Webhook通知と統合します。Apache 2.0ライセンスの下で、RustFSはAI/MLデータレイクのワークロード、エッジデバイス、エンタープライズグレードのストレージに最適です。

  • プロジェクト
    livekit/rust-sdks

    LiveKitのRust SDKは、リアルタイムのビデオ、オーディオ、データストリームのためのクロスプラットフォームクライアントライブラリです。RustアプリケーションからWebRTCを使用してLiveKitサーバー（クラウドまたはセルフホスト）に接続でき、最新のコーデック、ハードウェアアクセラレーション、サイマルキャスト、データチャネルをサポートしています。リポジトリには複数のクレート（`livekit`, `livekit-api`など）が含まれており、サンプル、ビルド手順、AI音声エージェント向けの統合ノートが提供されています。