Eventual-Inc/Daft

High-performance data engine for AI and multimodal workloads. Process images, audio, video, and structured data at any scale

해결하는 문제

Daft는 이미지, 오디오, 비디오, 임베딩과 같은 방대한 양의 멀티모달 데이터와 기존의 구조화된 데이터를 함께 처리해야 하는 과제를 해결합니다. 복잡한 JVM 기반 설정의 필요성을 없애고, 대규모로 AI 작업을 실행할 수 있는 고성능 방법을 제공합니다.

작동 원리

Daft는 높은 성능을 위해 Rust로 구동되는 Python 네이티브 데이터 엔진입니다. 벡터화된 실행 엔진과 Arrow 기반 아키텍처를 사용하여 데이터를 효율적으로 처리합니다. 로컬에서 실행하거나 Ray 또는 Kubernetes를 사용하여 분산 클러스터로 확장할 수 있으며, S3, GCS, Iceberg, Delta Lake, Hugging Face를 포함한 다양한 데이터 소스에 연결됩니다.

대상 사용자

대규모 멀티모달 데이터 세트를 처리하고 AI 추론(LLM 프롬프트 또는 임베딩 생성 등)을 데이터 파이프라인에 직접 통합해야 하는 데이터 엔지니어 및 AI 전문가.

주요 특징

  • 네이티브 멀티모달 지원: 단일 프레임워크에서 이미지, 오디오 및 비디오를 처리합니다.
  • 내장된 AI Ops: OpenAI, Transformers 또는 커스텀 모델을 통해 LLM 프롬프트 실행, 임베딩 생성 및 데이터 분류를 직접 통합합니다.
  • Rust 기반: Python의 사용 편의성과 Rust의 속도를 결합했습니다.
  • 유연한 확장성: 로컬 실행에서 분산 클러스터로 원활하게 전환할 수 있습니다.
  • 범용 연결성: 클라우드 스토리지 및 Iceberg, Delta Lake와 같은 현대적인 테이블 포맷에 대한 네이티브 액세스를 제공합니다.

관련

  • 프로젝트
    databendlabs/databend

    Rust로 구축되었으며 분석, 벡터 검색 및 AI 에이전트 오케스트레이션을 위한 안전한 Python 샌드박스를 통합한 오픈 소스 엔터프라이즈 데이터 웨어하우스입니다.

  • 프로젝트
    NVIDIA/raft

    머신러닝 및 데이터 마이닝을 위한 CUDA 가속 기반 알고리즘 및 프리미티브 라이브러리로, AI 애플리케이션 개발자에게 고성능 빌딩 블록을 제공합니다.

  • 프로젝트
    WeaveMindAI/weft

    Weft는 AI 워크플로우를 오케스트레이션하기 위한 컴파일된 그래프 기반 언어 및 런타임입니다. LLM 호출, 에이전트, API, 데이터베이스, 인간 개입 단계를 타입이 지정된 그래프의 노드로 연결하고, 실행 전에 설계를 검증하며, 장기 실행 작업을 유지하고, 모든 데이터 흐름의 저널을 기록합니다. AI 어시스턴트 "Tangle"과 통합되어 자동 코드 생성, 테스트, 버전 관리된 실행을 지원합니다. 초기 단계이지만 사용 가능하며, Docker 기반 설치 프로그램, VS Code 확장, WhatsApp 지원 봇과 같은 예제가 포함되어 있습니다.

  • 프로젝트
    rustfs/rustfs

    RustFS는 Rust로 작성된 고성능 분산 객체 스토리지 시스템입니다. 완전한 S3 호환 API(버전 관리, 암호화, 수명 주기, 복제 등), OpenStack Swift의 기본 지원, 웹 콘솔 및 FTPS/WebDAV/SFTP와 같은 선택적 프로토콜을 제공합니다. 분산 배포는 Docker, Kubernetes(Helm 차트) 또는 단일 노드 바이너리로 실행할 수 있으며 Vault/AWS KMS, OIDC 및 웹훅 알림과 통합됩니다. Apache 2.0 라이선스에 따라 RustFS는 AI/ML 데이터 레이크 워크로드, 엣지 디바이스 및 엔터프라이즈급 스토리지에 적합합니다.

  • 프로젝트
    livekit/rust-sdks

    LiveKit의 Rust SDK는 실시간 비디오, 오디오 및 데이터 스트림을 위한 크로스 플랫폼 클라이언트 라이브러리입니다. Rust 앱이 WebRTC를 사용하여 LiveKit 서버(클라우드 또는 자체 호스팅)에 연결할 수 있게 하며, 최신 코덱, 하드웨어 가속, 동시 방송(simulcast) 및 데이터 채널을 지원합니다. 이 저장소는 여러 크레이트(`livekit`, `livekit-api` 등)를 제공하며, 예제, 빌드 지침 및 AI 음성 에이전트 통합 노트를 포함합니다.