Eventual-Inc/Daft

해결하는 문제

Daft는 이미지, 오디오, 비디오, 임베딩과 같은 방대한 양의 멀티모달 데이터와 기존의 구조화된 데이터를 함께 처리해야 하는 과제를 해결합니다. 복잡한 JVM 기반 설정의 필요성을 없애고, 대규모로 AI 작업을 실행할 수 있는 고성능 방법을 제공합니다.

작동 원리

Daft는 높은 성능을 위해 Rust로 구동되는 Python 네이티브 데이터 엔진입니다. 벡터화된 실행 엔진과 Arrow 기반 아키텍처를 사용하여 데이터를 효율적으로 처리합니다. 로컬에서 실행하거나 Ray 또는 Kubernetes를 사용하여 분산 클러스터로 확장할 수 있으며, S3, GCS, Iceberg, Delta Lake, Hugging Face를 포함한 다양한 데이터 소스에 연결됩니다.

대상 사용자

대규모 멀티모달 데이터 세트를 처리하고 AI 추론(LLM 프롬프트 또는 임베딩 생성 등)을 데이터 파이프라인에 직접 통합해야 하는 데이터 엔지니어 및 AI 전문가.

주요 특징

• 네이티브 멀티모달 지원: 단일 프레임워크에서 이미지, 오디오 및 비디오를 처리합니다.
• 내장된 AI Ops: OpenAI, Transformers 또는 커스텀 모델을 통해 LLM 프롬프트 실행, 임베딩 생성 및 데이터 분류를 직접 통합합니다.
• Rust 기반: Python의 사용 편의성과 Rust의 속도를 결합했습니다.
• 유연한 확장성: 로컬 실행에서 분산 클러스터로 원활하게 전환할 수 있습니다.
• 범용 연결성: 클라우드 스토리지 및 Iceberg, Delta Lake와 같은 현대적인 테이블 포맷에 대한 네이티브 액세스를 제공합니다.