linkedin/venice
Venice, Derived Data Platform for Planet-Scale Workloads.
해결하는 문제
Venice는 행성 규모의 워크로드를 위한 파생 데이터 저장 플랫폼입니다. 오프라인, 네어라인, 온라인 데이터 세계 간의 격차를 메우며, ML 학습 작업에서 처리된 데이터를 온라인 추론 워크로드에서 저지연으로 접근할 수 있도록 하는 문제를 해결합니다.
작동 방식
Venice는 Feature Store의 백엔드로 사용할 수 있는 상태 유지 컴포넌트입니다. 배치(Hadoop, Spark) 및 스트리밍(Samza) 소스로부터 고처리량 비동기 인제스트를 지원합니다. 데이터는 CRDT 기반의 충돌 해결을 통해 여러 리전에 저장 및 복제됩니다.
사용자는 지연 시간 요구 사항에 따라 세 가지 다른 클라이언트 유형으로 데이터에 접근할 수 있습니다:
- Thin Client: 상태 없음, < 10ms 지연 시간.
- Fast Client: 파티션 인식, < 2ms 지연 시간.
- Da Vinci Client: 상태 유지 로컬 캐시를 사용하여 < 1ms 지연 시간.
대상 사용자
스케일링 가능하고 다중 테넌트인 ML 특징 저장 계층이 필요한 엔지니어 및 AI 전문가를 위한 것입니다. ML 학습 작업의 출력을 실시간 추론 중 쿼리 가능한 시스템에 공급할 수 있습니다.
주요 특징
- 유연한 인제스트: 배치 푸시, 인크리멘탈 푸시, 스트리밍 쓰기, 하이브리드 스토어를 지원합니다.
- 읽기 계산: 내적 곱과 코사인 유사도와 같은 서버 측 연산을 가능하게 합니다.
- 액티브-액티브 복제: CRDT 기반 충돌 해결을 통해 리전 간 고가용성을 보장합니다.
- 다중 클라이언트 옵션: 비용 또는 성능 최적화를 위해 Thin, Fast, Da Vinci 클라이언트를 제공합니다.
- 변경 데이터 캡처(CDC): 모든 데이터 변경 사항을 스트리밍하여 ML 특징 검색 및 인덱싱에 활용합니다.
관련
- 프로젝트
feast-dev/feast기계학습을 위한 오픈소스 특징 저장소로, 오프라인 학습에서 저지연 온라인 추론에 이르는 데이터 흐름을 관리합니다.
- 프로젝트
airbnb/chrononAI/ML용 데이터 플랫폼으로 데이터 계산과 제공을 추상화하여, 오프라인 학습 데이터와 온라인 실시간 특징 제공 간 시점 일관성을 보장합니다.
- 프로젝트
ai-dynamo/dynamoDynamo는 여러 GPU 또는 노드를 조정하여 LLM 추론을 수행하는 오픈 소스 Rust 기반 오케스트레이션 계층입니다. vLLM, SGLang 또는 TensorRT-LLM과 같은 엔진 위에 분리된 prefill/decode, KV 인식 라우팅, 캐시 오프로딩, 자동 확장 및 Kubernetes 통합을 추가하여 대규모 LLM 서빙에서 최대 7배 높은 처리량과 더 빠른 콜드 스타트를 제공합니다.
- 프로젝트
llm-d/llm-d다양한 하드웨어 가속기에서 LLM의 생산 배포를 최적화하는 고성능 분산 추론 서빙 스택으로, Kubernetes에서 작동합니다.
- 프로젝트
datachain-ai/datachainDataChain은 S3/GCS/Azure(또는 로컬)의 파일을 경량 SQLite 데이터베이스에 저장된 버전 관리형 타입 데이터셋으로 변환하는 Python 라이브러리입니다. 원본 파일을 이동하지 않고도 수백만 개의 레코드에 대해 빠른 서브초 단위의 필터링, 조인, 집계 및 벡터 유사도 검색을 제공합니다. 파이프라인은 일반 Python 함수로 작성되며, 엔진이 병렬 실행, 체크포인트 및 증분 업데이트를 처리합니다. 선택적 기능으로는 인간/LLM을 위한 자동 생성 Markdown 지식 베이스와 Claude, Cursor, Codex, Copilot 또는 Pi와 같은 도구에서 데이터 계층을 인식할 수 있게 하는 스킬이 있습니다. 호스팅되는 "Studio" 서비스는 공유 데이터셋 레지스트리, 분산 컴퓨팅 및 대규모 미디어용 UI를 추가합니다. `pip install datachain`으로 설치하고, 필요에 따라 `datachain skill install --target claude`를 실행하세요.