feast-dev/feast

해결하는 문제

Feast는 머신러닝 피처를 관리하는 중앙 집중식 방법을 제공하여 학습에 사용되는 이력 데이터와 추론에 사용되는 실시간 데이터 사이의 간극을 메웁니다. 시점 정확성(point-in-time correctness)을 보장하여 데이터 누수를 방지하고, ML 모델을 기본 데이터 인프라와 분리하여 다양한 환경에서 모델의 이식성을 높여줍니다.

작동 원리

Feast는 저장소와 검색을 추상화하는 데이터 액세스 레이어 역할을 합니다. 두 가지 주요 유형의 스토어를 관리합니다:

• Offline Store: 배치 스코어링 또는 모델 학습을 위한 이력 데이터를 처리합니다.
• Online Store: 실시간 예측을 지원하는 저지연 스토어입니다.

사전 계산된 피처를 제공하는 피처 서버와 피처 정의를 추적하는 레지스트리가 포함되어 있습니다. 사용자는 실시간 사용을 위해 오프라인 스토어의 데이터를 온라인 스토어로 마테리아라이즈(materialize)할 수 있습니다.

대상 사용자

모델 학습 및 온라인 추론을 위해 분석 데이터를 대규모로 프로덕션 환경에 적용해야 하는 ML 플랫폼 팀 및 데이터 과학자.

주요 특징

• 광범위한 인프라 지원: 다양한 데이터 소스, 오프라인 스토어(예: Snowflake, BigQuery, DuckDB) 및 온라인 스토어(예: Redis, DynamoDB, Qdrant)와 통합됩니다.
• 시점 정확성: 미래의 값이 학습 세트에 유출되지 않도록 보장하여 데이터 누수를 방지하는 피처 세트를 생성합니다.
• 온디맨드 변환: 읽기 또는 쓰기 시 변환을 지원하여 피처를 동적으로 처리합니다.
• 피처 품질 모니터링: 내장된 메트릭, 드리프트 감지 및 서빙 로그 모니터링을 포함합니다.
• 벡터 검색 지원: NLP 작업을 위한 Milvus 및 Faiss와 같은 벡터 스토어에 대한 알파 릴리스 지원이 포함되어 있습니다.