feast-dev/feast

解決する課題

Feastは、機械学習の特徴量を管理する中央集権的な方法を提供し、トレーニングに使用される履歴データと推論に使用されるリアルタイムデータの間のギャップを埋めます。時点の正確性を確保することでデータリークを防ぎ、MLモデルを基盤となるデータインフラから分離するため、異なる環境間でのモデルのポータビリティが向上します。

仕組み

Feastは、ストレージと取得を抽象化するデータアクセスレイヤーとして機能します。主に2つの種類のストアを管理します：

• Offline Store: バッチスコアリングまたはモデルトレーニング用に履歴データを処理します。
• Online Store: リアルタイム予測を支える低レイテンシのストアです。

これには、事前計算された特徴量を配信するためのフィーチャサーバーと、特徴量の定義を追跡するためのレジストリが含まれています。ユーザーは、リアルタイムで使用するために、オフラインストアからオンラインストアへデータをマテリアライズ（実体化）できます。

対象ユーザー

モデルのトレーニングおよびオンライン推論のために、分析データを大規模に本番環境へ導入する必要があるMLプラットフォームチームやデータサイエンティスト。

ハイライト

• 幅広いインフラストラクチャのサポート: 幅広いデータソース、オフラインストア（例：Snowflake, BigQuery, DuckDB）、およびオンラインストア（例：Redis, DynamoDB, Qdrant）と統合されます。
• 時点の正確性: 未来の値がトレーニングセットに混入しないようにすることで、データリークを回避する特徴量セットを生成します。
• オンデマンド変換: 読み取り時または書き込み時の変換をサポートし、特徴量を動的に処理します。
• 特徴量の品質モニタリング: 組み込みのメトリクス、ドリフト検出、およびサービングログのモニタリングが含まれています。
• ベクトル検索のサポート: NLPタスク向けに、MilvusやFaissなどのベクトルストアのアルファリリース版サポートが含まれています。