google-research/tabfm

解決する課題

TabFMは、新しいデータセットごとにモデルを一から訓練することなく、タブラーデータセットに対して分類および回帰を行うことの難しさを解決します。モデルをロードした直後に、混合列タイプ（数値型およびカテゴリ型）を持つテーブルに対してゼロショット予測を可能にします。

仕組み

TabFMは、in-context learningを使用するタブラー基盤モデルです。特定のデータセットでの訓練を通じてモデルのパラメータを更新する代わりに、訓練データを「コンテキスト」として読み取り、その情報を使用して新しいテストサンプルに対して即座に予測を行います。scikit-learn互換として設計されているため、既存のPython機械学習ワークフローに簡単に統合できます。

対象者

従来のモデル訓練のオーバーヘッドなしに、タブラーデータに対して迅速なプロトタイピングや予測を行いたいデータサイエンティストや機械学習エンジニアを対象としています。

ハイライト

• ゼロショット機能: ターゲットデータセットでのパラメータ訓練を必要とせずに、分類および回帰を実行します。
• Scikit-learn互換性: 容易な統合のために、馴染みのあるAPI (fit および predict) を実装しています。
• 混合型サポート: 数値型とカテゴリ型の両方の特徴量を含むデータセットを、そのまま扱うことができます。
• 柔軟なバックエンド: 推論にJAXとPyTorchの両方をサポートしています。
• コンテキストウィンドウ管理: メモリとテーブルサイズを管理するために、in-context learningに使用される特徴量と行の数を制御するパラメータが含まれています。