soda-inria/tabicl

TabICLv2: A state-of-the-art tabular foundation model

What it solves

TabICL は、広範なハイパーパラメータ調整を必要とせずにタブラー データの分類と回帰の課題を解決することを目的としています。XGBoost、CatBoost、LightGBM などの従来の勾配ブースティング決定木（GBDT）に代わる最先端の代替手段を提供し、特に 300 件から 100,000 件のトレーニングサンプルを持つデータセットに適しています。

How it works

TabICL は Transformer アーキテクチャに基づくタブラー基盤モデルです。インコンテキストラーニング（ICL）を使用し、事前学習済み Transformer に対して単一のフォワードパスを実行するだけで、新しいデータに対して同時にフィッティングと予測を行います。数百万件の合成データセットで事前学習され、汎用的な学習能力を獲得しています。特定のデータセットでの性能向上のために、フル PyTorch トレーニングループによるファインチューニングもサポートしています。

Who it’s for

高速にデプロイ可能で scikit-learn に準拠した高精度タブラーモデルを求めるデータサイエンティストや ML エンジニア、またタブラー基盤モデルとインコンテキストラーニングに関心のある研究者向けです。

Highlights

  • Zero-shot performance: 約 80% の TabArena データセットで、チューニングされた GBDT を上回る性能をチューニング不要で実現。
  • Scalability: 最大 100,000 件のトレーニングサンプルと 2,000 の特徴量を持つデータセットをサポートし、CPU とディスクオフロードでさらに大規模なセットにも対応。
  • Speed: 特定ベンチマークで TabPFN-2.5 の最大 10 倍の高速化を実現、KV キャッシュにより繰り返し推論を高速化。
  • Versatility: 分類、回帰、ゼロショット時系列予測をサポート。
  • Explainability: SHAP と統合され、特徴重要度分析が可能。
  • Open Source: 事前学習コードと合成データ生成レシピを含む。