soda-inria/tabicl

解決する課題

TabICLは、表形式データの分類および回帰タスクにおける煩雑なハイパーパラメータチューニングの必要性を排除するために設計されています。XGBoostやCatBoostのような従来の勾配ブースティング決定木に代わる、手動最適化なしでそのまま使える競争力の高い高性能な代替手段を提供します。

仕組み

Transformerアーキテクチャに基づく表形式基盤モデルです。従来のトレーニングの代わりに、コンテキスト内学習（ICL）を使用します。これは、モデルがトレーニングデータをコンテキストとして使用して単一のフォワードパスを実行し、テストデータの結果を予測するものです。一般的な学習能力を習得するために、数百万の合成データセットで事前トレーニングされています。繰り返しの推論における速度向上のため、KVキャッシュを採用しており、非常に大規模なデータセットに対してはCPU/ディスクのオフロードをサポートしています。

対象者

時間のかかるハイパーパラメータチューニングを行わずに高い精度を求める、表形式データを扱うデータサイエンティストやMLエンジニア、および表形式基盤モデルに興味のある研究者。

ハイライト

• ゼロショットパフォーマンス：TabArenaデータセットの約80%で、綿密にチューニングされたXGBoost、CatBoost、またはLightGBMのパフォーマンスを上回ります。
• 高速：特定のベンチマーク（例：H100 GPUでの5万サンプル、100特徴量）において、TabPFN-2.5より最大10倍高速です。
• スケーラビリティ：300から100,000のトレーニングサンプルおよび最大2,000の特徴量を持つデータセットを処理し、オフロードによるさらに大きなデータセットもサポートします。
• C準拠：既存のパイプラインに簡単に統合するためのScikit-learn準拠のAPI。
• 多用途性：分類、回帰、およびゼロショット時系列予測をサポートします。
• 拡張性：特定のデータセットでのファインチューニング用ツールと、完全な事前トレーニングレシピが含まれています。