PriorLabs/TabPFN
⚡ TabPFN: Foundation Model for Tabular Data ⚡
解決する課題
TabPFNは、テーブルデータ機械学習に対する高性能なTransformerベースのアプローチを提供します。小規模から中規模の分類および回帰問題を、広範なデータ前処理や複雑なハイパーパラメータ調整を必要とせず、最小限のセットアップで高精度に解決するように設計されています。
仕組み
TabPFNは「Prior-Data Fitted Network」であり、膨大な種類の合成テーブルデータセットで学習された基盤モデルです。事前学習中にテーブルデータの基礎となるパターンを学習することで、新しい未知のデータセットに対して単一のフォワードパスで推論を実行できます。行内および行間アテンションメカニズムを備えたTransformerアーキテクチャを使用してテーブル入力を直接処理し、データセットをトークンのシーケンスとして効果的に扱います。
対象ユーザー
最先端の勾配ブースティング手法と競合する「プラグアンドプレイ」モデルを求める、テーブルデータを扱うデータサイエンティストや研究者に最適です。特に、迅速なプロトタイピングや、データ前処理（スケーリングやエンコーディングなど）が望ましくないシナリオで非常に有用です。
ハイライト
- ゼロ前処理: ワンホットエンコーディングや特徴量のスケーリングを必要とせず、生データで直接動作します。
- 高速推論: 迅速な予測のために設計されており、小規模なデータセットでは従来のモデルを上回ることがよくあります。
- Transformerアーキテクチャ: 高度なアテンションメカニズムを使用して、行と特徴量間の複雑な関係をキャプチャします。
- 柔軟なエコシステム: 解釈可能性 (SHAP)、外れ値検知、埋め込み抽出のための拡張機能が含まれています。
- ハードウェア最適化: PyTorch/CUDAおよびApple SiliconによるGPUアクセラレーションをサポートし、CPU使用へのフォールバックも備えています。
関連
- プロジェクト
PriorLabs/tabpfn-time-seriesTabPFN-TSは、単変量時系列予測をテーブル形式の回帰問題に変換し、事前学習済みのTabPFN基礎モデル（デフォルトはTabPFN-3.5）を使用してゼロショットの点予測および確率予測を行うPythonライブラリです。既知の未来の共変量に対応し、ローカルCPUまたはクラウドクライアント経由で高速に動作（GPU不要）し、pipインストールのみで利用可能です。制限事項として、過去の動的または静的な共変量の欠如、および多変量ターゲットを独立した系列として扱う点が挙げられます。
- プロジェクト
LAMDA-Tabular/TALENTTALENTは、テーブルデータ向け機械学習のためのオープンソースのベンチマークおよびツールボックスです。30以上のディープラーニングおよび古典的な手法（TabPFN‑3.5、LimiX、NVIDIA Kumoなどの最新の基盤モデルを含む）を統合し、300のすぐに使えるデータセット、統一された前処理、ハイパーパラメータ調整、および評価（精度、AUC、キャリブレーション）機能を提供します。pipでインストールし、get_method("ft_transformer")やその他のモデルを呼び出すだけで、単一のfit/predict呼び出しで実行可能です。本プロジェクトはBSD‑3‑Clauseライセンスで公開されており、一部の事前学習済み重みには個別のライセンスが適用されます。
- プロジェクト
PriorLabs/tabpfn-extensionsTabPFN 表格机器学习模型を拡張する実験的なアドオンライブラリで、解釈可能性、多クラス処理、画像列、教師なしユーティリティ、埋め込み、ベイズ最適化、統計検定を提供します。pip でインストールし（Git リポジトリを指定）、ローカルまたはクラウドの TabPFN バックエンドを選択し、同梱のノートブックまたは拡張機能ごとの README をガイドとして使用します。
- プロジェクト
NVIDIA/TransformerEngineNVIDIA Transformer Engineは、NVIDIA GPU上でTransformerモデルの学習を高速化するオープンソースライブラリです。PyTorchおよびJAX向けに、FP8、MXFP8、NVFP4、BF16、FP16の融合カーネルと自動混合精度APIを提供。スケーリング係数管理、量子化メタデータ、分散通信を処理し、コードを変更せずに低精度学習を可能にします。Hugging Face、Lightning、Megatron‑LMなど主要LLMフレームワークと統合されており、Hopper/Blackwell/Rubinハードウェア上で大規模な言語、視覚、MoEモデルを対象としています。
- プロジェクト
PaddlePaddle/PaddleFormersPaddleFormers は、Hugging Face の API をミラーリングしつつ、高性能な分散トレーニング（テンソル、パイプライン、エキスパート並列、FP8、FlashMLA など）を追加した PaddlePaddle ベースの Transformers ライブラリです。100 以上の LLM/VLM ファミリー（DeepSeek、GLM-4.5、Qwen、Llama、ERNIE-4.5、Gemma-3 など）、完全なトレーニングパイプライン（事前トレーニング、SFT/LoRA、DPO、関数呼び出し、推論）、および中国製 GPU のネイティブサポートを備えています。Docker または pip でインストールし、使い慣れた `AutoTokenizer`/`AutoModelForCausalLM` クラスで推論を行うか、`paddleformers-cli` で大規模トレーニングを実行できます。