limix-ldm-ai/LimiX

解決する課題

LimiXは、構造化（テーブル）データのための汎用的な基盤モデルを作成するという課題に取り組んでいます。新しいデータセットごとにタスク固有のトレーニングやパラメータ更新を必要とする従来の機械学習モデルとは異なり、LimiXは単一の事前学習済みモデルを提供し、単一のフォワードパスで多様なデータセットにわたって分類、回帰、欠損値補完を実行できます。

仕組み

LimiX-2は、Contextual Mechanism Network (CMN) パラダイムを利用し、Context-Conditional Masked Modeling (CCMM) を使用して事前学習されています。コンテキストに基づいてターゲットを予測することだけに集中するのではなく、データ生成プロセスの結合表現を学習します。このモデルは、さまざまなグラフ構造と機能メカニズムをカバーする、構造的因果モデル (SCMs) によって生成された膨大な合成データセットで事前学習されています。このアプローチにより、モデルは「因果的認識」を持つことができ、その特徴アテンションを使用してデータの因果スケルトンを復元できます。

対象ユーザー

データセットごとにゼロから新しいモデルをトレーニングするオーバーヘッドなしで、テーブルデータに対して高性能な予測モデリングを必要とするデータサイエンティストやMLエンジニア、および因果推論やテーブル基盤モデルに関心のある研究者向けに設計されています。

ハイライト

• マルチタスク機能: パラメータ更新を必要とせず、単一のモデルで分類、回帰、欠損値補完を処理します。
• 最先端のパフォーマンス: TabArena、TALENT、BCCOなどのベンチマークにおいて、既存のテーブル基盤モデルやAutoGluonを上回ります。
• 因果的認識: 特徴アテンションメカニズム内に直接的な因果関係をエンコードできます。
• スケーラブルなアーキテクチャ: 対数線形スケーリング則に従い、2Mから400Mパラメータまでのモデルサイズが利用可能です。