PAIR-code/lit

何を解決するか

LIT は機械学習モデルの理解とデバッグを視覚的・インタラクティブにサポートするツールです。開発者がモデルの性能が低い場所を特定し、特定の予測がなぜ行われたかを理解し、入力データのさまざまなバリエーションに対してモデルが一貫して動作するかを検証するのに役立ちます。

動作方法

LIT はブラウザベースの UI として動作し、スタンドアロンサーバーとして実行することも、Colab や Jupyter などのノートブック環境に統合することもできます。フレームワークに依存せず、TensorFlow と PyTorch の両方をサポートしています。ユーザーは、ツールの API を使ってカスタムデータローダーとモデルラッパーを定義し、独自のモデルとデータセットを接続できます。

対象ユーザー

テキスト、画像、表形式データのさまざまなタスク（分類、回帰、言語モデリングなど）において、同じモデルのパフォーマンスを分析・解釈する必要がある機械学習エンジニアや研究者。

主な特徴

• ローカルな説明: サリエンスマップと豊富な可視化を使って、個々の予測を説明します。
• 集計分析: スライシング、ビニング、埋め込み空間の可視化をサポートし、大規模なモデルの挙動を分析します。
• 逆説的例の生成: ユーザーが入力を手動で編集するか、プラグインを使って新しい例を作成し、動的評価を行います。
• 並べて比較: 複数のモデルや、1つのモデルが異なる例に対してどのように反応するかを比較できます。
• 拡張可能なアーキテクチャ: seq2seq、スパンラベル付けなど、さまざまなモデルタイプとマルチヘッドモデルに対応しています。