PAIR-code/what-if-tool

解決する課題

What-If Tool (WIT) は、「ブラックボックス」機械学習モデルを分析および理解するための視覚的インターフェースを提供します。コードを一切書くことなくデータセット上でのモデルの挙動を探索できるため、モデルのパフォーマンスのデバッグ、公平性の調査、特定の機能が予測に与える影響の理解が容易になります。

仕組み

WIT は、TensorBoard、Jupyter、または Colab notebooks のプラグインとして統合されます。学習済み ML モデル（TensorFlow Estimators、TensorFlow Serving、AI Platform Prediction、またはカスタム Python 予測関数経由）とサンプルデータセットに接続します。

ユーザーは、データやモデルと以下の方法で対話できます：

• 可視化 (Visualization)：Facets Dive を使用して、特徴量や推論結果ごとにデータセットを整理・スライスします。
• 反事実 (Counterfactuals)：データセット内で、異なる分類結果となった最も類似したサンプルを見つけ、何が結果を変えたのかを確認します。
• 手動編集 (Manual Editing)：ブラウザ上で特定のデータポイントの特徴量を編集し、即座に推論を再実行して予測の変化を確認できます。
• パフォーマンス分析 (Performance Analysis)：ROC 曲線や混淆行列を生成し、特定の属性（性別など）でスライスすることで、データのサブセットごとの公平性やパフォーマンスを分析します。
• 属性 (Attribution)：特徴量の寄与度（SHAP や Integrated Gradients などから）を可視化し、どの特徴量が予測に最も影響を与えたかを表示します。

対象ユーザー

• ML 研究者および開発者：奇妙な結果のデバッグやモデルの公平性の調査に。
• 非技術系のステークホルダー：自身のデータを使用して、データセット上でのモデルのパフォーマンスを理解するために。
• 一般ユーザー：対話的な探索を通じて機械学習について学ぶために。

ハイライト

• ノーコードインターフェース：コードを書かずにモデルやデータを視覚的に探索。
• 反事実探索：異なる分類結果を持つ最も近いサンプルとのワンクリック比較。
• 公平性ツール：バイアスを検出するためのスライス可能な ROC 曲線と混淆行列。
• 対話型編集：データポイントをリアルタイムで編集し、モデル出力の即時変化を確認。
• モデル比較：同じ入力データに対して、2つの異なるモデルの結果を比較可能。