Qwen‑Scope 解釈可能性ツールキット リリース
Qwenは、Qwen3およびQwen3.5シリーズモデルの内部メカニズムを解読するために設計された解釈可能性ツールキット「Qwen-Scope」を導入しました。Sparse Autoencoders（SAE）を活用することで、ツールキットは密な隠れ表現を疎で分離された解釈可能な特徴に分解し、開発者が事後分析を超えてモデル性能を積極的に最適化できるようにします。
Qwen-Scope の技術実装
Qwen-Scope は、LLM の隠れ層に Sparse Autoencoders（SAE）を挿入し、スパース性制約を課すことで、モデルの密な内部計算を人間が理解できる概念やパターンへと変換します。
安定した学習と広範な特徴カバレッジを確保するため、Qwen チームは対象モデルの事前学習データから 0.5B トークンをサンプリングしました。ツールキットには、Qwen3 と Qwen3.5 系列の密結合モデルと Mixture-of-Experts（MoE）アーキテクチャを含む、7 種類の LLM に対して 14 セットの SAE が含まれています。
対応モデルと SAE 設定
| 名前 | バックボーンタイプ | SAE幅 | 拡張係数 | L0 |
|---|---|---|---|---|
| SAE-Res-Qwen3-1.7B-Base-W32K-L0_50 | Base | 32K | 16 | 50 |
| SAE-Res-Qwen3-1.7B-Base-W32K-L0_100 | Base | 32K | 16 | 100 |
| SAE-Res-Qwen3-8B-Base-W64K-L0_50 | Base | 64K | 16 | 50 |
| SAE-Res-Qwen3-8B-Base-W64K-L0_100 | Base | 64K | 16 | 100 |
| SAE-Res-Qwen3.5-2B-Base-W32K-L0_50 | Base | 32K | 16 | 50 |
| SAE-Res-Qwen3.5-2B-Base-W32K-L0_100 | Base | 32K | 16 | 100 |
| SAE-Res-Qwen3.5-9B-Base-W64K-L0_50 | Base | 64K | 16 | 50 |
| SAE-Res-Qwen3.5-9B-Base-W64K-L0_100 | Base | 64K | 16 | 100 |
| SAE-Res-Qwen3.5-27B-W80K-L0_50 | Instruct | 80K | 16 | 50 |
| SAE-Res-Qwen3.5-27B-W80K-L0_100 | Instruct | 80K | 16 | 100 |
| SAE-Res-Qwen3-30B-A3B-Base-W32K-L0_50 | Base | 32K | 16 | 50 |
| SAE-Res-Qwen3-30B-A3B-Base-W128K-L0_100 | Base | 128K | 64 | 100 |
| SAE-Res-Qwen3.5-35B-A3B-Base-W32K-L0_50 | Base | 32K | 16 | 50 |
| SAE-Res-Qwen3.5-35B-A3B-Base-W128K-L0_100 | Base | 128K | 64 | 100 |
コアアプリケーションと機能
Qwen-Scope は、推論、データ、学習、評価の 4 つの主要次元にわたってモデル挙動のターゲット制御と分析を可能にします。
制御可能な推論
特定の特徴の活性化を操作することで、開発者は言語、エンティティ、スタイルなどの推論結果を明示的な自然言語指示なしにターゲット制御できます。
データ分類と合成
Qwen-Scope は、モデル表現を分析することでデータのラベリングと分類ツールとして機能します。
- 分類: 少量のシードデータを用いて、サンプル分類に高度に関連する特徴（例: 有害テキストの識別）を特定でき、追加学習を行わずに大規模なブートストラップデータへの依存を削減します。
- 合成: 既存データでほとんどまたは全く活性化されない特徴を検出し、これらの非活性特徴に基づいて補足サンプルを方向付けて合成することで、長尾能力のカバーにおける学習データ効率比が約 15 倍向上したと Qwen は報告しています。
ターゲット微調整と学習
解釈可能性特徴を利用して、教師あり微調整（SFT）や強化学習（RL）段階での学習プロセスをガイドします。
- SFT: コードスイッチング（例: 英語応答に予期せぬ中国語が混入）などの問題に関連する異常活性パターンを特定し、これらの望ましくない応答を減少させるための特定ロス関数を設計できます。
- RL: 無限に繰り返す生成といった稀な問題に対して、該当する異常活性特徴を増幅し、RL フェーズでこれらのケースがサンプリングされやすくなるようにします。
評価最適化
Qwen-Scope はテストセット全体の特徴カバレッジを分析し、冗長性やギャップを特定します。異なるベンチマークデータセット間で特徴活性パターンを計算することで、一般的に使用されるデータセットの一部が重複したカバレッジを持つことが判明し、ユーザーはカバレッジが高く評価コストが低いテストサンプルを選択できるようになります。