openai/circuit_sparsity

Open-source release accompanying Gao et al. 2025

何を解決するか

このプロジェクトは、スパース回路モデルを検査・可視化するためのツールを提供し、ニューラルネットワークが特定のタスクを実行する仕組みを理解するのに役立ちます。具体的には、そのタスクに必要な最小限のコンポーネント（回路）を特定します。

仕組み

プロジェクトは、推論用の軽量GPTアーキテクチャとStreamlitベースのダッシュボードを実装しています。ビジュアライザーはリモートのブロブストアから回路マスク、活性化データ、重要度データを読み込み、ユーザーがプリューニングスイープやノード予算の変更がモデル挙動に与える影響をインタラクティブに探索できるようにします。

対象ユーザー

機械的解釈性やニューラルネットワーク内のスパース回路の研究に関心を持つ研究者や開発者。

特徴

Plotlyでレンダリングされたプロットを用いたインタラクティブなStreamlitダッシュボードで回路の探索が可能。
CPU/GPU推論に最適化された軽量GPT実装。
リリース済みモデル（csp_yoloやcsp_bridgeなど）およびプリューニングスイープデータへのアクセス。
フックを用いた活性化の記録やキャッシュされたデータアーティファクトの管理を内蔵したユーティリティ。

関連

プロジェクト
micytao/vllm-playground
vLLMサーバーの管理と対話のためのモダンなWebインターフェース。マルチインスタンスバックエンド、マルチモーダル生成、エージェントツール統合をサポート。
プロジェクト
google/orbax
非同期チェックポイント化をサポートするJAXモデル用のチェックポイント化および永続化ライブラリです。モデル状態の効率的な保存と復元を可能にします。
プロジェクト
DavidVivancos/Neuraxon
三値論理と連続時間シミュレーションを用いた生物にインスパイアされた計算フレームワークで、リアルタイム学習と構造的可塑性を可能にする。
プロジェクト
ImKKingshuk/LockKnife
LockKnifeは、Pythonでオーケストレーションされ、Rustで加速されたフレームワークで、Androidフォレンジック、資格情報回復、APK分析、ランタイムインストルメンテーションおよびエクスプロイトを、1つのターミナルベースのワークスペース（TUI）に統合しています。ヘッドレスCLIも利用可能。ADBによるデバイス抽出、オフラインPIN/ブルートフォース攻撃、アーティファクト相関、レポート生成、オプションのFridaベースのランタイムフック、Wi-Fi/Bluetoothエクスプロイト、およびオプションのAI/脅威インテリジェンスモジュールをサポート。インストールは1行スクリプトまたはHomebrewタップで完了。GPL-3.0のみで、法的セキュリティ研究を目的としています。