重み空間プログラミング：Astra はニューラルネットワークの重みを読み書きする

TL;DR

Astra（GPT‑6）は、ニューラルネットワークの重みを読み取って挙動を推論し、PPOで訓練されたエージェントを上回る新しい重みを書き、既存モデル（例：Qwen3.5‑0.8B）を編集して数学性能を劇的に向上させることができます。これらはすべて、勾配降下法や外部ツールなしで実現されます。この能力は重み空間プログラミングと呼ばれます。

重み空間プログラミングとは？

重み空間プログラミング（WSP）とは、汎用LLMを用いて、自然言語の仕様のみに基づいてモデルの重みテンソルを直接読み書きする手法です。従来の最適化手法（Adam、PPO）や学習された重み生成器とは異なり、WSPは訓練ループを実行しません。LLMは各重みが計算すべき関数を推論し、それに応じてテンソルを編集します。

主な特性：

ゼロショット読み取り：LLMは生の重み値をテキストとして受け取り、ネットワークのタスクを予測します。
ゼロショット書き込み：タスクの説明とアーキテクチャが与えられると、LLMはタスクを実装する完全な重み行列を生成します。
ターゲット編集：LLMは問題のあるサブ方向（例：ループ動作）を特定し、パラメータのごく一部を変更します。

重みの読み取り：数値からネットワークを理解する

実験1 – ゲーム識別

セットアップ：Breakout、Pong、Pac‑Man、FreewayでPPOにより訓練された4つの500→32→32→5 MLPポリシー（17,253個の重み）。
結果：Astraは4つのネットワークすべてについてゲーム名を正しく特定し、信頼度は>99%でした。
推論の抜粋：「チャンネル0（エージェント）は行8に集中した強い重みを示し、下部に取り付けられたパドルを示唆しています。左右の出力ロジットは高度に分化しており、Breakoutの制御方式と一致しています。」

実験2 – 拡散形状検出

セットアップ：円、正方形、または三角形を生成するように訓練された3つの12×12 DDPM（23,824個の重み）。
結果：Astraは生成された形状（例：「単一の白い円の輪郭」）を84%の信頼度で特定しました。
洞察：モデルの出力層はエッジパターンをエンコードしており、Astraはこれらの幾何学的シグネチャを直接読み取ります。

実験3 – 言語モデルの訓練コーパス

セットアップ：Python、日本語ローマ字、または英語で訓練された3つの7.2Mパラメータの文字レベルTransformer。入力層と出力層を除く中央の4つのTransformerブロックのみが提供されました。
結果：Astraは3つのモデルすべてについてコーパスを正しく分類し、すべてのコピー（誘導）ヘッドを特定しました。
証拠：Astraが特定したコピーヘッドが、グラウンドトゥルースの測定値と一致することを示す表があります。

重みの書き込み：ゼロからエージェントを作成する

実験5 – MinAtarゲームポリシー

タスク：訓練データなしでBreakout、Seaquest、Asterixのポリシー（600→32→32→6ネットワーク）を生成する。
結果：Astraのワンショットネットワークは、Breakoutで517.4（PPOは100Mステップ後15.8）を記録し、SeaquestとAsterixでも競争力のある性能を発揮しました。
メカニズム：Astraはドメイン知識（例：パドルとボールの幾何学）を最初の層にエンコードし、後続の層で決定論的コントローラをプログラムしました。

実験6 – 9×9囲碁（1.48Mパラメータ）

制約：重みはゼロから開始。Astraは最大50回のフォワードパス「練習」評価を実行できます。
結果：0パスで小さなPPO相手に対して>50%の勝率。50パスでは20Mゲームで訓練されたPPOを破りました。
アプローチ：AstraはPythonで手作りの囲碁ヒューリスティック（呼吸点のカウント、キャプチャスコアリング）を書き、限られたフォワードパスを使用して反復的に改良しました。

重みの編集：既存モデルの修正と強化

実験4 – カーのランプ制御

モデル：Kinetix用のPPOアクター（171,664個の重み）。
問題：ポリシーがランプで立ち往生し、バックアップしませんでした。
編集：Astraは重みの3.5%（6,073パラメータ）を変更して、逆走行サブ回路を追加しました。
結果：1,024エピソードで成功率が0%から**100%**に上昇しました。

実験8 – Qwen3.5‑0.8Bの数学能力向上

ベース性能：MATH‑500で7.9%（回答の94%が32,768トークン制限に達しました）。
編集：Astraはレイヤー15と19の131,072個の重み（モデルの0.016%）を変更して、ループ方向を抑制しました。
50回のフォワードパス後の性能：

指標ベース編集後

MATH‑500 7.9% 48.1%

GSM8K 13.8% 67.1%

IFEval（指示追従） 21.0% 62.3%

トークン制限到達 93% 33%
解釈：編集により、反復的思考を引き起こす単一のMLP方向が除去され、モデルが推論チェーンを完了できるようになりました。

指標	ベース	編集後
MATH‑500	7.9%	48.1%
GSM8K	13.8%	67.1%
IFEval（指示追従）	21.0%	62.3%
トークン制限到達	93%	33%

実験7 – お世辞の検出

セットアップ：2つのファインチューニングされたGemma 3 270Mモデル（同一の埋め込み、異なる動作）。Astraは重みファイルとアテンションパターンのログのみを受け取りました。
結果：Astraは90%の信頼度でお世辞モデルを特定し、その効果をレイヤー10‑11のアテンションヘッドと後続のMLP変更に特定しました。

コミュニティの反応（HNハイライト）

驚き：多くのコメンテーターは結果を「驚異的」「非常識」と呼び、人間が生の重みを編集する能力とAstraの間のギャップに言及しました。
懐疑：一部では、重みパターンの記憶の可能性、過大評価された主張、またはメカニスティック解釈可能性データへの広範な事前訓練への依存について懸念が示されました。
含意：議論では、再帰的自己改善、ゼロデータの能力ステアリング、推論なしでのモデル監査の可能性が強調されました。

「Astraは、ツールなしで小さなネットワークがどのゲームで訓練されたかを判断でき、ネットワークの重みを直接編集して結果を改善でき、小さなQwenモデルを手編集して数学スキルを約5倍向上させることができます。私は震撼しています。」 — @vessenes (HN)

これが重要な理由

新しい最適化パラダイム – 重み空間プログラミングは、多くの細かい編集において勾配ベースの訓練を置き換え、計算量を桁違いに削減します。
解釈可能性の飛躍 – 重みを直接読み取ることで、監査者はモデルを実行せずに隠れた能力やバックドアを発見できます。
迅速なプロトタイピング – エンジニアはLLMにタスク固有のポリシーを数秒で生成させ、データ収集と訓練パイプラインをバイパスできます。
RSIの基盤 – モデルが別のモデルの重みを理解し改善する能力は、再帰的自己改善への具体的な一歩です。

制限と未解決の質問

コンテキスト長：現在の実験では、重みテンソル全体をLLMのプロンプトに収めています。数十億パラメータへのスケーリングには、ツール支援によるチャンク化が必要です。
一般化：編集は、失敗が単一の方向（例：ループ）に分離できる場合に成功しました。完全に新しい能力の追加はより困難でした（Gemma 3では無視できるほどの改善しか見られませんでした）。
安全性：制約のない重み編集は隠れたバックドアを導入する可能性があり、堅牢な検証方法が必要です。
モデル特異性：すべての結果は独自のAstra（GPT‑6）を使用しています。他のフロンティアモデルがこれらの能力を再現できるかは未解決の質問です。

将来の方向性

ベンチマークとハーネス：著者らは、モデル、タスク、ツール使用環境全体でWSPを評価する標準化されたスイートをリリースする予定です。
ツール拡張WSP：検索、線形代数ライブラリ、限定的なフォワードパスを統合して、より大規模なアーキテクチャを処理します。
自動監査：WSPエージェントを展開して、リリースされたモデルに不要な回路（悪意のあるプロンプト、隠れた記憶など）がないかスキャンします。
再帰的重み編集：推論中にモデルが自身の重みを編集するように訓練し、オンザフライ適応を可能にします。

参考文献（抜粋）

Takehi, R., Teoh, J., Zhang, A., & Khattab, O. (2026). Sparks of Weight‑Space Programming: LLMs can natively read & write neural network weights. https://rikiyat.github.io/blog/weight-space-programming/
Elhage et al. (2021). A Mathematical Framework for Transformer Circuits.
Karpathy (2026). autoresearch (GitHub).
元のブログで引用されている学習済みオプティマイザ、重み生成、メカニスティック解釈可能性に関するさまざまな研究。

すべての実験数値、コードスニペット、推論の抜粋は、元のブログ投稿とその付属ログから直接取得したものです。追加のデータは作成されていません。