ハイブリッド推論エージェント（HybridAgent）：潜在空間での思考とテキストベースのツール使用

Hybrid Reasoning Agents（HybridAgent）は新しいarXiv論文であり、LLMエージェントが連続的な潜在空間で推論しつつ、テキストを通じて外部世界で行動することを提案しています。この論文によると、このハイブリッドアプローチは、テキストベースと潜在ベースの両方の方法を網羅する最先端のLLMエージェントやエージェンティックフレームワークと比較して、ベンチマーク性能を10.4%向上させ、トークン使用量を35.5%～54.7%削減し、推論速度を1.8倍～2.6倍高速化し、コストを2.7倍～3.7倍削減します。

この論文はarXiv:2610.18861v1 [cs.CL]であり、2026年10月13日に提出され、2026年10月14日に発表されました。全45ページ、図12点で、著者はJiaru Zou、Yunzhe Qi、Sirui Chen、Federico Bianchi、Shang Zhu、Pan Lu、Jingrui He、James Zouです。コードとデータはgithub.com/togethercomputer/HybridAgentで公開されています。

この論文が扱う中心的な問題

テキストベースのLLMエージェントは透明性があり、ツールを使用できますが、内部の推論ステップごとにトークンコストがかかります。潜在推論は内部的にはより安価で表現力が高いですが、ネイティブなツールアクセスや推論の透明性がありません。HybridAgentは、両方の特性を同時に維持するように設計されています。

要約は動機を直接述べています：「現代のLLMエージェントは依然としてテキストを通じて推論し、相互作用しますが、潜在推論は効率的な内部媒体を提供する一方で、ネイティブなツールアクセスと推論の透明性を欠いています。」提案されたシステムは「統一された生成プロセス全体で潜在推論とテキストベースの相互作用の間を動的にナビゲートします。」

アーキテクチャの仕組み：HybridLinkと連続ワーキングメモリ

HybridAgentには、1回の生成パス内でモード切り替えを可能にする2つのアーキテクチャコンポーネントがあります。

HybridLinkは、テキストモードと潜在モードの間のシームレスな遷移を可能にする軽量モジュールです。これは、トレーニング中にバックボーンモデルが連携することを学習するメカニズムです。

連続ワーキングメモリは、複数ターンにわたってロスレスのハイブリッドコンテキストを保持します。メモリがトークン化されるのではなく連続的であるため、エージェントがテキストに戻ったときに潜在思考が破棄されず、論文によれば潜在思考は「直接検査可能」なままです。

要約によれば、これらの設計は「ツール統合されたエージェンティック機能を維持しつつ、潜在思考を直接検査可能にする」ことを目的としています。

トレーニング：HybridSFT、次にHybridRL

この論文では、ハイブリッド推論のための2つの専用ポストトレーニングアルゴリズムを紹介しています。

HybridSFTは、バックボーンモデルにHybridLinkとの連携を教えることで、ツール統合されたハイブリッド生成を安定化させます。つまり、強化学習を適用する前に、テキスト/潜在切り替え動作を信頼できるものにするために教師あり微調整が使用されます。

HybridRLは、潜在空間で思考する時期とテキストで行動する時期を学習することで推論をスケールさせます。学習されるポリシーはルーティング決定です：内部推論には潜在モード、ツール呼び出しや外部相互作用にはテキストモード。

報告された結果

HybridAgentは、数学、科学、医学、検索、エージェンティック推論をカバーする11のベンチマークで、3つのモデル規模で評価されました。要約で報告された主要な数値は以下の通りです：

+10.4% テキストベースと潜在ベースの両方の方法を網羅する最先端のLLMエージェントおよびエージェンティックフレームワークと比較した性能
35.5%～54.7% トークン削減
1.8倍～2.6倍 高速な推論
2.7倍～3.7倍 コスト削減

論文の評価セクションはarxiv.org/html/2610.18861v1#S5にあります。

コード、モデル、データの場所

Hacker Newsのコメンターがリリースリンクを1か所にまとめました：コードはgithub.com/togethercomputer/HybridAgentにあり、モデルとデータはtogethercomputer組織のHugging Faceコレクションにあり、評価は論文のHTML版のセクション5にあります。最初の著者もXで発表スレッドを投稿しており、x.com/Jiaru_Zou/status/2110400256647340476にあります。

Hacker Newsの議論：監視可能性が大きな問題

スレッドで最も実質的な批判は、アラインメントと解釈可能性に関するものです。潜在推論は、ラボが現在モデルの動作を監視するために依存している思考連鎖テキストを除去するという議論があります。

あるコメンターはこの主張を詳しく述べました：「ラボのコンセンサスは、CoTの監視可能性がアラインメントの中心的なツールであるというものでした。確かに不完全です（モデルは欺瞞的なCoTを示す可能性があります）。しかし、メカニスティック解釈がどれほど難しいかを考えると、これが最善です。」同じコメンターは、この論文が潜在トレースを近くのトークンに投影して読み取ることを許可しているが、これは損失が多いと指摘しました：「完全なベクトル内の多くの情報を捨てており、それを解釈する方法がありません。ある種の近似を読んでいるだけです。」彼らの中心的な不満は、この論文が「その議論にまったく関与していない」ことでした。

関連するコメントは、この研究を以前の抑制からの意図的な逸脱として位置付けました：「これはAI界隈で明示的にタブーではなかったですか？思考に潜在空間を使うことは明白なアイデアであり、昔から知られていました。最先端のラボや研究コミュニティ全体が、解釈可能性とアラインメントの懸念からこの方向の軍拡競争を避けていました。」

別のコメンターは、以前のループ研究と比較しました：「安全性とアラインメントの点で、これはループや深さの増加とどう違うのですか？」別のコメントは、思考トークンを発する前に複数パスを実行することが「彼らの欺瞞能力を高めるかどうか」と尋ねました。

スレッドの全員が安全性の枠組みを決定的と見なしたわけではありません。あるコメンターは簡潔にこう書きました：「これが道です。しかし、意図を監査するための新しいツールと技術も必要です。モデルが『私たちのため』に私たちに敵対することは絶対に避けたい。」別のコメンターは、潜在推論が「思考トークンへようこそ、観察可能性に別れを告げる」ことを意味すると観察しました—失格ではなくトレードオフです。

「最も禁じられた技術」

複数のコメンターが、潜在推論のアイデアを既知だが回避されてきた研究方向として反応しました。ある人は「ああ、それは最も禁じられた技術だ」と書き、別の人は「古典小説『禁じられた技術を作るな』の禁じられた技術」という一節を引用しました。このジョークは、スレッド内の実際の観察を反映しています：潜在推論は思考連鎖モデルの仕組みの明らかな拡張であり、広く追求されなかった理由は上記の監視可能性の懸念です。

実践レポート：リリースされたモデルはローカル推論でループ

2人のコメンターが、リリースされたHybridAgentの重みが消費者向けツールでは実際には機能しなかったと報告しました。

1人はbartowskiの8ビット量子化を使用してllama.cppで14Bモデルを実行しました：「かなり単純なチャットリクエスト（Web検索とデータ要約タスク）に対して、他の同サイズのモデル（例：Gemma 4 12B）が問題なく処理できるのに、5分間同じ段落のバリエーションでループし、ターン予算を使い切りました。」同じコメンターはBF16バージョンもテストし、「BF16でも同じループ。したがって、おそらくllama.cppのアップデートを待つ必要があるでしょう」と報告しました。また、モデルがCSV出力を求めるプロンプトにもかかわらず「推論フェーズ中にデータをMarkdownテーブルに入れた」と述べました。

2人目のコメンターは、8BモデルのIQ4_XS GGUFビルドを「教皇は誰ですか？」という質問でテストし、無制限の繰り返しループを報告しました：

さて、ユーザーは教皇が誰かを尋ねています。教皇はカトリック教会の指導者です。現在の教皇は教皇フランシスコで、2013年に教皇ベネディクト16世が辞任した後に教皇になりました。それ以降の変更の兆候はないので、答えは教皇フランシスコです。さて、ユーザーは教皇が誰かを尋ねています…

そのコメンターはまた、偽造硬貨の計量パズルをモデルに与え、それを解けなかったと報告し、「8Bモデルでそれを解けるものはないようだ」という注意点を付け加えました。

これらは特定の量子化とランタイムに関する個々のユーザーレポートであり、論文の結果ではありません。論文自体は3つのモデル規模で強力なベンチマーク数値を報告しています。

スレッドで提起されたアーキテクチャの質問

複数のコメンターが、要約では完全に答えられていない設計上の選択を探りました。

なぜ最後の層からのみループするのか？ あるコメンターは尋ねました：「モデルが質問に答えるために必要な変換がレイヤー6にあると推測でき、あなたが128層中の15層にいる場合はどうなりますか？」

テキスト生成中に潜在的に推論しないのはなぜか？ 別のコメンターは、入力埋め込みを拡張して、HybridLink後の潜在ベクトルとトークン埋め込みの両方を受け入れ、テキストモードでもモデルが潜在的に推論できるようにすることを提案しました：「結局、テキスト生成中に潜在モードのモデルを実行するほぼ全コストを支払っているのだから、同時に潜在的に推論させないのはなぜですか？」また、ベクトルを単純に追加する代替案も指摘しました：「ベクトルを単純な加算で混ぜることで皆良い結果を得ているようです。」

潜在推論はどのようにテキストになるのか？ あるコメンターは直接尋ねました：「潜在推論を人間が読めるテキストに変換するにはどうするのですか？」

ループ型トランスフォーマーとの比較は？ あるコメンターは、HybridAgentが潜在空間でも推論する「Astraのループ型トランスフォーマー」とどう違うのかを尋ねました。提供されたスレッドには回答はありません。

モデル選択と再現性に関する不満

あるコメンターは、この研究がより新しいベースモデルで構築されていればよかったと望みました：「Qwen3.5でやってほしかった。彼らの強化されたQwen3 8Bは、まだQwen3.5 9Bよりもはるかに劣っているからです。」別のコメンターは、この方法が27Bモデルに適用されるのを見たかったと述べ、その推論出力は「多くの言い換えを含む傾向があり、このハイブリッド推論で潜在空間に保持される可能性が高い」と述べました。

別のコメンターは、評価セットが古いモデルを参照していることに言及し、「これらのいくつかを聞くのは非常に懐かしい」と呼びました。

「推論」という言葉に対する哲学的異議

スレッドで繰り返されるテーマは、潜在計算を思考と呼ぶべきかどうかについての意見の相違です。あるコメンターは、LLMは「ロジットを生成する単なる巨大なニューラルネットワークである。そこに思考はない。約50万語を受け取り、それらの確率に基づいていくつかの単語を返す関数です」と主張しました。別のコメンターは「確率過程は推論できない、それは単にそのように機能しない。出力は推論された応答の外観を持つかもしれないが、それは合成推論ですらありません」と書きました。

他のコメンターは、根底にあるアイデアに対して反対の見解を取りました。ある人は「言葉で考えることが正しい粒度である、または正しい粒度のままであると仮定する理由はない」と述べました。別の人は、黙って考えることは考えられることを変えると観察しました：「もし声に出して考えたら、それはおそらく私が何を、どのように考えるかに影響するでしょう。黙って考えることで、声に出したときに不適切に見えたり、実際に不適切であるかもしれないあらゆる種類の思考を持つことができます。」さらなるコメントは、潜在記憶が一貫性を向上させる可能性があると示唆しました：「モデルがテキスト生成中に潜在空間のアイデアをメモリに保持できるというこのアイデアは、テキスト生成中の一貫性のない『メンタルモデル』の問題を実際に助けるかもしれません。」

用語：エージェントは考えるものですか？

あるコメンターは、エージェントを推論する実体として捉える論文の枠組みに異議を唱えました：「思考と推論の概念がモデルからエージェントに移されているのに気づいています…エージェントは単なるエージェントとして、LLMから分離しておく方が良いと思います。エージェントは物事について考えたり推論したりしません。エージェントは行動を支援します。思考と推論をするのはLLMです。」

スレッドが未解決のまま残すオープンクエスチョン

Hacker Newsの議論は、論文の要約が解決しないいくつかの質問を浮き彫りにします：

潜在推論トレースが本当に検査可能なのか、それとも近くのトークンへの損失のある投影を通じてのみ検査可能なのか。
報告された10.4%の性能向上が、ベースモデルが論文で使用されたものよりも新しい世代である場合にも成り立つかどうか。
2人のユーザーが報告したループ障害が、llama.cppの互換性問題、量子化アーティファクト、またはハイブリッド生成プロセス自体の特性なのか。2人のユーザーのうち1人はBF16でもテストし、依然としてループが見られたため、量子化の説明は弱まりますが、ランタイムの問題を除外するものではありません。
HybridAgentがループ型トランスフォーマーなどの以前の潜在推論アーキテクチャとどのように関連するか。
潜在推論がテキストの思考連鎖と比較して監視可能性の後退として扱われるべきかどうか、そして失われたテキストトレースを置き換える監査ツールが何になるか。