Ollama と Together AI: オープンモデルを長期的なエージェントワークロードで機能させる

Ollama と Together AI は、オープンモデルを長期的なエージェントワークロードで機能させるための共同技術ガイドを公開しました。中心となる主張は、コーディングエージェントは大きな入力と小さな出力に支配されるため、パフォーマンスは生のモデル速度よりも、ターン間でプレフィックスキャッシュを保護することに依存するというものです。ハーネスの設計と推論エンジンのルーティングの両方が、そのキャッシュが存続するかどうかを決定します。

エージェントのターンは主にプリフィルであり、デコードではない

エージェントのターンは圧倒的にプリフィルの問題です。なぜなら、ハーネスは各ステップでシステムプロンプト、すべてのツール定義、ユーザーリクエスト、すべてのファイル読み取り、すべてのコマンド結果を再送信する一方で、モデルは通常、短いツール呼び出しのみを返すからです。ソースは、各ターンが増え続けるトランスクリプトを少量の新しいコンテンツとともに再送信し、大きな入力シーケンス長と小さな出力シーケンス長を生成するエージェントループを説明しています。

最初のフェーズであるプリフィルは、プロンプト全体を1回の並列パスで読み取り、最初のトークンを生成します。これは計算に束縛され、ユーザーが新しいトークンが表示されるまで待つ時間を決定します。2番目のフェーズであるデコードは、一度に1トークンずつ回答を書き出し、各新しいトークンの前にすべてのものに注意を払い、計算よりもメモリ帯域幅に制限されます。これはテキストが流れ出る速度を決定します。通常のチャット応答は、両方のフェーズで時間を費やします。エージェントのターンは主にプリフィルです。なぜなら、入力はセッション全体であり、出力は通常短いツール呼び出しだからです。推論モデルは思考トークンを追加しますが、セッションが数万トークンに成長すると、入力が依然として支配的です。

エージェントにとって、モデルがどれだけ速いかを尋ねることは、主に以前のターンの長い履歴をどれだけ速く処理できるかを尋ねることを意味します。実用的な答えは、その履歴をキャッシュして、再計算する代わりに読み戻すことです。

プレフィックスキャッシングは長いセッションの計算を変える

プレフィックスキャッシングは、長期的なエージェントパフォーマンスの主要なレバーです。なぜなら、推論エンジンが以前のターンの作業を再利用し、毎回のリクエストでトランスクリプト全体を再処理する代わりに、以前のターンの作業を再利用できるようにするからです。KVキャッシュは単一のリクエスト内でこれを解決します。エンジンは以前のトークンの中間キーと値のペアを保持し、新しいものだけを計算します。プレフィックスキャッシングはリクエスト間で同じことを行います。ターン7はターン6にさらにコンテンツを加えたものなので、エンジンがターン6の作業をまだ保持している場合、新しい部分だけを処理します。

ソースは理想化された算術の例を示しています。10の等しいサイズのターンにわたって、完全なトランスクリプトを再計算すると、1 + 2 + ... + 10 = 55単位のプリフィル作業が必要です。キャッシュされたプレフィックスを再利用し、新しいトークンだけを処理すると、10単位が必要です。100ターンでは、投稿によるとコーディングタスクでは珍しくないとされていますが、比較は5,050対100です。実際のターンはサイズが異なるため、数値は理想化されています。キャッシュされたセッションも完全に無料ではありません。なぜなら、すべての新しいトークンはキャッシュされたトークンに注意を払う必要があるからです。

重要なルールは、プレフィックスキャッシュがプロンプトの先頭から最初に異なるトークンまで一致し、そこで停止するということです。その最初の違い以降のすべては再処理する必要があります。プロンプトの最後に追加しても、以前のキャッシュされた作業は無効になりません。以前のものを変更すると、たとえ1文字でも、その後のすべての再処理が強制されます。変更がプロンプトの上部に近い場合、セッションは事実上破棄され、キャッシュを再構築する必要があります。

ハーネスがプロンプトが最初に分岐する場所を決定する

ハーネスは各リクエストに何が入るかを制御するため、プロンプトが以前のリクエストと最初に異なるポイントを制御し、したがってプレフィックスキャッシュのどのくらいを再利用できるかを制御します。Ollama側の作業はハーネス統合です。ソースによると、Ollamaはollama launchコマンドを通じてハーネスを接続する機能を出荷し、Claude Code、Codex、PiなどのツールがDeepSeek-V4.1-FlashやGLM-5.3などのオープンモデルで動作し、既存のワークフローを維持できるようにしました。

ハーネスをAPIに接続するには、多くの翻訳レイヤーと、ハーネスとモデルの間の期待の違いが関与します。ソースはこれをキャッシュ破損、時間と金銭的コストの増加、説明不能なエージェント動作、ハーネスエラーの一般的な原因として特定しています。

ツール定義を遅く読み込むとキャッシュの多くが保持される

ハーネスは多くのツールを運び、すべてのツール定義をプロンプトの先頭に置くと、タスクが使用しないかもしれないツールにコンテキストを費やし、モデルが正しいツールを選択するのを難しくします。新しいハーネスはツール検索をサポートしており、エージェントは会話中にツール定義を検索して読み込むことができます。

キャッシュ動作にとって、その新しい定義の場所が重要です。発見されたツールを初期ツールリストに追加すると、プロンプトの上部近くのセクションが変更され、後の履歴が無効になります。定義を会話の最後に追加すると、以前のプレフィックスが保持されます。なぜなら、新しいコンテンツはすでにそこに行くからです。問題はモデルサポートです。一部のチャットテンプレートは、会話の途中でツール定義を期待しておらず、呼び出しがエラーになる可能性があります。ハーネスがキャッシュペナルティを支払わずにツールを遅く読み込めるかどうかは、モデルと、モデル形式、APIアダプター、レンダラー、ツール呼び出しパーサーがその表現をサポートしているかどうかに依存します。

変動するシステムプロンプト値は完全な再計算を強制する

ターンごとに変化する値をシステムプロンプトに置くことは、プレフィックスキャッシュを破壊する最も簡単な方法の1つです。現在のタイムスタンプ、gitステータス、または絶えず変化する作業ディレクトリは、ハーネスが各ターンでシステムプロンプトを再レンダリングする場合、すべてのターンを完全な再読み取りにします。

1つのセッションで固定されているがセッション間で異なる値(ユーザー名やセッション開始日など)は、そのセッションには害を与えません。ただし、新しいセッションがすでにキャッシュされているセットアップを再利用するのを防ぎます。推奨される修正は、変動する情報をタスクメッセージに一度だけ入れ、システムプロンプトをどこでも同一に保つことです。

推論努力はキャッシュに敏感なセッション設定です

ソースはOllama側でGLM-5.3-Flashを使用して具体的なキャッシュ問題に遭遇しました。そのモデルでは、推論努力はエンジンが側で処理する別の設定ではありません。チャットテンプレートはそれを最初のシステムブロックに、ツールと会話の前に書き込みます。長いタスクの途中で努力を低から高に上げると、次のリクエストがほぼ最初のトークンで異なり、セッション全体が再処理されます。長い実行では、1つの設定を変更すると数十万トークンの再処理コストがかかる可能性があります。

実用的なアドバイスは、開始時に努力レベルを選択し、そのままにしておくことです。より多くの思考が必要な場合、高い設定で新しいセッションを開始することは、古いセッションを続けるよりも安価であることが多く、クリーンなコンテキストも生成します。推論値を変更する前にコンパクト化すると、再処理する必要があるプロンプトトークンの数を減らすことができます。

サイレントなツール出力切り詰めはエージェントの動作を損なう

ツールの結果は次のリクエストとその後のすべてのリクエストの一部になるため、大きなファイル読み取りは残りのターンにわたって支払われ、コンテキストウィンドウも消費します。ハーネスはしばしばツール出力を切り詰めますが、これは正しい方向ですが、切り詰め方が重要です。

ソースは失敗例を説明しています。エージェントがcalendar.pyを読み取り、ツールが640行のファイルの最初の100行を停止したことを言わずに返します。重要な関数convert_timezoneは420行目にあり、モデルは何かが欠けていることに気づきません。修正は、モデルが640行のうち1〜100行を受け取ったこと、ファイルを検索したり別の範囲を要求したりできることを示す単一の行を出力に追加することです。その通知があれば、モデルはタイムゾーンを検索し、420行目を見つけ、410〜450行目を読むことができます。サイレントな切り詰めはトークンを節約しますが、モデルが実際に見たことのないコードを自信を持って編集するままにすることがあります。

サブエージェントコンテキストはキャッシュとメモリコストのために選択されるべきです

Kimi K3、GLM-5.3、GLM-5.3-Flashなどのオープンモデルは、大きなタスクを分割してサブエージェントに渡すのが得意になりました。ハーネスが各サブエージェントを開始する方法は、親キャッシュのどのくらいを再利用できるかを決定します。

1つのアプローチは完全な継承です。サブエージェントは同じシステムプロンプト、ツール、会話に加えて割り当てを受け取ります。サイドチャットはこのように機能し、親セッションから分岐するため、プレフィックス全体がすでにキャッシュされています。もう1つのアプローチはブリーフです。同じシステムプロンプトとツール、そしてサブエージェントが必要とするファイルと指示だけです。その場合、キャッシュは共有セットアップをカバーし、親の履歴はカバーしません。

継承は厳密に優れているように聞こえますが、ソースはそうではないと言います。キャッシュされたプレフィックスは処理が安価ですが無料ではありません。サブエージェントが生成するすべてのトークンはそれを読み取る必要があり、その間ずっとGPUメモリを占有します。2つのファイルとチェックリストを必要とするレビューアは、おそらく300ターンの履歴を必要としません。サブエージェントに独自のシステムプロンプトが与えられた場合、親と何も共有しません。セットアップさえも共有しません。

推論エンジンはキャッシュを生き続け、到達可能に保つ必要があります

ハーネスはすべてのプロンプト安定性ルールに従っても、推論エンジンがキャッシュを利用可能に保たないか、次のリクエストをそれを保持するマシンにルーティングしない場合、利益を失う可能性があります。Together AI側の問題は推論エンジンであり、ソースはそれをGPUを忙しく保つための機械と説明しています。単一のGPUは年間約5万ドルのレンタル費用がかかるため、理想的なエンジンはそれをアイドル状態にさせず、いつでも数百人のユーザーがそれぞれリクエストの異なるポイントにいる可能性があります。

キャッシュ認識ルーティングは各ターンをそのプレフィックスに戻す

セッションキャッシュは特定のデータセンターの特定のノードに存在します。次のターンが別のノードに着地した場合、そのノードは以前のすべてのターンを最初から処理する必要があり、2つのノードが同じプレフィックスを保存することになるかもしれません。正しいルーティングは、まずモデルを実行し、容量があり、セッションが実行されているデータセンターを選択します。次に、そのデータセンター内で以前のターンのキャッシュを保持するノードを選択します。

ソースはノードを選択する2つの主な方法を説明しています。1つはキーです。クライアントはprompt_cache_keyのようなものを各リクエストで送信し、同じキーを持つリクエストは理想的には同じノードに行きます。もう1つはプレフィックスハッシュです。プレフィックスをハッシュし、最も長い一致するプレフィックスがキャッシュされているノードにリクエストを送信します。たとえそのキャッシュが別のセッションによって作成されたものであってもです。

プレフィックスハッシュは、同一のシステムプロンプトがセッション間で重要である理由でもあります。ハーネスのすべてのセッションがまったく同じシステムプロンプトとツール定義で始まる場合、新しいセッションはそのセットアップがすでにキャッシュされているのを見つけるかもしれません。システムプロンプトの一意の識別子は、すべてのセッションがコールドスタートすることを保証します。

ルーティングは常にウォームノードを選択するほど単純ではありません。ウォームノードが過負荷になる可能性があり、そこで待つか、アイドルノードを取ってプレフィックスを再処理するコストを支払うかの選択を強いられます。その負荷認識ルーティングのトレードオフでは、キャッシュミスが時にはより良い取引になることがあります。完全に安定したプロンプトは、バックエンドの推論エンジンが正しく実装されていない場合、ヒットを保証しません。

アイドルキャッシュオフロードとブロック割り当てがGPUメモリを管理する

ルーティングは、次のリクエストが到着したときにキャッシュがまだ存在する場合にのみ役立ちます。エージェントはツール呼び出しを行い、テストが実行されている間数分待つかもしれません。セッションキャッシュをGPUメモリにずっと保持すると、アクティブなユーザーからスペースを奪いますが、破棄するとエージェントが戻ったときにすべてを再読み取りすることを意味します。したがって、エンジンはセッションがアイドル状態の間にキャッシュをCPUメモリにオフロードし、次のターンに復元できます。

メモリはこの設計の多くを制約するものです。エンジンは応答が30トークンか30,000トークンかを事前に知ることができないため、最大コンテキスト長のためのスペースを予約する代わりに、各リクエストが必要とするときにキャッシュメモリを小さなブロックで配布し、オペレーティングシステムがRAMを管理する方法でPagedAttentionを使用します。また、継続的バッチ処理で実行中のバッチを毎回再構築するため、エージェントが一度に5つのサブエージェントを起動すると、各新しいリクエストはバッチ内の最も遅いリクエストが完了するのを待つのではなく、スロットが解放されるとすぐにスロットを取ります。

ハーネスビルダーへの結果は、キャッシュメモリのヘッドルームが、計算ではなく、GPUが一度に処理できるリクエスト数を通常制限するということです。過剰なツール結果や無関係な履歴を運ぶサブエージェントは、別のセッションキャッシュが使用できたメモリを取ります。

分離されたプリフィルとデコードは2つのフェーズを分離する

エージェントワークロードはプリフィルとデコードの分割を極端に押し上げ、巨大なプロンプトと小さな回答を生み出します。そのパターンを最適化するために、ソースはTogether AIが2つのフェーズを別々のクラスターで実行すると述べています。1つのクラスターは計算に調整され、プリフィルを実行します。もう1つはメモリ帯域幅に調整され、一度に数百のストリームのデコードを実行します。KVキャッシュはRDMAを介してそれらの間で送信されます。この分離は、長いエージェントプロンプトの波が他のすべての人のトークンストリーミングを遅くしないことを意味し、各クラスターは独立してスケールできます。

適切に動作する長いセッションの様子

ソースはハーネスとエンジンのルールを1つのセッションで組み合わせています。ハーネス側では、エージェントがカレンダーツールを見つけ、その定義を会話の最後に追加するため、その上の何も変更されません。エージェントはcalendar.pyを読み取り、640行のうち1〜100行だけを受け取ったことを確認し、タイムゾーンを検索して関連セクションを読み取ります。推論努力は開始時のままです。レビューアサブエージェントはセッションを継承してagenda.icsをsessions.jsonと照合します。

エンジン側では、すべてのターンがセッションキャッシュを保持するノードに戻ります。テストが実行されている間、キャッシュはCPUメモリで待機します。レビューアリクエストは実行中のバッチにスロットインし、各ターンは新しいものだけを処理します。ユーザーはこれを見ることはありません。目に見える結果は、エージェントが90ターン目でも高速であることです。この取り決めは両側が役割を果たすことに依存しています。ハーネスはプロンプトを完全に安定させても、エンジンがターン7を間違ったマシンに送信するとキャッシュを失う可能性があります。エンジンは完全にルーティングしても、ハーネスが毎ターン最初の行を変更するとキャッシュを失う可能性があります。

これがオープンモデルエージェントにとって重要な理由

長期的なエージェントの実用的なルールは、プロンプトの先頭を安定させ、可能な場合は新しい素材を追加し、キャッシュ無効化とキャッシュメモリを第一級の設計上の関心事として扱うことです。ソースは特定のモデルのベンチマーク結果を報告していません。その定量的な例は、再計算がセッション長の2乗で成長する理由を示す理想化された算術です。また、プレフィックスキャッシングだけが長期的なエージェントを解決するとは主張していません。なぜなら、キャッシュヒットは依然として注意とGPUメモリを消費し、ルーティングはキャッシュの暖かさと負荷のバランスを取る必要があるからです。

より広い意味は、オープンモデルエージェントのパフォーマンスはハーネスと推論エンジンのエンジニアリングの共同製品であるということです。ツールの読み込み、システムプロンプトの構築、推論努力の変更、切り詰め通知、サブエージェントコンテキストはすべて、キャッシュが存続するかどうかに影響します。キャッシュ認識ルーティング、アイドルキャッシュオフロード、ブロックベースのメモリ割り当て、継続的バッチ処理、分離されたプリフィルとデコードクラスターは、エンジンが存続するキャッシュを活用できるかどうかを決定します。どちらの側も単独で信頼性の高い長いセッションパフォーマンスを提供することはできません。

Sources