なぜセッションのトランスクリプトを記憶させることがAIコーディングエージェントの向上につながらないのか

SWEエージェントにとってセッションのトランスクリプトはパフォーマンスの向上をもたらさない

AIエージェントに過去のセッションのトランスクリプトへの検索アクセスを提供しても、エージェントがすでに他の形式のコンテキスト（文脈）にアクセスできる場合、ソフトウェアエンジニアリング（SWE）タスクにおけるパフォーマンスの向上は全く得られません。これらのトランスクリプトを自動的に探索してコンテキストを改善しようとする試みは、人間が情報を精査するプロセス（human in the loop）に関与しない限り、一般的に効果がありません。

トランスクリプトには、ユーザーの意図、破棄されたアプローチ、コードの「なぜ」に関する貴重なデータが含まれていると考えるのは直感的ですが、実証的なテストによれば、この追加のメモリ層はモデルのパフォーマンスを低下させることがよくあります。これは主に、セッションからの最も価値のある情報は、生の対話として残すのではなく、ドキュメント、コミットメッセージ、PR記述といった永続的なアーティファクト（成果物）に蒸留（distill）されるべきだからです。

意図のドリフトとメモリ・ガーデニングの問題

AIエージェントは「意図のドリフト（intent drift）」に苦戦します。これは、モデルがコンテキストウィンドウ内のすべてのトークンを、そのトークンが以前の未確認のセッションにおけるランダムな決定であったとしても、現在の意図の表明として扱ってしまう現象です。

メモリ・ガーデニングの欠如

エージェントは現在、自身のメモリを「ガーデニング（管理・整理）」することができません。彼らは、状態（state）を持たないため、すべての入力コンテキストを真実として想定しなければならず、古くなった、あるいは誤ったコンテキストを効果的に削除することができません。これは、いくつかの重大な問題を引き起こします：

• Token Bloat（トークン膨張）: エージェントは、「擬似的に無意味なメモ書き」や、蒸留されたドキュメントからすでに知っている情報を読み取るために、貴重なトークンを費やしています。
• Context Corruption（コンテキストの汚染）: ベンチマークにおいて、モデルは入力データが間違っていると想定することに対してペナルティを受けるため、古い情報や仮説的な情報を事実として取り込んでしまいます。
• Sustainability（持続可能性）: エージェントのスキルセットへの自動的な更新は、主に持続不可能です。ある内部テストでは、会社活動に基づいた自動更新案の80%が、モデルの性能を低下させる可能性があるとして、人間によって拒否されました。

エージェントのメモリに対する代替アプローチ

生のトランスクリプトをインデックス化するのではなく、高いパフォーマンスを発揮するエージェントのワークフローは、耐久性のあるコーディング・アーティファクトの作成を重視しています。

アーティファクトへの蒸留

過去の会話のデータベースに頼るのではなく、エージェントには以下のものに貴重な洞察を保存するよう指示すべきです：

• Comprehensive Documentation（包括的なドキュメント）: 技術ガイドやREADME。
• Detailed Commit Messages（詳細なコミットメッセージ）: 変更の背後にある理由を説明するもの。
• PR Metadata（PRメタデータ）: レビュアーや将来のエージェントのための変更の文脈付け。

検証のためのトランスクリプトの使用

トランスクリプトは、エージェントがコードを書くのには役立たないかもしれませんが、人間による検証には価値があります。セッションログは、エージェントが踏んだ手動の検証ステップ（Playwrightを使用してアプリを操作したり、生産環境の構成を確認したりするなど）を、CIテストや最終的なコードには記録されないプロセスとして明らかにすることができます。

コミュニティの視点と反論

実務家はセッションベースのメモリの有用性について意見が分かれており、一部のユーザーは重大な副作用を報告しており、他のユーザーはニッチな価値を見出しています。

セッションメモリに対する反対意見

多くのユーザーは、「記憶された」コンテキストが、無関係なプロジェクトに漏れ出し、ハルシネーション（幻覚）を引き起こすと報告しています。あるユーザーは次のように述べています：

"I’ve had so much weird output because context is 'memorized' and bleeding into completely unrelated projects and conversations."

他の人々は、現在のメモリの実装は推論時（inference-time）の機能であり、モデルはそれを扱うように訓練されていません。そのため、「今起きていること」と「何が以前に起ったこと」の混同が生じます。

セッションメモリに対する賛成意見

一部の開発者は、セッションログを、断片的な作業セッションをまたいで状態を追跡するために不可欠と見なるしています。ある実務家は、すべてのセッションでログやプランを作成させるプロンプト指示のシステムを使用しており、それにより、エージェントントに次のように質問することが可能になります：「Renovateに関する私の作業のステータスはどうなっていますか？」や「バックアップに関する問題を解決しましたか？」

さらに、一部のユーザーは、メモリが、ユーザーが CLAUDE.md のようなプロジェクト固有の構成ファイルに記録することを忘れてしまったかもしれない、関連する環境制約（例：運用チームの規模）を表面化させるのに役立つと述べています。