AnthropicのClaude向け100kトークンコンテキスト窓口用プロンプト工学ガイド

TL;DR

Anthropicは、関連する引用文をスクラッチパッドに取り込むことと、正解例を複数提示することという2つのプロンプト工学的手法が、70 k～95 kトークンのコンテキストから特定の事実を想起する能力を大幅に向上させることを実証した。

背景：Claudeの100,000トークンコンテキスト窓口

Claudeは現在、100kトークンのコンテキスト窓口をサポートしており、数百ページの技術資料や一冊の本を一度に処理できる。APIのスケーリングに伴い、ユーザーはこの能力を最大限に活かすためのプロンプトの構造化方法について具体的なガイドが必要となっている。

実験設計

目的

長文ドキュメントから1つの事実を想起する必要がある複数選択問題に対する、異なるプロンプト戦略がClaudeの正確性に与える影響を測定すること。

データソース

Claudeの学習終了時点を過ぎた公開されている米国政府の日次トランスクリプト（2023年7月13日）を用いた。これにより、事前の知識の影響を最小限に抑えることができる。

質問生成（ランダムコラージュ）

ドキュメントをセクションに分割する。
Claudeに各セクションあたり5問の複数選択問題を生成させ、それぞれに3つの誤答と1つの正解を含ませる。
セクションをランダムに組み合わせて、約75 kおよび約90 kトークンの「コラージュ」ドキュメントを作成する。

テストしたプロンプト戦略

戦略	説明
ベース	例なしのシンプルな質問。
非政府例	政府文書とは無関係な2つの固定された一般知識の複数選択例。
2例	同じコラージュの他のセクションからランダムに選ばれた2つの文脈内例。
5例	上記と同様だが、5つの例を使用。

各戦略について、<scratchpad>命令（Claudeに回答前に関連する引用文を抽出するように指示）を有効または無効で評価した。回答箇所は入力の先頭、中央、または末尾に配置し、位置効果を検証した。

主な発見

ベースライン性能

Claude Instant 1.2は、自身の短いコンテキストの質問に対して約90%の確率で正解する。
回答箇所をランダムな無関係なセクションに置き換えると、Claudeは正解する確率が34%に低下する（25%のランダムベースラインより高い）。

スクラッチパッドと例の影響

スクラッチパッドと例を併用すると、70 kおよび95 kトークンのドキュメントにおいて最も高い正確性が得られる。
一般的で無関係な例（「nongov」セット）は測定可能な利点をもたらさない。
例の数が多いほど性能が向上する傾向がある：5例の方が2例より優れている。
スクラッチパッドはわずかな遅延増加を引き起こすが、すでに高速なClaude Instantにとっては無視できるレベルである。

位置効果

回答箇所がプロンプトの非常に末尾にある場合、例が存在する状況で正確性が低下する。これは、例が回答とモデルの最終的推論ステップとの距離を増加させているためと推測される。
Claude Instantでは、質問と回答の距離が長くなるほど性能が低下する。Claude 2では低下幅が小さく、95 kトークン入力の中央付近でわずかな低下が見られる。

Claude 2 vs. Claude Instant

Claude 2のベースライン正確性はすでに高い（約0.939）。プロンプトを工夫することで0.961まで向上し、誤差は36%削減されたが、絶対値の増加は小さい。

実用的なプロンプト工学の推奨事項

スクラッチパッドを使用する – 回答前に関連する引用文を収集・表示するようにClaudeに指示する。これにより正確性が一貫して向上する。
複数の文脈内例を提供する – 一般的な例よりも、同じ長文ドキュメントから抽出した5つの例を優先する。
指示を末尾近くに配置する – スクラッチパッドと例のブロックを回答箇所に近づけることで、距離効果を最小限に抑える。
曖昧な参照を避ける – 質問で「この文書」という表現ではなく、明確に箇所を指定する（例：「漁業に関する追加のシーズン内措置についての通知」）。コラージュでは「この文書」が曖昧になるため。
ドキュメント末尾ではリターンが減少するのを予想する – 回答が非常に末尾にある場合、回答関連テキストを前に持ってくるか、指示ブロックをその後に配置するなど、プロンプトの構造を再設計することを検討する。

再現性：Anthropic Cookbook

本研究で使用したすべてのコード、ノートブック、プロンプトテンプレートは、Anthropic Cookbookで公開されている：

完全な実験リポジトリ – データ生成、評価スクリプト、プロンプトPDFを含む。
その他のレシピ：Wikipedia検索・取得デモ、モックPDFアップロード/要約ガイド。

開発者へのインパクト

100kトークンの窓口により、完全なドキュメントQA、書籍レベルの要約、大規模な政策分析といったユースケースが可能になる。
効果的なプロンプト工学は不可欠。スクラッチパッドや関連例がなければ、コンテキストの深部に埋もれた事実の正確性はほぼランダムレベルまで低下する可能性がある。
提示された技術は軽量（プロンプトのみ）であり、外部の検索システムを必要としないため、既存のClaude APIワークフローに簡単に統合できる。

制限と今後の課題

本研究はClaude Instant 1.2に焦点を当てている。Claude 2は類似の傾向を示すが、将来のモデルバージョンでは結果が異なる可能性がある。
複数選択の事実記憶のみをテストした。オープンエンドな生成や推論タスクには追加の戦略が必要となる可能性がある。
非常に長いプロンプトの末端に情報がある場合、位置バイアスは依然として課題。今後の研究では、動的プロンプトの切り詰めや階層的検索の探索が考えられる。

結論

Anthropicの定量的ケーススタディにより、引用文の抽出スクラッチパッドと複数の文脈内例が、70 k～95 kトークンのコンテキストにおいてClaudeの事実記憶を向上させるシンプルだが強力な手段であることが確認された。これらのプロンプト工学パターンを適用することで、開発者はClaudeの100kトークン窓口を、複雑なドキュメントスケールのアプリケーションに信頼性高く活用できる。