AnswerDotAI/llms-txt

解決する課題

Webページは人間向けに設計されており、ナビゲーション、広告、JavaScriptなどで混雑していることが多く、AIエージェントがクリーンで関連性のあるテキストを抽出するのを難しくしています。また、完全なウェブサイトはLLMのコンテキストウィンドウに収まらないことが多く、トークンの無駄遣いやコストの増加を引き起こします。

仕組み

ウェブサイトのルートまたはサブパスに標準化された /llms.txt ファイルを配置することを提案します。このMarkdownファイルは、サイトの簡潔で専門的な概要、ガイドライン、および特定ページの詳細なMarkdown版（例：page.html.md）へのリンクを提供します。

エージェントはまず llms.txt ファイルを読み、サイトの構造を理解した後、必要な詳細コンテンツのみを取得するためのリンクをたどります。これらのファイルをエージェントが発見しやすくするために、提案ではMarkdown版には標準的なHTMLのリンク関係 rel="alternate" を、llms.txt ファイルには rel="describedby" を使用することを推奨しています。

対象ユーザー

ウェブサイト所有者および開発者：AIエージェントがドキュメントやコンテンツにアクセスしやすくしたい方。
AIエージェント開発者：信頼性の高い、標準化された方法でウェブから高品質で簡潔なコンテキストを取得したい方。

特徴

標準化されたフォーマット：H1タイトル、引用ブロックによる要約、H2で区切られたファイルリストという特定のMarkdown構造を使用しており、人間にとっても読めるだけでなく、プログラムによる解析も可能。
コンテキスト効率：エージェントが全体のHTMLページをスクレイピングする必要がなくなるため、トークンの無駄を削減。
広範な互換性：robots.txt や sitemap.xml と併存可能であり、それらを置き換えるものではない。
エコシステムのサポート：OpenAI、Anthropic、Geminiといった主要なAIラボおよびWix、GitBookなどのさまざまなCMSプラットフォームで既に採用済み。