AnswerDotAI/llms-txt

解決的問題

網頁是為人類設計的，通常充滿導覽、廣告與 JavaScript，使 AI 代理難以提取乾淨且相關的內容。此外，完整的網站通常太大，無法放入 LLM 的上下文視窗中，導致令牌浪費與成本增加。

如何運作

該提案建議在網站根目錄或子路徑放置標準化的 /llms.txt 檔案。此 Markdown 檔案提供網站的簡潔、專家級概述、使用指引，以及指向特定頁面詳細 Markdown 版本（例如 page.html.md）的連結。

代理應先讀取 llms.txt 檔案以理解網站結構，再根據需要追蹤連結以取得特定的詳細內容。為幫助代理發現這些檔案，提案建議使用標準的 HTML 連結關係，如 rel="alternate" 用於 Markdown 版本，rel="describedby" 用於 llms.txt 檔案。

適用對象

• 網站所有者與開發者：希望讓其文件或內容對 AI 代理更易存取的人。
• AI 代理開發者：希望以可靠、標準化的方式從網路取得高品質、簡潔的上下文的人。

亮點

• 標準化格式：採用特定的 Markdown 結構（H1 標題、引用區塊摘要、H2 分隔的檔案清單），既對人類可讀，又可程式化解析。
• 上下文效率：透過提供網站的精選地圖，避免代理抓取整個 HTML 頁面，從而減少令牌浪費。
• 廣泛相容性：設計上可與 robots.txt 和 sitemap.xml 共存，無需取代它們。
• 生態系支援：已被 OpenAI、Anthropic、Gemini 等主要 AI 實驗室，以及 Wix、GitBook 等多種 CMS 平台採用。