AnswerDotAI/llms-txt

解决的问题

网页是为人类设计的，通常包含导航栏、广告和 JavaScript，这使得 AI 代理难以提取干净且相关的内容。此外，完整的网站通常太大，无法放入 LLM 的上下文窗口中，导致令牌浪费和成本增加。

如何工作

该提案建议在网站的根目录或子路径下放置一个标准化的 /llms.txt 文件。该 Markdown 文件提供网站的简洁、专家级概述、使用指南，以及指向特定页面详细 Markdown 版本（例如 page.html.md）的链接。

AI 代理应首先读取 llms.txt 文件以理解网站结构，然后根据需要跟随链接获取特定的详细内容。为了帮助代理发现这些文件，该提案建议使用标准的 HTML 链接关系，如 rel="alternate" 用于 Markdown 版本，rel="describedby" 用于 llms.txt 文件。

适用对象

网站所有者和开发者：希望让其文档或内容对 AI 代理更易访问的人。
AI 代理开发者：希望以可靠、标准化的方式从网络获取高质量、简洁上下文的人。

亮点

标准化格式：采用特定的 Markdown 结构（H1 标题、引用块摘要、H2 分隔的文件列表），既对人类可读，又可程序化解析。
上下文效率：通过提供网站的精选地图，避免代理抓取整个 HTML 页面，从而减少令牌浪费。
广泛兼容性：设计上可与 robots.txt 和 sitemap.xml 共存，无需取代它们。
生态系统支持：已被 OpenAI、Anthropic、Gemini 等主要 AI 实验室以及 Wix、GitBook 等多种 CMS 平台采用。