AnswerDotAI/llms-txt

해결하는 문제

웹 페이지는 인간을 위한 설계로, 탐색 메뉴, 광고, 자바스크립트 등으로 인해 AI 에이전트가 깨끗하고 관련 있는 텍스트를 추출하기 어렵습니다. 또한 전체 웹사이트는 종종 LLM의 컨텍스트 창에 맞지 않아 토큰 낭비와 비용 증가를 초래합니다.

작동 방식

웹사이트의 루트 또는 하위 경로에 표준화된 /llms.txt 파일을 배치하는 것을 제안합니다. 이 Markdown 파일은 사이트의 간결하고 전문적인 개요, 안내, 그리고 특정 페이지의 상세한 Markdown 버전(예: page.html.md)에 대한 링크를 제공합니다.

에이전트는 먼저 llms.txt 파일을 읽어 사이트 구조를 이해한 후, 필요한 특정 세부 콘텐츠만 가져오기 위해 링크를 따릅니다. 이러한 파일을 에이전트가 탐지할 수 있도록 하기 위해, 제안은 Markdown 버전에는 표준 HTML 링크 관계 rel="alternate"를, llms.txt 파일에는 rel="describedby"를 사용하는 것을 권장합니다.

대상 사용자

• 웹사이트 소유자 및 개발자 : AI 에이전트가 문서나 콘텐츠에 더 쉽게 접근할 수 있도록 하고 싶은 분들.
• AI 에이전트 개발자 : 신뢰할 수 있고 표준화된 방식으로 웹에서 고품질, 간결한 컨텍스트를 가져오고 싶은 분들.

주요 특징

• 표준화된 형식 : H1 제목, 인용 블록 요약, H2로 구분된 파일 목록이라는 특정 Markdown 구조를 사용하여 인간이 읽기 쉽고 프로그래밍적으로 파싱 가능합니다.
• 컨텍스트 효율성 : 전체 HTML 페이지를 스크래핑할 필요 없이, 에이전트가 필요한 콘텐츠만 가져올 수 있도록 사이트의 선택된 지도를 제공하여 토큰 낭비를 줄입니다.
• 광범위한 호환성 : robots.txt 및 sitemap.xml과 공존 가능하며, 이를 대체하지 않습니다.
• 에코시스템 지원 : OpenAI, Anthropic, Gemini와 같은 주요 AI 연구소와 Wix, GitBook 등의 다양한 CMS 플랫폼에서 이미 채택되었습니다.