ai-robots-txt/ai.robots.txt

해결하는 문제

이 프로젝트는 AI 관련 웹 크롤러의 중앙 집중식 커뮤니티 관리 목록을 제공합니다. 웹사이트 소유자가 AI 시스템이 콘텐츠를 스크래핑하는 것을 방지할 수 있도록, 이러한 봇이 환영받지 못한다는 것을 알려주는 즉시 사용 가능한 구성 파일을 제공합니다.

작동 방식

이 프로젝트는 AI 크롤러 서명의 마스터 목록을 유지 관리합니다. GitHub 액션이 이 목록을 표준 robots.txt 파일과 Nginx, Apache, Caddy, HAProxy, Lighttpd와 같은 웹 서버용 특정 구성 스니펫을 포함한 다양한 형식으로 자동 변환합니다. 사용자는 이러한 파일을 다운로드하여 자신의 서버 인프라에 적용하여 목록에 있는 크롤러를 차단할 수 있습니다.

대상 사용자

이 프로젝트는 AI 회사가 교육 또는 데이터 수집 목적으로 콘텐츠를 크롤링할 수 있는지 여부를 제어하려는 웹사이트 관리자, 개발자 및 사이트 소유자를 위한 것입니다.

주요 기능

• Robots Exclusion Protocol을 따르는 표준화된 robots.txt 파일 제공
• 여러 인기 웹 서버(Nginx, Apache, Caddy 등)용 구성 스니펫 포함
• 중앙 소스에서 차단 목록 생성을 자동화
• 크롤러 동작 추적 및 제외 규칙을 무시하는 봇을 신고할 수 있는 리소스 제공