ai-robots-txt/ai.robots.txt

它解决了什么问题

这个项目提供了一个由社区维护的、集中式的AI相关网络爬虫列表。它通过提供现成的配置文件来帮助网站所有者阻止AI系统抓取其内容，这些文件告诉这些机器人它们不受欢迎。

它是如何工作的

该项目维护了一个AI爬虫签名的主列表。一个GitHub操作会自动将此列表转换为各种格式，包括标准的robots.txt文件以及针对Nginx、Apache、Caddy、HAProxy和Lighttpd等Web服务器的特定配置片段。用户可以下载这些文件并将其应用到自己的服务器基础设施上，以阻止列出的爬虫。

它面向谁

这适用于网站管理员、开发人员和网站所有者，他们希望控制AI公司是否可以为训练或数据收集目的抓取其内容。

亮点

提供遵循Robots排除协议的标准robots.txt文件。
包含多个流行Web服务器（Nginx、Apache、Caddy等）的配置片段。
从单一事实来源自动生成阻止列表。
提供用于跟踪爬虫行为和报告忽略排除规则的机器人的资源。