ai-robots-txt/ai.robots.txt

解決する問題

このプロジェクトは、AI関連のウェブクローラーの一覧をコミュニティで維持・管理するものです。ウェブサイトの所有者が、AIシステムによるコンテンツのスクレイピングを防ぐために、これらのボットを歓迎しないことを伝える設定ファイルをすぐに利用できる形で提供します。

仕組み

このプロジェクトは、AIクローラーのシグネチャのマスターリストを管理しています。GitHub Actionがこのリストを自動的に様々な形式に変換します。標準の robots.txt ファイルや、Nginx、Apache、Caddy、HAProxy、Lighttpdなどのウェブサーバー向けの特定の設定スニペットが含まれます。ユーザーはこれらのファイルをダウンロードして、自分のサーバーインフラに適用し、リストされたクローラーをブロックできます。

対象読者

ウェブサイトの管理者、開発者、サイト所有者で、AI企業がトレーニングやデータ収集のために自社のコンテンツをクロールすることを制御したい方々を対象としています。

特徴

Robots Exclusion Protocolに従った標準の robots.txt ファイルを提供します。
複数の人気ウェブサーバー（Nginx、Apache、Caddyなど）向けの設定スニペットが含まれます。
一元管理された情報源からブロックリストの生成を自動化します。
クローラーの動作を追跡し、除外ルールを無視するボットを報告するためのリソースを提供します。