OpenAI 采用标准化的 robots.txt 信号以表达 AI 训练偏好

标准化 AI 训练偏好

OpenAI 正在 robots.txt 文件格式中实施一种共享信号，旨在简化网站运营商传达其关于 AI 训练数据使用偏好的方式。通过采用这种通用信号，OpenAI 旨在减轻发布者的管理负担，他们此前必须为每个 AI 提供商分别管理单独的爬虫规则。

实施与兼容性

这一新信号作为一种额外的控制层，而非现有机制的替代品。OpenAI 将继续尊重其当前的爬虫控制规则，确保现有配置保持有效。该公司计划在未来几个月内推出对该共享信号的支持，并将在实施时提供进一步的技术文档。

与 IETF 标准保持一致

该倡议是 OpenAI 与互联网工程任务组 (IETF) AI 偏好工作组持续合作的一部分。通过采用这一信号，OpenAI 将其做法与新兴的网络透明度行业标准保持一致。该公司表示，打算继续参与 IETF 的讨论，以便随着网络内容控制和公平性环境的发展而调整其做法。

行业影响

OpenAI 鼓励其他 AI 提供商采用这种标准化信号，以促进为网站所有者建立一个更一致的生态系统。此举被视为迈向维护开放网络的一项务实举措，使发布者能够拥有清晰且简化的方法来管理其内容如何被生成式 AI 系统所利用。