austin-weeks/miasma
Trap AI web scrapers in an endless poison pit.
解决的问题
它通过主动惩罚爬虫而非仅仅是封锁它们，来防止 AI 公司抓取公开网站的训练数据。
运作方式
Miasma 会向爬虫发送“中毒”的训练数据和自我参照链接。这会建立一个低质量内容（slop）的循环，旨在降低用于训练的 AI 模型质量。
目标对象
希望保护其内容不被用作 AI 训练数据，且不想承担高额运算负担的网站拥有者。
特色
- 高性能且内存占用极低。
- 提供 Docker 镜像、Rust 库或预编译的二进制文件。
- 专为通过中毒数据循环来降低模型质量而设计。
相关
- 项目
- 项目
h4ckf0r0day/obscura一个用 Rust 编写的轻量级、高性能无头浏览器引擎，旨在作为 Puppeteer 和 Playwright 的直接替代品，以极低的资源占用驱动 AI 代理和网络爬虫。
- 项目
spider-rs/spiderSpider 是一个用于快速、并发网络爬取与抓取的 Rust 库。它在页面获取时即进行流式传输，仅在需要 JavaScript 的页面才启动无头 Chrome，并支持本地运行或在托管的 Spider Cloud 服务上运行（该服务提供代理、隐身模式和自动扩展）。该库提供简单 API、可配置的限制，并支持 Node、Python 和 CLI 的绑定，适用于向 AI/RAG 流水线提供网页数据、SEO 监控或任何大规模抓取任务。
- 项目