oxylabs/AI-Search-py

解决的问题

AI-Search 简化了开发人员从网络上检索和提取信息的过程。它无需从零开始构建自定义搜索爬虫，而是提供了一种使用自然语言搜索网络，并可选择性地抓取结果页面内容的统一方式。

工作原理

该工具作为一个智能搜索代理运行，通过 API 集成到 Python 应用程序中。用户以普通英文输入搜索查询，指定想要的结果数量（最多 50 个），并可切换是否让代理抓取页面的完整内容，或仅返回 URL 和标题。为处理现代的、JavaScript 重度的网站，该工具包含 JavaScript 渲染选项，以确保从动态内容中正确提取数据。

适用人群

专为需要自动化数据发现和收集任务的开发人员设计，例如收集最新新闻、研究竞争对手或聚合行业动态。

主要亮点

• 自然语言查询： 使用普通英文搜索网络。
• 动态内容处理： 支持 JavaScript 渲染，以从单页应用中提取数据。
• 内容提取： 可选择性地抓取并返回搜索结果的 markdown 内容。
• 本地化搜索： 使用 geo_location 参数，通过 ISO 2 位国家代码或坐标实现搜索结果的本地化。