oxylabs/perplexity-scraper

What it solves

このプロジェクトは、すべての機能に対して包括的なパブリックAPIを提供していないPerplexity AIから、プログラムによってデータを抽出する方法を提供します。開発者は、プロキシ、ブラウザのレンダリング、またはアンチボットシステムを手動で管理することなく、AIが生成した回答、ソース、およびメタデータを自動的に収集することができます。

How it works

このツールは、OxylabsのWeb Scraper APIとの統合です。ユーザーは、プロンプトと認証情報をAPIエンドポイントに含むPOSTリクエストを送信します。システムは、動的なAIコンテンツのJavaScriptレンダリングを処理し、、結果を構造化されたJSON、Markdown、raw HTML、またはウェブサイトのPNGとして、いくつかの形式で返します。また、プロンプトを送信する地理的な場所を指定することもできます。

Who it’s for

AIコンテンツを監査したり、時間の経過とともに情報がどのように要約されるかを追跡したり、AI主導の検索結果におけるSEOパフォーマンスやブランドの言及を監視したりする必要がある開発者や研究者。

Highlights

• Multiple Output Formats: JSON、Markdown、HTML、およびPNGをサポートしており、柔軟なデータ統合が可能です。
• Structured Data Extraction: 使用されたAIモデル、生成された回答、関連するクエリ、およびソースリンクなどの特定のフィールドを解析します。
• Comprehensive Metadata: PerplexityのUIタブから、画像、ショッピング製品、動画、および場所などの追加の結果を取得します。
• Managed Infrastructure: IPローテーション、プロキシ管理、およびアンチボット回避を自動的に処理します。