nicobailon/pi-web-access

何を解決するか

Pi Web Access は、Piエージェント向けの包括的なウェブインタラクション層を提供し、ウェブ検索、さまざまなソースからのコンテンツ抽出、動画コンテンツの理解を可能にします。AIエージェントに信頼性の高い、複数の検索プロバイダを備えたコンテンツ取得システムを提供し、スマートなフォールバックとGitHubリポジトリ、YouTube動画、PDFなど複雑なフォーマットに対する特別な処理を実現します。

動作方法

このプロジェクトは、Piエージェントがウェブとやり取りできるようにするツール群（web_search、fetch_content、get_search_content、source_check）を実装しています。多数の検索プロバイダ（例：OpenAI、Brave、Exa、Tavily、Gemini、Mistral）とコンテンツ抽出方法をサポートしています。

主なメカニズム：

• スマートフォールバック：1つのプロバイダが失敗しても、検索や取得リクエストが成功するように、順次実行されるプロバイダチェーンを使用します。
• 専門的な抽出：単純なスクレイピングではなく、GitHubリポジトリをローカルにクローンして完全なファイルアクセスを可能にし、Geminiを用いて視覚的および字幕ベースの動画理解を行います。
• PDF処理：Datalab、Gemini、またはローカルのunpdfを用いた段階的なシステムでPDFをMarkdownに変換し、ドキュメントの構造を維持します。
• キャッシュ：取得したコンテンツはローカルキャッシュに保存され、エージェントがコンテキストウィンドウにページ全体を再読み込みせずに特定の節を取得できるようにします。

対象ユーザー

Piエージェントのユーザーで、リアルタイムのウェブアクセス、GitHubを活用した深い技術的調査、動画およびPDFドキュメントのマルチモーダル分析を拡張したい方におすすめです。

主な特徴

• 広範なプロバイダ対応：数十の検索APIとExa MCPによるゼロコンフィグ検索を統合。
• 動画理解：Geminiとffmpegを用いてYouTubeおよびローカル動画から字幕、視覚的説明、特定のフレームを抽出。
• get_search_content：オフセットと曖昧なテキスト検索を用いて、大規模なページを効率的にナビゲート可能。
• GitHub統合：HTMLスクレイピングではなく、ローカルにリポジトリをクローンして本格的なファイル探索を実現。
• ソース確認：機械可読な引用とSHA-256ハッシュを用いて主張を検証する専用のsource_checkツール。