MODSetter/SurfSense

何を解決するか

SurfSenseは、カスタムスクリーパーやブラウザベースのエージェントに伴う脆弱性や高コスト・高レイテンシを回避し、AIエージェントがオープンウェブからリアルタイムで構造化されたデータにアクセスできる方法を提供します。Reddit、YouTube、Amazonなどのプラットフォームから情報を収集する際の複雑なHTMLパースやレート制限の管理の必要性を排除します。

動作方法

SurfSenseは、さまざまなウェブコネクタを単一のREST APIまたはMCP（Model Context Protocol）サーバーとして公開する研究プラットフォームとして動作します。これにより、AIエージェントは特定のツール（例：surfsense_reddit_scrape）を呼び出して、生のHTMLではなく構造化されたJSONデータを取得できます。また、調査結果を保存するための知識ベース、レポートやポッドキャストを作成するためのデリバラブルスタジオ、スケジュールされた調査タスクを自動化するためのオートメーションエンジンも備えています。

対象ユーザー

AIエージェントを開発する開発者、ウェブを構造的に監視したい研究者、Google NotebookLMのオープンソースで自己ホスティング可能な代替手段を探しているユーザーに最適です。

主な特徴

• リアルタイムデータコネクタ: Reddit、YouTube、Instagram、TikTok、Google Maps、Google Search、Indeed、Amazon用の組み込みスクリーパー。
• MCPサーバー対応: Claude、Cursor、その他のエージェントフレームワークを使用するエージェントとのネイティブツール統合。
• 知識ベース: アップロードされたドキュメントと同期されたクラウドストレージ（Google Drive、OneDrive、Dropbox）に対するハイブリッドなセマンティック検索とフルテキスト検索。
• デリバラブルスタジオ: AI生成レポート、編集可能なスライドデッキ、2人参加型のAIポッドキャスト。
• 拡張可能なLLM対応: LiteLLMを介して100以上のLLMと互換性があり、OllamaやvLLMを介してローカルモデルも利用可能。
• 自己ホスティング可能: Dockerによるデプロイで完全なデータプライバシーと無料利用が可能。