deedy5/ddgs

何を解決するか

DDGS（Dux Distributed Global Search）は、複数のウェブ検索エンジンからの検索結果を同時に集約できるメタ検索ライブラリです。テキスト、画像、動画、ニュース、書籍の検索のための単一インターフェースを提供することで、ウェブからのデータ収集プロセスを簡素化します。また、URLからのコンテンツ抽出機能も備えています。

動作方法

このライブラリは、さまざまな検索バックエンドをラップする DDGS クラスを提供します。ユーザーはバックエンド（例：Google、Bing、DuckDuckGo、Brave、Yahoo）を指定するか、「auto」に設定してライブラリに選択を任せることができます。以下の専門的な検索関数が利用可能です：

• テキスト検索：Bing、Brave、DuckDuckGo、Google、Grokipedia、Mojeek、Startpage、Yandex、Yahoo、Wikipedia などのエンジンからの結果を集約。
• メディア検索：画像、動画、ニュース専用の関数を提供。
• コンテンツ抽出：extract() 関数は URL を取得し、そのコンテンツを Markdown、プレーンテキスト、または生の HTML などの形式に変換します。

プロジェクトは FastAPI を通じた API サーバーと、MCP（Model Context Protocol）サーバーも提供しており、これらの検索ツールを AI エージェントや他のアプリケーションに簡単に統合できます。

対象ユーザー

複数の検索エンジンにプログラム的にアクセスできる統一された方法を必要とする、AI エージェント、RAG（Retrieval-Augmented Generation）パイプライン、データ収集ツールの開発者。

特徴

• マルチバックエンド対応：テキスト、画像、動画、ニュース、書籍など、さまざまなモダリティの検索エンジンを幅広くサポート。
• AI対応統合：Cursor や Claude Desktop などの AI クライアントとの直接統合を可能にする、組み込みの MCP サーバーを備えています。
• コンテンツ抽出：ウェブページを AI 友好的な Markdown 形式に変換するための組み込みユーティリティ。
• 柔軟なデプロイ：Python ライブラリ、スタンドアロン API サーバー、または Docker Compose を通じてデプロイ可能。