deedy5/ddgs

해결하는 문제

DDGS(Dux Distributed Global Search)는 여러 웹 검색 엔진에서 동시에 검색 결과를 집계할 수 있는 메타검색 라이브러리입니다. 텍스트, 이미지, 동영상, 뉴스, 책 검색을 위한 단일 인터페이스를 제공함으로써 웹에서 데이터를 수집하는 과정을 간소화합니다. 또한 URL에서 콘텐츠를 추출하는 기능도 제공합니다.

작동 방식

이 라이브러리는 다양한 검색 백엔드를 래핑하는 DDGS 클래스를 제공합니다. 사용자는 백엔드(Google, Bing, DuckDuckGo, Brave, Yahoo 등)를 지정하거나, "auto"로 설정하여 라이브러리가 선택을 처리하도록 할 수 있습니다. 다음과 같은 전문 검색 기능을 제공합니다:

• 텍스트 검색: Bing, Brave, DuckDuckGo, Google, Grokipedia, Mojeek, Startpage, Yandex, Yahoo, Wikipedia 등의 엔진에서 결과를 집계.
• 미디어 검색: 이미지, 동영상, 뉴스 전용 함수 제공.
• 콘텐츠 추출: extract() 함수는 URL을 가져와 콘텐츠를 Markdown, 일반 텍스트, 또는 원시 HTML 등의 형식으로 변환합니다.

프로젝트는 FastAPI를 통한 API 서버와 MCP(Model Context Protocol) 서버도 제공하여, 이러한 검색 도구를 AI 에이전트나 기타 애플리케이션에 쉽게 통합할 수 있도록 합니다.

대상 사용자

여러 검색 엔진에 프로그래밍 방식으로 접근할 수 있는 통합된 방법이 필요한 AI 에이전트, RAG(Retrieval-Augmented Generation) 파이프라인, 데이터 수집 도구 개발자.

주요 특징

• 다중 백엔드 지원: 텍스트, 이미지, 동영상, 뉴스, 책 등 다양한 모달리티의 검색 엔진을 광범위하게 지원.
• AI 준비 통합: Cursor나 Claude Desktop과 같은 AI 클라이언트와 직접 통합 가능한 내장 MCP 서버 포함.
• 콘텐츠 추출: 웹 페이지를 AI 친화적인 Markdown 형식으로 변환하는 내장 유틸리티.
• 유연한 배포: Python 라이브러리, 독립형 API 서버, 또는 Docker Compose를 통해 배포 가능.