nicobailon/pi-web-access

해결하는 문제

Pi Web Access는 Pi 에이전트를 위한 포괄적인 웹 상호작용 계층을 제공하여 웹 검색, 다양한 소스에서 콘텐츠 추출, 동영상 콘텐츠 이해를 가능하게 합니다. AI 에이전트에게 신뢰할 수 있는 다중 제공자 검색 및 콘텐츠 검색 시스템을 제공하며, 하나의 제공자가 실패하더라도 작동하는 스마트 폴백과 GitHub 리포지토리, YouTube 동영상, PDF와 같은 복잡한 형식에 특화된 처리를 실현합니다.

작동 방식

이 프로젝트는 Pi 에이전트가 웹과 상호작용할 수 있도록 도와주는 도구 세트(web_search, fetch_content, get_search_content, source_check)를 구현합니다. 수십 가지 검색 제공자(예: OpenAI, Brave, Exa, Tavily, Gemini, Mistral)와 콘텐츠 추출 방법을 지원합니다.

주요 메커니즘:

• 스마트 폴백: 하나의 제공자가 실패하더라도 검색 및 가져오기 요청이 성공할 수 있도록 순차적인 제공자 체인을 사용합니다.
• 전문적인 추출: 단순한 스크래핑이 아니라 GitHub 리포지토리를 로컬에 클론하여 전체 파일에 접근 가능하게 하며, Gemini를 사용해 시각적 및 자막 기반의 동영상 이해를 수행합니다.
• PDF 처리: Datalab, Gemini, 또는 로컬 unpdf를 사용하는 계층적 시스템으로 PDF를 마크다운으로 변환하여 문서 구조를 유지합니다.
• 캐싱: 가져온 콘텐츠는 로컬 캐시에 저장되어 에이전트가 전체 페이지를 컨텍스트 창에 다시 로드하지 않고도 특정 문장을 빠르게 가져올 수 있습니다.

대상 사용자

실시간 웹 액세스, GitHub 클론을 통한 심층 기술 조사, 동영상 및 PDF 문서의 멀티모달 분석을 원하는 Pi 에이전트 사용자에게 적합합니다.

주요 특징

• 광범위한 제공자 지원: 수십 개의 검색 API와 Exa MCP를 통한 제로 컨피그 검색을 통합합니다.
• 동영상 이해: Gemini와 ffmpeg를 사용해 YouTube 및 로컬 동영상에서 자막, 시각적 설명, 특정 프레임을 추출합니다.
• get_search_content: 오프셋과 흐릿한 텍스트 검색을 사용해 대규모 페이지를 효율적으로 탐색할 수 있습니다.
• GitHub 통합: HTML 스크래핑이 아닌 로컬에 리포지토리를 클론하여 진정한 파일 탐색을 가능하게 합니다.
• 소스 확인: 기계가 읽을 수 있는 인용 및 SHA-256 해시를 사용해 주장의 정확성을 검증하는 전용 source_check 도구.