MODSetter/SurfSense

해결하는 문제

SurfSense는 AI 에이전트가 Reddit, YouTube, Amazon과 같은 플랫폼에서 정보를 수집할 때 복잡한 HTML 파싱이나 레이트 제한 관리가 필요 없도록, 커스텀 스크래퍼의 취약성이나 브라우저 기반 에이전트의 높은 비용과 지연을 피할 수 있는 방법을 제공합니다. 실시간으로 구조화된 웹 데이터에 접근할 수 있도록 합니다.

작동 방식

SurfSense는 다양한 웹 커넥터를 단일 REST API 또는 MCP(Model Context Protocol) 서버로 노출하는 연구 플랫폼으로 작동합니다. 이로 인해 AI 에이전트는 surfsense_reddit_scrape와 같은 특정 도구를 호출하여 원시 HTML이 아닌 구조화된 JSON 데이터를 받을 수 있습니다. 또한, 발견 내용을 저장할 수 있는 지식 기반, 보고서 및 팟캐스트를 생성할 수 있는 딜리버러블 스튜디오, 스케줄된 연구 작업을 자동화할 수 있는 자동화 엔진도 포함되어 있습니다.

대상 사용자

AI 에이전트를 개발하는 개발자, 웹을 구조적으로 모니터링이 필요한 연구자, Google NotebookLM의 오픈소스이자 자체 호스팅 가능한 대안을 찾는 사용자에게 적합합니다.

주요 특징

• 실시간 데이터 커넥터: Reddit, YouTube, Instagram, TikTok, Google Maps, Google Search, Indeed, Amazon용 내장 스크래퍼.
• MCP 서버 지원: Claude, Cursor, 기타 에이전트 프레임워크를 사용하는 에이전트와의 네이티브 도구 통합.
• 지식 기반: 업로드된 문서와 동기화된 클라우드 스토리지(Google Drive, OneDrive, Dropbox)에 대한 하이브리드 세미틱 및 전체 텍스트 검색.
• 딜리버러블 스튜디오: AI 생성 보고서, 편집 가능한 슬라이드 데크, 2인 참여형 AI 팟캐스트.
• 확장 가능한 LLM 지원: LiteLLM를 통해 100개 이상의 LLM과 호환되며, Ollama 및 vLLM를 통해 로컬 모델도 사용 가능.
• 자체 호스팅 가능: Docker를 통해 배포 가능하여 완전한 데이터 프라이버시와 무료 사용이 가능합니다.