1broseidon/ketch

Fast, stateless CLI for web search and scrape. Built for AI agents.

What it solves

Ketch는 인간과 AI 에이전트가 외부 데이터를 수집하는 과정을 단순화합니다. 여러 검색, 코드, 문서 제공자를 하나의 무상태 CLI 도구로 통합합니다. 여러 SDK, 인증 방식, 각기 다른 연구 도구의 응답 형식을 관리하는 대신, 하나의 바이너리로 웹 검색, 오픈소스 코드 grep, 라이브러리 문서 접근, 웹 페이지를 깔끔한 Markdown으로 스크래핑할 수 있습니다.

How it works

Ketch는 통합 인터페이스 역할을 하며, 요청을 다양한 설정된 백엔드로 라우팅합니다. 주요 기능은 다음과 같습니다:

  • Web Search: Brave, DuckDuckGo, SearXNG, Exa, Firecrawl, Keenable 등과 통합. Reciprocal Rank Fusion을 사용한 "rank‑fused" 연합 검색을 지원합니다.
  • Code Search: Grep, Sourcegraph, GitHub Code Search를 통해 공개 OSS 소스 코드를 검색합니다.
  • Documentation: Context7을 통해 버전 인식 라이브러리 문서를 제공합니다.
  • Scraping/Crawling: HTML 및 텍스트 기반 PDF를 깔끔한 Markdown으로 변환합니다. JavaScript 렌더링이 필요한 페이지(SPA)에 대해서는 자동으로 헤드리스 Chrome 브라우저로 폴백하며, 인증된 콘텐츠를 위한 커스텀 쿠키도 지원합니다.

이 도구는 무상태이며 구조화된 JSON 출력을 생성하므로, AI 에이전트가 쉘 명령이나 MCP(Model Context Protocol) 서버를 통해 쉽게 통합할 수 있습니다.

Who it’s for

  • AI Agent Developers: 제공자별 코드를 작성하지 않고도 예측 가능한 단일 바이너리 연구 도구가 필요한 개발자.
  • Power Users/Developers: 브라우저 탭이나 복잡한 curl | pandoc 파이프라인을 대체할 빠른 터미널 기반 대안을 원하는 사용자.

Highlights

  • Unified Interface: 하나의 도구로 웹 검색, 코드 검색, 문서, 스크래핑을 모두 지원.
  • Agent-Optimized: 구조화된 JSON 출력, 제어 흐름을 위한 문서화된 종료 코드, 기능을 확인할 수 있는 ketch config 탐색 명령 제공.
  • Smart Extraction: SPA에 대한 자동 JS 렌더링 폴백 및 순수 Go PDF 파서 내장.
  • MCP Support: MCP 서버로 실행 가능하여 AI 에이전트에 연구 표면을 도구로 제공.
  • Flexible Configuration: CLI 플래그, 환경 변수, 설정 파일을 지원하고, 레이트 제한 관리를 위한 다중 키 회전도 지원합니다.