1broseidon/ketch

Fast, stateless CLI for web search and scrape. Built for AI agents.

What it solves

Ketch は、人間と AI エージェントが外部データを収集するプロセスを簡素化し、複数の検索・コード・ドキュメントプロバイダーを単一のステートレス CLI ツールに統合します。複数の SDK や認証方法、ツールごとに異なるレスポンス形式を管理する代わりに、1 つのバイナリで Web 検索、オープンソースコードの grep、ライブラリドキュメントへのアクセス、Web ページのクリーンな Markdown へのスクレイピングが可能です。

How it works

Ketch は統一インターフェースとして機能し、リクエストを各種設定済みバックエンドへルーティングします。主な機能は次のとおりです。

  • Web Search: Brave、DuckDuckGo、SearXNG、Exa、Firecrawl、Keenable などのプロバイダーと統合。Reciprocal Rank Fusion を用いた「rank‑fused」フェデレーテッド検索をサポートします。
  • Code Search: Grep、Sourcegraph、GitHub Code Search を通じて公開 OSS ソースコードを検索。
  • Documentation: Context7 を利用し、バージョン認識可能なライブラリドキュメントを提供。
  • Scraping/Crawling: HTML とテキストベースの PDF をクリーンな Markdown に変換。JavaScript で描画されるページ（SPA）には自動でヘッドレス Chrome にフォールバックし、認証が必要なコンテンツ用にカスタムクッキーもサポートします。

このツールはステートレスで、構造化された JSON 出力を生成するため、AI エージェントはシェルコマンド経由や MCP（Model Context Protocol）サーバーとして簡単に統合できます。

Who it’s for

  • AI Agent Developers: プロバイダー固有のコードを書かずに、予測可能で単一バイナリの研究ツールが必要な方。
  • Power Users/Developers: ブラウザタブや複雑な curl | pandoc パイプラインに代わる、ターミナルベースの高速代替手段を求める方。

Highlights

  • Unified Interface: Web 検索、コード検索、ドキュメント、スクレイピングを 1 つのツールで実現。
  • Agent-Optimized: 構造化 JSON 出力、制御フロー用のドキュメント化された終了コード、機能を確認できる ketch config コマンドを提供。
  • Smart Extraction: SPA 向けの自動 JS レンダリングフォールバックと、純粋な Go 製 PDF パーサーを内蔵。
  • MCP Support: MCP サーバーとして実行可能で、AI エージェント向けに研究機能をツールとして提供。
  • Flexible Configuration: CLI フラグ、環境変数、設定ファイルをサポートし、レートリミット管理のためのマルチキー回転も可能。