Wiggle‑on‑the‑Web: wigolo가 하는 일

요약

• wigolo는 로컬 우선, 기본적으로 제로 키 비용의 웹 툴킷으로 AI 에이전트를 위한 것입니다.
• 검색, 가져오기, 크롤링 및 추출과 함께 에이전트 오케스트레이터(Claude 5 Fable …)가 MCP JSON‑RPC over stdio 또는 REST를 통해 호출할 수 있는 고급 연구 및 자율 수집 루프를 번들로 제공합니다.
• 모든 검색 엔진 독립적 워크플로‑‑18 엔진 융합 가져오기‑‑ML 재순위‑‑설명 가능‑‑캐시‑‑오프라인‑‑비공개**.
• 선택적 LLM 합성(Gemini, Anthropic, OpenAI, Groq, Ollama)이 원시 증거를 완성된 답변으로 변환합니다.
• macOS, Linux 또는 Windows에서 Node ≥ 20(약 1.5GB 디스크)으로 실행; npm CLI, Docker 이미지, SDK(TS/Python) 및 MCP 서버로 제공됩니다.

---

실제로 무엇인가

측면	세부 사항
카테고리	AI 에이전트를 위한 로컬 우선 웹 인텔리전스 계층(검색, 가져오기, 크롤링, 추출, 캐싱, 유사도, 연구, 자율 루프).
주 인터페이스	MCP(JSON‑RPC over stdio) – Claude Code, Cursor, Codex, Gemini CLI 등 코딩 에이전트가 사용하는 동일한 프로토콜.
보조 인터페이스	REST API(wigolo serve), TypeScript 및 Python SDK, Docker 컨테이너, 프레임워크 래퍼(LangChain, CrewAI, LlamaIndex, Vercel AI SDK).
주요 주장	• 핵심 도구(검색/가져오기/크롤링/…)에 API 키 불필요; • 쿼리당 $ 무료‑‑모든 캐싱은 로컬; • 바이트 정확 인용과 설명 가능한 점수를 갖춘 증거 풍부 결과; • 헤드리스 브라우저 엔진 및 온디바이스 모델의 초기 다운로드 후 오프라인 작동.
지원 에이전트	Claude Code, Cursor, Codex, Gemini CLI, OpenCode, VS Code, Windsurf, Zed, Antigravity(모든 MCP 클라이언트 추가 가능).
설치	npx wigolo init(브라우저 엔진 및 온디바이스 모델 다운로드), 선택적 --agents로 에이전트 자동 연결, --interactive/--wizard로 안내 설정, wigolo doctor로 상태 확인.
핵심 도구	search, fetch, crawl, extract, cache, find_similar, research, agent, diff, watch.
결과 형태	JSON에 results(제목, url, 발췌, citation_id, source_span, evidence_score), citations 및 신선도 신호 포함.
개인정보	모든 캐시, 임베딩 및 모델은 ~/.wigolo/ 아래에 있음; LLM 제공자를 활성화하지 않는 한 제3자 서비스로 아무것도 전송되지 않음.
라이선스	AGPL‑3.0(LICENSING.md 참조).
상태	공개 베타‑‑활발히 유지 관리 중(CI 배지, 스타 기록, Discord 커뮤니티).

---

작동 방식(간소화)

1. 에이전트 → wigolo – AI 에이전트가 search {query:"…"}와 같은 MCP/REST 호출을 함.
2. 도구 계층 – wigolo는 요청을 여러 웹 엔진 어댑터(18개 엔진)로 팬아웃하고, 결과를 병합하고, 온디바이스 ML 재순위기를 실행하고, 투명한 점수를 부여.
3. 가져오기 라우터 – URL의 경우 wigolo는 먼저 일반 HTTP 가져오기를 시도; 봇 챌린지 또는 SPA가 감지되면 헤드리스 브라우저 풀로 에스컬레이션.
4. 캐시 및 임베딩 – 결과는 로컬에 저장(키워드 + 벡터 인덱스)되어 반복 쿼리가 즉각적이고 오프라인.
5. 선택적 합성 – WIGOLO_LLM_PROVIDER가 설정되면 선택된 LLM이 증거를 세련된 답변으로 재작성; 그렇지 않으면 원시 증거가 반환됨.
6. 응답 – 에이전트는 인용, 바이트 정확 발췌, 점수 및 모든 저하 플래그가 포함된 구조화된 JSON을 받음.

---

언제 사용하나요?

• 코딩 어시스턴트(Claude Code, Cursor 등)가 있고 API 키를 노출하거나 쿼리당 비용을 지불하지 않고 웹을 탐색하게 하고 싶을 때.
• 재현 가능하고 감사 가능한 증거가 필요 – 각 스니펫은 정확한 바이트 오프셋에 고정되고 점수가 매겨짐.
• 온프레미스에서 에이전트를 실행(자체 호스팅 LLM, 개인 데이터)하고 웹 계층이 로컬에 유지되어야 할 때.
• LangChain, CrewAI, LlamaIndex 등에서 클라우드 웹 검색 API의 드롭인 대체를 제로 비용 쿼리로 원할 때.
• 초기 엔진 다운로드 후 오프라인 기능이 필요(예: CI 파이프라인 또는 에어갭 환경).

---

빠른 시작 체크리스트

# 1. 설치 및 초기화(브라우저 및 모델 다운로드)
npx wigolo init

# 2. 상태 확인
npx wigolo doctor

# 3. CLI에서 검색 시도
wigolo search "local‑first software" --json

# 4. REST 서버 실행(선택 사항)
wigolo serve   # → http://127.0.0.1:3333

# 5. Python SDK 사용(예)
python - <<'PY'
from wigolo import local_client
with local_client() as c:
    print(c.search(query='local‑first web search')['results'][0]['title'])
PY

---

제한 사항 및 미해결 질문

영역	현재 상태
웹 엔진 커버리지	18개 어댑터이지만 일부 틈새 또는 유료 API는 여전히 누락될 수 있음.
LLM 합성	선택 사항이며 여전히 외부 키(Gemini 무료 티어, OpenAI 등)가 필요.
헤비급 크롤링	연구 등급 볼륨을 위해 설계됨; 대규모 엔터프라이즈 크롤링은 전용 크롤러가 필요할 수 있음.
플랫폼	Node 기반; 비 Node 환경은 REST/SDK 브리지를 사용해야 함.
라이선스	AGPL‑3.0 – 상업적 재배포에 영향을 미칠 수 있음.

---

더 찾을 수 있는 곳

• 문서 – docs/README.md(설치, CLI, 도구, REST, SDK, 자체 호스팅).
• 예제 – examples/README.md(실제 에이전트 스크립트).
• 커뮤니티 – Discord 링크, X @yourtowhid.
• 벤치마크 – README의 섹션에서 wigolo를 Firecrawl, Exa 및 Tavily와 비교.

---

위의 모든 진술은 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.