0xMassi/webclaw

Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.

해결하는 문제

대부분의 웹 스크래핑 도구는 내비게이션 메뉴, 광고, 스크립트로 가득 찬 원시 HTML을 반환하여 LLM을 혼란스럽게 합니다. 이 프로젝트는 웹사이트를 Markdown, JSON, LLM용 컨텍스트와 같은 깔끔하고 구조화된 형식으로 변환하여 AI 에이전트와 RAG(검색 증강 생성) 파이프라인이 웹 데이터를 더 쉽게 처리할 수 있도록 합니다.

작동 방식

이 도구는 추출 엔진으로 작동하며 CLI, REST API 또는 MCP (Model Context Protocol) 서버를 통해 사용할 수 있습니다. 웹 페이지를 가져오고, 필요에 따라 로컬 브라우저를 사용하여 JavaScript가 많은 사이트를 렌더링한 다음, 불필요한 요소를 제거하여 콘텐츠를 정리합니다. CSS 선택자, XPath, 테이블-JSON 변환, 의미론적 쿼리(semantic querying)와 같은 고급 기능을 지원하여 AI 작업에 필요한 관련 정보만 추출할 수 있습니다.

대상 사용자

이 도구는 LLM에 공급할 신뢰할 수 있고 깔끔하며 구조화된 웹 데이터가 필요한 AI 에이전트, RAG 시스템 또는 자동화된 데이터 수집 파이프라인을 구축하는 개발자를 위해 설계되었습니다.

주요 특징

LLM 최적화 출력: LLM 사용에 맞게 조정된 깔끔한 Markdown 또는 컨텍스트를 반환하는 특정 모드를 제공합니다.
MCP 지원: Model Context Protocol을 통해 Claude Desktop, Cursor, Windsurf와 같은 AI 도구와 쉽게 통합됩니다.
고급 추출: CSS 선택자, XPath 및 구조화된 데이터를 위한 자동 테이블-JSON 변환을 지원합니다.
스마트 필터링: 텍스트, 정규식 또는 의미론적 쿼리를 통해 필터링하는 기능을 포함하여 특정 질문에 답하는 콘텐츠만 추출합니다.
개발자 친화적: CLI, Python SDK, Docker 지원을 제공하며 추출 서버를 직접 호스팅할 수 있습니다.