supermemoryai/markdowner

해결하는 문제

Markdowner는 웹사이트 콘텐츠를 구조화되고 예측 가능한 Markdown 데이터로 변환하여 대규모 언어 모델(LLM)의 응답 품질을 향상시키기 위해 설계된 도구입니다. 고가의 독점적인 웹-투-마크다운 변환 서비스를 대체할 수 있는 무료 셀프 호스팅 대안을 제공합니다.

작동 원리

이 도구는 Cloudflare Browser Rendering과 Durable Objects를 사용하여 브라우저 인스턴스를 실행하고 웹사이트 콘텐츠를 가져옵니다. 그 후 Turndown 라이브러리를 사용하여 HTML 콘텐츠를 Markdown으로 변환합니다. 또한 추출된 데이터에서 불필요한 정보를 제거하기 위한 선택적 LLM 기반 필터 기능을 제공합니다.

대상 사용자

고가의 독점 도구에 의존하지 않고 웹에서 깨끗하고 LLM이 바로 사용할 수 있는 데이터를 수집하는 안정적인 방법이 필요한 AI 애플리케이션(예: RAG 시스템) 개발자.

주요 특징

• Cloudflare Workers를 통한 셀프 호스팅 가능
• 모든 웹사이트를 Markdown으로 변환하며 텍스트 또는 JSON 응답 옵션 제공
• 사이트맵 없이 최대 10개의 하위 페이지를 가져올 수 있는 자동 크롤러 포함
• 웹 페이지의 노이즈를 제거하기 위한 선택적 LLM 필터링 기능