harlan-zw/mdream

해결하는 문제

웹 콘텐츠는 대규모 언어 모델(LLM)에 입력될 때 과도한 토큰을 소비하는 HTML 태그로 인해 부풀어 오는 경우가 많아 비용이 증가하고 유효한 컨텍스트 창이 줄어듭니다. Mdream은 LLM 소비에 특화된 깔끔하고 토큰 효율적인 마크다운으로 HTML을 변환하는 고성능 방법을 제공합니다.

작동 방식

다양한 엔진 옵션을 사용하여 HTML을 GitHub Flavored Markdown으로 변환합니다: 최대 속도를 위한 네이티브 Rust 엔진, 엣지/브라우저 런타임용 WASM 엔진, 그리고 종속성 없이 사용 가능한 순수 JavaScript 엔진. "minimal" 프리셋과 "clean" 모드를 포함하여 중복 링크, 빈 이미지, 추적 파라미터를 제거하여 토큰 사용량을 최소화합니다.

또한, 전체 웹사이트를 탐색하여 AI 도구가 사이트 콘텐츠를 탐지하고 이해하는 데 도움이 되는 통합 텍스트 파일인 llms.txt 아티팩트를 생성할 수 있는 크롤러 패키지(@mdream/crawl)를 제공합니다.

대상 사용자

• AI 엔지니어: 벡터 데이터베이스용 웹 데이터를 크롤링하고 청크화해야 하는 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 사람.
• 개발자: Claude나 GPT와 같은 LLM CLI에 웹 페이지를 최소한의 토큰 낭비로 직접 입력하고 싶은 사람.
• 사이트 소유자: 자체 사이트를 llms.txt를 통해 AI가 탐지할 수 있도록 하고 싶은 사람.

주요 특징

• 극도의 성능: Turndown보다 최대 37배 빠르며, 다른 Rust 기반 변환기보다도 훨씬 빠릅니다.
• 토큰 최적화: 경쟁 제품보다 최대 2배 적은 토큰을 생성하고, 원시 HTML보다 최대 92% 적은 토큰을 사용합니다.
• 스트리밍 지원: 대용량 문서용으로 스트리밍을 지원하는 유일한 JavaScript HTML-to-markdown 변환기입니다.
• 다양한 배포 옵션: Rust crate, Node.js 패키지, Docker 이미지, GitHub Action, 브라우저 CDN으로 사용 가능합니다.
• LLM 아티팩트 생성: 사이트 탐지에 도움이 되는 llms.txt 및 llms-full.txt 생성 기능을 내장하고 있습니다.