harlan-zw/mdream

해결하는 문제

Mdream은 원시 HTML을 대규모 언어 모델(LLM)에 입력할 때 발생하는 높은 토큰 비용과 비효율성 문제를 해결합니다. 웹 콘텐츠를 깔끔하고 최적화된 Markdown으로 변환하여 토큰 사용량을 크게 줄여(경우에 따라 최대 92% 감소), AI 애플리케이션을 위해 전체 웹사이트나 복잡한 문서를 더 쉽고 저렴하게 처리할 수 있도록 합니다.

작동 방식

이 프로젝트는 Rust(네이티브 속도)와 JavaScript(이식성)로 작성된 고성능 변환 엔진을 제공합니다. 스트리밍을 지원하여 대용량 HTML 입력이 들어오는 즉시 처리할 수 있습니다. 또한 웹사이트를 탐색하여 llms.txt 파일을 생성하는 크롤러가 포함되어 있는데, 이는 AI 에이전트가 사이트 콘텐츠를 이해하도록 돕기 위해 설계된 구조화된 요약 파일입니다. 콘텐츠 추출, 토큰 효율적인 정리, RAG(검색 증강 생성) 파이프라인을 위한 벡터 데이터베이스와의 통합과 같은 고급 기능도 제공합니다.

대상 사용자

AI 에이전트, RAG 시스템 또는 웹 데이터를 수집해야 하는 LLM 기반 애플리케이션을 구축하는 개발자를 위해 설계되었습니다. 문서를 크롤링하거나, 웹사이트를 요약하거나, 자신의 프로젝트를 위해 AI가 검색 가능한 콘텐츠를 구축해야 하는 사용자에게 특히 유용합니다.

주요 특징

• 높은 효율성: 불필요한 HTML 요소, 추적 매개변수 및 중복 링크를 제거하여 토큰 소비를 줄입니다.
• 멀티 런타임 지원: 네이티브 Rust 성능, 의존성이 없는 환경을 위한 순수 JavaScript, 엣지 런타임을 위한 WASM을 제공합니다.
• 스트리밍 기능: 대용량 HTML 입력을 청크 단위로 변환하여 낮은 지연 시간을 유지합니다.
• 생태계 통합: CLI 사용, Docker, GitHub Actions, Vite 및 Nuxt를 위한 사전 구축된 도구가 포함되어 있으며, Playwright를 통한 SPA(단일 페이지 애플리케이션) 사이트 크롤링도 지원합니다.