lumpinif/deepcrawl

해결하는 문제

Deepcrawl는 웹사이트에서 고품질의 LLM 대응 데이터를 추출하는 문제를 해결하도록 설계되었습니다. AI 에이전트의 토큰 비용, 컨텍스트 전환, 오류 생성(홀루시네이션)을 줄이기 위해 정제된 마크다운과 구조화된 링크 계층이 필요한 고빈도 에이전트 작업을 대상으로 합니다.

작동 방식

웹사이트 데이터 컨텍스트 추출 플랫폼으로 작동합니다. 공개 페이지를 처리하여 세 가지 주요 구성 요소를 추출합니다: 정제된 페이지 콘텐츠 마크다운, 계층적 링크 트리, 메타데이터. 이 모든 요소는 LLM 처리에 최적화되어 있습니다.

대상 사용자

컨텍스트 추출을 위해 자주 그리고 신뢰할 수 있는 웹 스크래핑이 필요한 AI 에이전트를 개발하는 개발자들.

주요 특징

• 에이전트 중심: 일반적인 스크래핑이 아닌 AI 에이전트 워크로드에 특화되어 최적화되었습니다.
• LLM 최적화: 토큰 사용량을 최소화하기 위해 정제된 마크다운과 메타데이터를 생성합니다.
• 완전한 플랫폼: Nextjs 대시보드, API Workers, Auth Workers, 데이터베이스를 포함합니다.
• 오픈소스: Firecrawl의 무료 오픈소스 대안입니다.