coder-hxl/x-crawl

Flexible Node.js crawler library

해결하는 문제

기존 웹 크롤러는 웹사이트의 HTML 구조나 클래스 이름이 업데이트될 때 자주 작동하지 않습니다. 이는 고정된 선택자에 의존해 데이터를 찾기 때문입니다. x-crawl는 AI를 통합하여 페이지의 의미적 의미를 해석함으로써, 기반이 되는 코드가 변경되어도 정확한 정보를 추출할 수 있도록 합니다.

작동 방식

이 라이브러리는 표준 Node.js 크롤러와 AI 통합(OpenAI 및 Ollama를 통해)을 결합합니다. 페이지 탐색 및 요소 상호작용에 전통적인 크롤러로 사용할 수 있으며, HTML 콘텐츠를 AI 모델에 전달하여 엄격한 CSS 선택자 대신 자연어 지시에 따라 특정 데이터 포인트를 식별하고 추출할 수 있습니다.

대상 사용자

동적 콘텐츠와 빈번한 웹사이트 레이아웃 변경에 대응할 수 있으며, 지속적인 수동 유지보수가 필요 없는 내구성 있는 웹 스크래퍼를 구축해야 하는 개발자들.

주요 특징

  • AI 기반 추출: LLM을 사용해 페이지의 의미를 이해하고 데이터를 추출하여 고정된 클래스 이름에 대한 의존도를 줄입니다.
  • 포괄적인 크롤링: 정적 페이지, 동적 페이지, 인터페이스 데이터, 파일 다운로드를 지원합니다.
  • 브라우저 자동화: 키보드 입력, 이벤트 작업, 자동 페이지 제어 기능을 포함합니다.
  • 탐지 회피: 디바이스 지문 및 회전 프록시를 통해 추적 또는 차단을 방지합니다.
  • 유연한 실행: 동기 및 비동기 모드를 지원하며, 우선순위 큐와 사용자 정의 재시도 로직을 제공합니다.

관련

  • 프로젝트
    oxylabs/ai-crawler-py

    자연어 프롬프트를 사용해 관련 페이지를 발견하고 웹사이트에서 구조화된 JSON 또는 Markdown 데이터를 추출하는 AI 기반 웹 크롤러입니다.

  • 프로젝트
    ScrapeGraphAI/Scrapegraph-ai

    LLM과 그래프 논리를 활용해 자연어 프롬프트로 웹사이트와 로컬 문서에서 구조화된 데이터를 추출하는 AI 기반 웹 스크래핑 라이브러리.

  • 프로젝트
    oxylabs/oxylabs-ai-studio-js

    Oxylabs AI Studio API를 위한 JavaScript SDK로, 웹 스크레이핑, 크롤링, 자율 브라우저 탐색 및 사이트 매핑을 위한 AI 기반 도구를 제공합니다.

  • 프로젝트
    unclecode/crawl4ai

    Crawl4AI는 실제 브라우저를 사용하여 웹 페이지를 크롤링하고, 보일러플레이트를 제거하며, LLM, RAG 파이프라인 또는 자율 AI 에이전트에서 즉시 사용할 수 있는 깔끔한 Markdown 또는 구조화된 JSON을 반환하는 오픈소스 Python 라이브러리(Docker 서버 및 호스팅 클라우드 API로도 제공)입니다.

  • 프로젝트
    any4ai/AnyCrawl

    AnyCrawl는 빠르고 확장 가능한 웹 및 SERP 크롤링을 위한 오픈소스 Node.js 기반 툴킷입니다. 단일 페이지 스크래핑, 전체 사이트 탐색, 배치 작업, Google SERP 가져오기용 REST API를 제공하며, Playwright/Puppeteer를 통한 선택적 자바스크립트 렌더링도 지원합니다. 내장된 LLM 추출 기능을 통해 JSON 스키마를 제공하면, 어떤 OpenAI 호환 모델(예: Atlas Cloud)을 사용해 페이지에서 구조화된 데이터를 추출할 수 있습니다. 다중 스레드/다중 프로세스 워커, Redis/S3 캐시, 프록시 설정을 지원하며, Docker 또는 공개 API를 통해 사용 가능합니다. MIT 라이선스로, AI 데이터 파이프라인과 자율 에이전트를 대상으로 합니다.