coder-hxl/x-crawl

해결하는 문제

기존 웹 크롤러는 웹사이트의 HTML 구조나 클래스 이름이 업데이트되면 종종 작동하지 않습니다. 이는 고정된 선택자에 의존해 데이터를 찾기 때문입니다. x-crawl은 AI를 통합하여 페이지의 의미적 의미를 이해함으로써, 기반이 되는 코드가 변경되어도 정확한 정보를 추출할 수 있도록 합니다.

작동 방식

이 라이브러리는 표준 Node.js 크롤러와 AI 통합(OpenAI 및 Ollama를 통해)을 결합합니다. 정적 및 동적 페이지를 크롤링할 수 있으며, 인터페이스 데이터를 처리하고 파일을 다운로드할 수 있습니다. AI를 사용할 때 개발자는 자연어 지시(예: "이미지 링크를 가져오고 중복을 제거")와 함께 HTML 콘텐츠를 AI에 전달하여 하드코딩된 CSS 선택자 없이 특정 요소를 파싱하고 추출할 수 있습니다.

대상 사용자

웹사이트 변경에 적응할 수 있는 견고한 웹 스크래핑 도구가 필요한 개발자, 또는 LLM을 사용하여 복잡한 브라우저 상호작용과 데이터 추출을 자동화하고 싶은 개발자.

주요 특징

• AI 기반 파싱: LLM을 사용해 의미 정보를 파싱하여 수동 선택자 업데이트의 필요성을 줄입니다.
• 동적 페이지 지원: 동적 페이지에서 자동 작업, 키보드 입력, 이벤트 처리를 지원합니다.
• uma 프린팅: 탐지 및 추적을 방지하기 위한 디바이스 프린팅 포함.
• 고급 크롤링 제어: 프록시 회전, 우선순위 큐, 사용자 정의 재시도 로직, 유연한 간격 타이밍(고정 또는 랜덤).
• TypeScript 지원: 제네릭을 활용한 완전한 구현으로 강력한 타입 지정을 제공.