ScrapeGraphAI/Scrapegraph-ai

Python scraper based on AI

What it solves

ScrapeGraphAI는 복잡하고 수동적인 스크래핑 로직을 작성할 필요 없이 웹 스크래핑을 간소화하도록 설계된 Python 라이브러리입니다. 사용자는 선택자나 규칙을 직접 정의하는 대신, 자연어 프롬프트로 웹사이트나 로컬 문서(XML, HTML, JSON, Markdown)에서 추출하고자 하는 정보를 설명하기만 하면 됩니다.

How it works

이 라이브러리는 대형 언어 모델(LLM)과 직접적인 그래프 로직을 결합해 스크래핑 파이프라인을 생성합니다. OpenAI, Groq, Azure, Gemini, MiniMax와 같은 다양한 LLM 제공자를 통합할 수 있으며, Ollama를 통해 로컬 모델도 사용할 수 있습니다. 데이터를 추출하려면 사용자가 프롬프트와 소스 URL 또는 파일을 제공하면, 라이브러리가 콘텐츠 가져오기(Playwright 사용)와 LLM 기반 추출 과정을 자동으로 처리합니다.

Who it’s for

웹이나 로컬 파일에서 구조화된 데이터를 추출해야 하지만 기존 스크래핑 도구와 관련된 유지보수 부담을 줄이고 싶은 개발자와 데이터 과학자를 위한 도구입니다. 또한 Langchain, Llama Index, Crew.ai와 같은 에이전트 프레임워크와도 통합됩니다.

Highlights

  • Prompt-based extraction: CSS 선택자가 아니라 자연어를 사용해 데이터를 추출합니다.
  • Multiple pipeline types: 단일 페이지 스크래핑(SmartScraperGraph), 다중 페이지 스크래핑(SmartScraperMultiGraph), 검색 엔진 기반 스크래핑(SearchGraph), 파이썬 스크립트 또는 오디오 파일 생성(ScriptCreatorGraph, SpeechGraph)을 위한 특화된 그래프를 포함합니다.
  • Flexible LLM support: 클라우드 API와 Ollama를 통한 로컬 LLM 모두와 호환됩니다.
  • Broad integration ecosystem: Zapier, n8n, Bubble과 같은 로우코드 툴 및 Langchain, Llama Index와 같은 에이전트 프레임워크와 연동됩니다.