getmaxun/maxun

Maxun – 모든 웹사이트를 구조화된 API로 변환

개요 – Maxun은 모든 웹사이트에서 구조화된 정보를 스크레이핑, 크롤링, 모니터링 및 추출할 수 있는 오픈소스 웹 데이터 플랫폼입니다. 기존의 웹 스크레이핑과 AI 지원 추출을 결합하여, 자연어로 원하는 데이터를 설명하거나 브라우저 동작을 기록하여 재사용 가능한 "로봇"을 구축할 수 있습니다.

주요 기능

• 추출 (Extract) – 페이지 콘텐츠를 구조화된 레코드 형식으로 변환합니다. 두 가지 모드를 지원합니다:
  • 레코더 (Recorder): 브라우저에서의 클릭/스크롤 동작을 기록하고 이를 추출 로봇으로 재생합니다.
  • AI: 간단한 영어 프롬프트(예: "모든 제품명과 가격을 나열해줘")를 작성하여 LLM이 페이지를 파싱하도록 합니다.
• 스크레이핑 (Scrape) – 전체 페이지를 Markdown, HTML 또는 스크린샷으로 저장합니다.
• 크롤링 (Crawl) – 사이트 전체를 탐색하며 모든 페이지에 추출 로봇을 적용합니다.
• 검색 (Search) – Maxun 내에서 웹을 검색하고 시간별로 결과를 필터링합니다.
• 모니터링 (Monitoring) – 페이지 변경 사항을 감시하고 알림을 받습니다.
• 문서 파싱 (Document parsing) – PDF, DOCX 등에서 표, 양식 또는 기타 구조화된 데이터를 추출합니다.

사용 방법

• 대시보드 (Dashboard) – 코딩 없이 로봇을 구축하고 실행할 수 있는 호스팅 UI (app.maxun.dev)입니다.
• API – 스크레이핑 및 추출 기능을 프로그래밍 방식으로 액세스하기 위한 REST 엔드포인트입니다.
• SDK – Maxun을 자체 애플리케이션에 내장하기 위한 언어별 라이브러리(예: Node.js SDK)입니다.
• CLI – 로봇 생성, 실행 트리거, 결과 가져오기를 위한 명령줄 도구입니다.
• MCP (Model Context Protocol) – 외부 AI 에이전트가 Maxun을 데이터 소스로 호출할 수 있게 하는 훅입니다.

시작하기

1. 호스팅 서비스 체험 – https://app.maxun.dev 에 가입하여 즉시 로봇 구축을 시작하세요.
2. 로컬 실행 – 문서의 Docker-Compose 또는 로컬 설치 가이드를 따르세요. 저장소에는 자체 호스팅에 필요한 모든 코드가 포함되어 있습니다.
3. SDK/CLI 사용 – Node SDK (npm i @maxun/sdk) 또는 CLI를 설치하여 자체 코드베이스에서 작업을 스크립트화하세요.

일반적인 사용 사례

• 전자상거래 사이트에서 목록을 추출하여 제품 가격 API 구축.
• 경쟁사 웹페이지의 가격 또는 콘텐츠 변경 사항 모니터링.
• HTML 페이지만 제공하는 공공 포털에서 연구 데이터 수집.
• MCP 통합을 통해 최신 웹 콘텐츠를 LLM 기반 에이전트에 공급.

라이선스 – 본 프로젝트는 AGPL-v3 라이선스로 배포되며, 오픈 협업을 장려하는 동시에 네트워크에 배포된 수정 사항도 공유할 것을 요구합니다.

커뮤니티 및 지원 – 저장소에는 스폰서(프록시 제공업체) 목록이 있으며, Discord, 튜토리얼 영상, 문서 사이트가 제공됩니다. Pull Request를 통한 기여를 환영하며, 상업적 사용자는 스폰서십이나 기여를 권장합니다.